API概览
云原生数据库PolarDB 提供以下相关API接口。地域 API 描述 DescribeRegions 该接口...DescribeDBClusterMonitor 该接口用于查询 PolarDB 集群的监控数据采集频率。ModifyDBClusterMonitor 该接口用于修改 PolarDB 集群的监控数据采集频率。
新增消费组
若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅通道所属地域。定位至已购买的数据订阅通道，单击订阅ID。单击左侧导航栏的...
通过Pod环境变量采集应用日志
阿里云日志服务SLS（Log Service）是针对日志数据的一站式服务，让您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。ACK Serverless集群 提供了日志服务托管功能。您可以在 ACK Serverless集群 中使用SLS环境变量，将...
监控服务概览
计量采集截止时间是当月最后一条计量数据所统计时间区间的结束时间，如果当月没有产生任何一条计量监控数据，那么计量数据采集截止时间为当月1号0点。计量指标数据的展示都是尽最大可能推送的，准确计量请参考费用中心—使用记录。举个例子...
新增消费组
若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 进入 新版DTS订阅任务的列表页面。在页面左上角，选择订阅实例所属地域。定位至目标的订阅实例，并单击实例ID。单击左侧导航栏的 数据消费。在 数据消费 页面，单击...
API概览
云原生数据库PolarDB 提供以下相关API接口。地域 API 描述 DescribeRegions 该接口...DescribeDBClusterMonitor 该接口用于查询 PolarDB 集群的监控数据采集频率。ModifyDBClusterMonitor 该接口用于修改 PolarDB 集群的监控数据采集频率。
诊断概述
会话数 包含最大活跃会话数，数据采集频率为每 5s 采集一次。CPU 包含最大 CPU 使用率和平均 CPU 使用率。在 SQL 页签中查看租户的 SQL 分析，详见 SQL 诊断概述。在 会话管理 页签中查看租户的会话信息，详见 会话管理。在 SQL 审计 页签...
ModifyDBClusterMonitor
调用ModifyDBClusterMonitor接口修改PolarDB集群的监控数据采集频率。若监控频率为5秒/次：当查询时间范围小于等于1小时，显示粒度为5秒。当查询时间范围小于等于1天，显示粒度为1分钟。当查询时间范围小于等于7天，显示粒度为10分钟。当...
ModifyDBClusterMonitor
调用ModifyDBClusterMonitor接口修改PolarDB集群的监控数据采集频率。若监控频率为5秒/次：当查询时间范围小于等于1小时，显示粒度为5秒。当查询时间范围小于等于1天，显示粒度为1分钟。当查询时间范围小于等于7天，显示粒度为10分钟。当...
基本概念
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
使用前须知
资产详情 开启秒级监控数据采集功能后，日志服务自动创建专属的Project和MetricStore，用于存储云盘的秒级监控数据。日志服务在对应的地域创建一个名为 aliyun-product-data-阿里云账号ID-地域ID 的Project，以及名为ebs_disk_metric的...
基本概念
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
数据血缘
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
通过日志服务导入至数仓版
具体操作，请参见 数据采集。在AnalyticDB MySQL中已完成以下准备工作。在日志服务Project所在地域，创建AnalyticDB MySQL集群。具体操作，请参见 创建集群。说明 目前日志服务仅支持同地域投递。创建数据库账号。具体操作，请参见 创建...
通过Pod环境变量配置应用日志采集
特殊场景1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
接入Logstash
Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
通过日志服务采集Kubernetes容器日志
定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
什么是日志服务
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。基本概念 在使用日志服务前，您需要了解以下基本概念。术语 说明 项目（Project）项目是日志服务...
实时数据采集
本文为您介绍如何使用智能制造平台AICS实时数据采集模块。创建通道 登录 工业数据中台IGate。在通道管理页面，单击右上角 新增通道 按钮。通道是测点数据的来源，如果不使用IGate主动采集则不需要添加通道，可使用默认提供的平台标准通道，...
全埋点管理
全埋点 全埋点功能进入方式为：数据采集->埋点开发->全埋点。具体路径如图：2.全埋点列表 全埋点上报的事件为采集SDK自动监听捕获的控件点击、曝光和页面浏览的系统事件，这些事件将全部展示在“全埋点列表”中，您可以选择您关心的事件...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
集群性能监控概述
单击页面右上方的 配置监控频率，可配置集群监控频率，决定监控的数据采集间隔。说明 默认监控频率为 60s。支持切换监控频率为 5s，此功能会收取一定的费用，详细的计费信息，请参见 监控计费说明。秒级监控功能目前仅支持白名单开放，如需...
某新能源汽车造车新势力
同时，数据采集的需求不断增长，近半年来集群写入流量已经翻倍，因此需要存储层具备优异的弹性和线性扩展能力，以适应车辆数量，采集点，以及采集频率的变化。业务写入请求高并发，当前峰值写请求近4w/s，对写入吞吐有较高的要求。高并发的...
ModifyDBClusterMonitor-修改集群监控数据采集频率
修改PolarDB集群的监控数据采集频率。接口说明 若监控频率为 5 秒/次：当查询时间范围小于等于 1 小时，显示粒度为 5 秒。当查询时间范围小于等于 1 天，显示粒度为 1 分钟。当查询时间范围小于等于 7 天，显示粒度为 10 分钟。当查询时间...
使用前须知
资产说明 Logstore 开启数据采集功能后，日志服务默认在PolarDB MySQL集群所在地域创建一个名为 aliyun-product-data-阿里云账号ID-地域ID 的Project，名为 polardb_audit_log、polardb_log 的Logstore。polardb_audit_log Logstore用于...
配置DataHub输出组件
如果数据采集源头长时间没有产出数据，为了保证数据的及时投递，需设置此参数，超过设定时间会强制投递。说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的...
支持的云服务
日志数据采集后，需要更多的个性化分析、挖掘，您可以通过DataWorks的数据集成将日志服务数据同步到MaxCompute，通过MaxCompute对日志数据进行个性化、深层次的数据分析、挖掘。更多SLS信息，请参见 日志服务SLS。访问控制RAM RAM是阿里云...
使用流程
1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 基于以上操作，可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等，用户可根据数据库评估分析里 对象兼容度 详情和 SQL兼容度 详情，根据指导建议自助...
常见问题
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。日志服务可以做什么？存储与分析：存储与分析基础设施日志、应用日志、网站访问日志、容器日志、...
在Knative上实现日志采集
您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。在Knative中结合日志服务，能有效提升对Serverless应用的运维能力。本文介绍如何在Knative中使用日志服务收集Serverless应用容器日志，采用日志服务收集、分析业务日志...
采集MySQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
什么是ETL
行业领先的计算时效：通过DTS强大的数据库流式数据采集能力，ETL既能保障数据的准确性，同时还具备行业领先的计算实效性。灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作...
表设计规范
例如，在规范化设计表的同时对数据通道中的数据采集方式进行优化，可以减少分布式系统中小文件的问题，降低表和分区的维护数量。表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照...
资源密集活动统计（pg_profile）
连接profile数据库所在实例，再次进行数据采集。SELECT take_sample();查看采集数据。SELECT*FROM show_samples('server');结果示例如下：sample|sample_time|sizes_collected|dbstats_reset|bgwrstats_reset|archstats_reset-+-+-+-+-+-1|...
迁移评估概述
目前支持进行对象评估的数据库类型及版本如下：Oracle 数据库：11g/12c/18c/19c MySQL 数据库：5.6/5.7/8.0 DB2 LUW 数据库（仅支持采集文件上传评估）云数据库 RDS PolarDB MySQL 引擎 支持对 Oracle 和 MySQL 数据库的 DDL 语句进行兼容...
埋点API
SDK在采集会话数据时，默认会主动采集每个Activity页面的路径和页面访问时长数据并上报。如果开发者同时调用页面路径手动采集API QtTrackAgent.onPageStart/onPageEnd，则会导致页面数据重复上报，产生冗余页面路径数据，可以在调用...
采集部署
`profiler.classpath.blacklist=org.apache,net.sf` 配置当cpu达到多少时暂停数据采集。`profiler.cpu.threshold=85` 系统信息收集间隔，默认15分钟。`profiler.sys.send.interval=15` sql动态信息收集间隔，默认15分钟。`profiler.sql....
术语表
数据采集 术语 说明 Logtail Logtail是日志服务提供的日志采集工具。更多信息，请参见 Logtail采集概述。Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组...
- 产品推荐
- 这些文档可能帮助您