查看异常统计
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
查看异常统计
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
写入或更新调优指南
背景信息 Hologres是一站式实时数据仓库引擎，支持海量数据高性能实时写入与实时更新，满足大数据场景上对数据高性能低延迟的需求，Hologres的写入技术原理详情请参见 写入技术揭秘。在写入或更新场景上，Hologres提供多种数据写入和更新的...
全增量同步任务运维
管理全增量同步任务 任务配置完成后，您可以在 数据集成>同步任务 页面查看已创建的同步任务列表，您可以根据不同条件筛选同步任务。并对相应的同步任务执行如下操作：操作 说明 启动 单击对应同步任务 操作 列的 提交执行，启动同步任务的...
通用参考：切换资源组
说明 实时同步任务暂不支持在运维中心修改数据集成资源组，请在数据集成控制台或数据开发控制台修改，具体请参见 数据集成页面、数据开发页面。在左侧导航栏单击 周期任务运维>周期任务。节点类型 筛选条件设置为 离线同步，然后选中需要...
离线同步常见问题
可能原因2：等待数据集成任务执行资源 解决方案2：若日志出现长时间WAIT状态，说明当前任务运行所使用的独享数据集成资源组剩余可运行的并发数不足以运行当前任务。具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？说明 ...
核心自治技术案例解析
7x24实时异常检测 DAS的7x24实时异常检测通过机器学习算法，实时对数据库的Workload进行异常检测，相比传统基于阈值的告警方式，能够更及时的发现数据库的异常，而不是靠故障驱动。您可以采集各种数据，比如从链路上采集数百个数据库性能...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
运维中心概述
调度任务运维大屏以及数据集成离线同步与实时同步任务运维专页，针对任务运维关键指标的查看。下表为运维中心各模块功能使用的简单说明：模块 描述 环境支持情况 查看运维大屏 运维大屏以报表的形式为您展示任务的运行的重要指标。包括 ...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
查看历史任务
数据集成任务会在每个调度时间点生成一个数据迁移任务，通过DTS控制台您可以查看所有已经运行完成的数据迁移任务，了解该任务的执行情况。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据...
DataWorks公共数据集成（调试）资源组下线公告
已经配置了DataWorks公共数据集成资源组的任务可继续正常运行，但不能对这些任务进行修改，若您需修改这些任务，请于 2024年4月1日 前切换为 DataWorks独享数据集成资源组。2024年9月1日 起，DataWorks公共数据集成资源组不再提供服务，...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持同步没有主键的表。注意事项 当实时同步至MaxCompute数据源且使用临时AK进行同步...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时数据同步任务暂不支持同步没有主键的表。创建实时同步任务 创建整库实时同步节点。配置资源组。设置同步来源和规则。在 数据来源 区域，选择要同步的数据源 类型 和 数据源 ...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
部署与运维
也可以基于某些指标定制实时的监测与告警，当关键业务出现异常时可通过多种途径通知告警。控制台上可以查看当前实例会话，也可以选择终止会话。会话统计页面可查看按客户端统计、按namespace统计等的聚合统计信息。10秒SQL分析功能可以在10...
Kafka数据源
整库实时写 实时数据同步任务仅支持使用 独享数据集成资源组。对于源端同步表有主键的场景，同步时会使用主键值作为kafka记录的key，确保同主键的变更有序写入kafka的同一分区。对于源端同步表无主键的场景，如果选择了支持无主键表同步...
简介
应用场景 应用场景 描述 主动运维 实时监测端到端通信质量指标数据，全面掌握用户的通话体验，并统计每个频道的参与人数、质量变化情况。服务感知 查询通信的用量和质量大盘数据，还可以查看整体的趋势变化，为业务规划提供决策支撑。异常...
简介
应用场景 应用场景 描述 主动运维 实时监测端到端通信质量指标数据，全面掌握用户的通话体验，并统计每个频道的参与人数、质量变化情况。服务感知 查询通信的用量和质量大盘数据，还可以查看整体的趋势变化，为业务规划提供决策支撑。异常...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、MySQL、OceanBase数据源至 AnalyticDB for MySQL。实时数据同步任务暂不支持同步没有主键的表。创建实时同步任务 创建整库实时同步节点。配置...
数据集成：全领域数据汇聚
适用场景 DataWorks数据集成适用于数据入湖入仓、分库分表、实时数据归档、云间数据流转等数据传输场景。计费 运行数据集成任务可能产生的费用由以下几部分组成：运行数据集成任务所需的 数据集成资源组 费用。计费详情请参见 独享数据集成...
什么是数据管理DMS
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
独享资源组
切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明 如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
DataWorks数据集成
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
附录：ECS自建数据库的安全组配置
添加安全组 进行ECS自建数据源的数据同步时，如果同步任务运行在：独享数据集成资源组上 需要将独享数据集成资源组的EIP地址段或独享数据集成资源组绑定的交换机网段添加至ECS安全组上。通过外网同步数据时，需获取并添加独享资源组本身的...
2022-01-27
提供Modbus、BacNet协议点位配置工具 提供Modbus、BacNet协议的点位配置工作台，同时支持将协议点位数据与平台物模型进行映射，快速实现BA系统的数据集成。发布门禁一体机官方协议，优化门禁的集成效率 平台之前提供的集成工具，是以门禁...
修改调度策略
对于已经配置完成的数据集成任务，如果由于业务需求变更需要重新调整调度策略，您可以参照本文的方法修改调度策略。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧...
计费方式
运行数据集成任务会产生DataWorks相关费用，此外还可能其他产品费用，具体如下：DataWorks相关收费 数据集成资源组（独享数据集成资源组计费说明：包年包月，如果使用 公共数据集成（调试）资源组：按量计费，则还包括公共数据集成资源组...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
常见错误处理方法
连接异常 连接异常即应用程序或者客户端与数据库的连接出现异常，例如已经创建的连接，提示连接不存在或连接超时，无法与数据库实例建立连接等。连接异常经常发生在网络闪断，或者数据库服务重启时，您需要在应用程序中就此类异常，添加重...
告警管理概述
ARMS默认告警通常通过周期性的触发任务来检查监控数据是否存在异常，检测到异常后会通过默认的通道将告警事件上报到事件管理中心。ARMS各子产品创建告警规则的操作，请参见：应用监控告警规则 前端监控告警规则 Prometheus告警规则 ...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
- 产品推荐
- 这些文档可能帮助您