文档更新动态（2022年之前）
新功能 创建Impala数据源、新建AnalyticDB for MySQL 3.0数据源、Dataphin支持的数据源 2021年08月24日 数据集成：数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化 新增...
流量回放和压测
此外，在数据库发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。前提条件 源数据库支持：RDS MySQL PolarDB MySQL版 说明 不支持 PolarDB MySQL版 的 企业版 单节点 实例。PolarDB-X 2.0。目标数据库实例...
智能压测
此外，在数据库发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。前提条件 源数据库支持：RDS MySQL PolarDB MySQL版 说明 不支持 PolarDB MySQL版 的 企业版 单节点 实例。PolarDB-X 2.0。目标数据库实例...
配置LogHub（SLS）输入
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
配置MaxCompute输出
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
源为PolarDB-X的功能规范和约束说明
警告 异常切流是指源实例或者源实例所在的数据中心发生故障时进行的切流操作。这类操作都是有损操作。在出现故障（如网络中断、机房批量设备故障或互联网数据中心IDC故障），且DTS任务存在延迟的情况下，此时如更新至目标库的最后一条数据...
源为PolarDB-X的功能规范和约束说明
警告 异常切流是指源实例或者源实例所在的数据中心发生故障时进行的切流操作。这类操作都是有损操作，例如导致数据不一致或任务失败。在出现故障（如网络中断、机房批量设备故障或互联网数据中心IDC故障），且DTS任务存在延迟的情况下，...
管理平台系统表和时序/快照表
您可以通过数据服务的离线数据存储功能，查看平台系统表、时序表和快照...实时数据集成（Flink）：产品属性时序表和产品事件表数据，可以集成到阿里云实时计算Flink中计算和分析，以帮助您实时分析和诊断设备的运行状况，实时检测运行故障等。
采集客户端数据的高可用方案
当Logstore A发生故障时，Logstore B的数据仍然实时可用。当Logstore B发生故障时，Logstore A的数据仍然实时可用。操作步骤：在日志服务控制台上，创建Project和Logstore。创建A地域的Project A和Logstore A。创建B地域的Project B和...
配置Kafka输出
鼠标悬停至 图标，单击 新建节点>数据集成>实时同步。您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。...
配置Elasticsearch输出
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
2023年
异构数据源访问 同构数据源访问 实时分析（免费公测）实时分析功能包含高速数据导入API和实时数据源集成两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB ...
配置数据脱敏
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
配置Kafka输入
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
创建Hive数据源
Hive数据源配置参数中，集成配置 是为了支持数据集成，实时研发配置 是为了支持实时研发的场景，而 元数据库配置 是基础的配置，用来获取元数据。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据...
数据传输与迁移概述
类型 典型场景 数据库Binlog采集 数据集成-数据库实时数据同步。DTS。日志采集 数据集成-实时数据同步（SLS）。SLS数据投递。日志采集客户端LogStash。流计算任务写入 Flink写入MaxCompute结果表。流数据同步任务写入 DataHub数据同步...
Kafka实时同步
Hologres与大数据生态无缝打通，您可以通过DataWorks数据集成、Flink以及Hologres Connector等多种方式将Kafka数据实时同步至Hologres，再进行高并发低延时的查询分析处理。相关原理请参见 Kafka Reader 和 Hologres Writer。Kafka通过...
告警事件
告警事件集中为您展示离线计算、实时计算、实时集成、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线...
离线同步常见问题
可能原因2：等待数据集成任务执行资源 解决方案2：若日志出现长时间WAIT状态，说明当前任务运行所使用的独享数据集成资源组剩余可运行的并发数不足以运行当前任务。具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？说明 ...
全增量实时同步至Hologres
实时数据增量同步（可选）：持续将源库的增量数据实时同步至Hologres。并且实时同步已支持的源端库DDL消息，例如，源端表增加列时，Hologres对应目标表也会增加相应列。注意事项 同步数据至Hologres时，目前仅支持将数据写入分区表子表，暂...
一键实时同步至Elasticsearch
背景信息 本方案适用于需要实时监测业务库数据的更新情况，便于上层应用对实时数据进行检索分析或数据开发的场景。方案属性 说明 可同步的表个数 支持将源端多表数据写入至目标端多个索引。支持通过目标索引配置规则实现源端多表数据写入至...
2020年
Kafka Partition同步策略说明 从RDS同步至自建Kafka集群 DTS产品接入至云监控平台，可以对实例重要的监控指标设置报警规则，让您及时得知指标数据发生异常，帮您迅速定位处理故障。通过云监控平台为DTS任务设置报警规则 周期性全量数据迁移...
运维中心概述
调度任务运维大屏以及数据集成离线同步与实时同步任务运维专页，针对任务运维关键指标的查看。下表为运维中心各模块功能使用的简单说明：模块 描述 环境支持情况 查看运维大屏 运维大屏以报表的形式为您展示任务的运行的重要指标。包括 ...
一键实时同步至DataHub
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的源端表个数有关。数据写入 运行同步任务后，生成的离线同步任务将全量数据...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
MySQL数据源
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
实时数据集成（Flink版）
Flink全托管产品支持您自定义连接器后上传使用，物联网平台提供连接器 iot-source 的使用说明，请参见 实时数据集成的连接器。使用限制 限制项 说明 地域 华东2（上海）、华南1（深圳）、华北2（北京）、美国（弗吉尼亚）。物联网平台企业...
功能特性
Kafka通过DataWorks实时同步 MySQL、PostgreSQL等数据库整库实时同步 通过DataWorks数据集成可以实现MySQL、PostgreSQL等数据库的数据全量离线以及增量实时同步至Hologres。MySQL分库分表实践 Spark写入Hologres 可以通过Hologres ...
管理数据集成任务
完成数据集成任务的配置后，您可以停止、恢复或删除该数据集成任务。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 数据集成任务支持的管理操作及对应的影响请参见下表。操作 影响 停止数据集成...
Flink+Hologres实时数据大屏
实践步骤 准备工作 本实践使用已存储在Flink中的Github公共事件作为示例数据，因此您无需操作数据集成步骤，可使用Hologres直接读取Flink中的示例数据。本实践需准备的环境如下所示。准备Hologres环境 您需开通Hologres，创建并连接...
项目角色管理
规划 业务实体 编辑 业务实体新建、编辑、删除、下线 数据集成 数据集成 访问目录 实时集成目录-查看、搜索、筛选 管道任务目录-查看、搜索、筛选 查看详情 实时集成-查看（画布、算子、属性、历史）管道任务-查看（画布、算子、属性、历史...
项目角色管理
业务实体 编辑 业务实体新建、编辑、删除、下线 数据集成 数据集成 访问目录 实时集成目录-查看、搜索、筛选 管道任务目录-查看、搜索、筛选 查看详情 实时集成-查看（画布、算子、属性、历史）管道任务-查看（画布、算子、属性、历史）...
通用参考：切换资源组
说明 实时同步任务暂不支持在运维中心修改数据集成资源组，请在数据集成控制台或数据开发控制台修改，具体请参见 数据集成页面、数据开发页面。在左侧导航栏单击 周期任务运维>周期任务。节点类型 筛选条件设置为 离线同步，然后选中需要...
设计原则
数据容灾是指在数据中心或服务器发生故障、灾难或意外情况时，能够保证数据的安全性和可用性的一系列措施和策略。数据容灾的目标是确保在不可避免的情况下，数据的完整性、可恢复性和可用性不受到严重影响，以保障业务的持续运行和数据的...
功能特性
申请跨境数据同步权限 什么是跨境 事件中心 事件通知 通过云监控平台的事件订阅对重要的事件设置定制化的报警通知，让您及时了解事件的发生与进展，帮助您实时掌握事件动态，便于您在业务故障时快速分析并定位问题。订阅事件通知 主动运维...
基于GitHub公开事件数据集的离线实时一体化实践
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，可以直接通过外表的方式读取并解析OSS中的半结构化数据，将高价值可用数据集成至MaxCompute内部存储，然后结合DataWorks进行数据开发，生成离线数据...
实时同步任务告警设置最佳实践
对于DataWorks数据集成的实时同步任务、全增量同步任务的实时同步阶段，您可以设置任务告警规则，用来监控同步任务的状态，本文为您介绍实时同步任务告警设置的指标有哪些，并为您示例一个最佳实践。告警规则指标 您可以在DataWorks的运维...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
- 产品推荐
- 这些文档可能帮助您