配置监控报警
数据集成任务提供了监控报警功能，您可以通过控制台对重要的监控指标设置报警规则，让您第一时间了解该任务的运行状态。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 DTS目前支持的监控项为 延迟...
推送记录
在 推送记录 页面，您可单击 离线计算、实时计算、实时集成、数据质量 或 数据服务 页签，查看对应模块的推送记录。不同功能模块的页签展示一致，下图以 离线计算 为例。区域 描述 ①筛选与搜索区 您可根据推送记录对象名称的关键字进行...
DataWorks的审计事件
DIBatchOfflineStreamxJob 运维中心数据集成功能下批量下线实时任务。DIBatchRunStreamxJob 运维中心数据集成功能下批量启动实时任务。DIBatchStartAlarmRule 运维中心数据集成功能下批量启动告警规则。DIBatchStopAlarmRule 运维中心数据...
配置Elasticsearch输出
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
Hologres数据源
整库实时写 实时数据同步任务仅支持使用 独享数据集成资源组。实时数据同步任务暂不支持同步没有主键的表。单表、整库全增量实时写 同步数据至Hologres时，目前仅支持将数据写入分区表子表，暂不支持写入数据至分区表父表。支持的字段类型 ...
流式ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
什么是ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
FTP数据源
FTP Writer实现了从数据集成协议转为FTP文件功能，FTP文件本身是无结构化数据存储。目前FTP Writer支持的功能如下：支持 不支持 支持且仅支持写入文本类型（不支持BLOB，如视频数据）的文件，且要求文本中schema为一张二维表。支持类CSV和...
一键MaxCompute任务出错恢复
解决方法：进入 数据集成>同步任务 找到目标任务，单击 更多>修改配置 编辑全增量同步任务，可以通过先减表，提交执行流程，再加表，提交执行流程，触发此表的重新同步，跳过该表不支持的DDL。实时任务启动时，修改DDL策略，修改该类型的...
创建Hive数据源
Hive数据源配置参数中，集成配置 是为了支持数据集成，实时研发配置 是为了支持实时研发的场景，而 元数据库配置 是基础的配置，用来获取元数据。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
MaxCompute数据源
实时写 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持同步没有主键的表。当实时同步至MaxCompute数据源且使用临时AK进行同步时，临时AK...
Kafka实时同步
Hologres与大数据生态无缝打通，您可以通过DataWorks数据集成、Flink以及Hologres Connector等多种方式将Kafka数据实时同步至Hologres，再进行高并发低延时的查询分析处理。相关原理请参见 Kafka Reader 和 Hologres Writer。Kafka通过...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
跨境SaaS:深圳市易仓科技有限公司
价值6：所有RW节点只有一份Binlog，下游数据集成成本大幅度降低 PolarDB 多主集群所有RW节点只有生成一份Binlog，下游实时数仓做数据集成时，一个 PolarDB 多主集群只需要一个DTS同步任务，可以彻底解决SaaS场景因为数据库实例众多，导致...
实时Top Key统计
根据业务需求，选择查询实时数据或历史数据。图 1.Key分析 说明 如果实例为集群架构或读写分离架构，您还可以在 当前节点 下拉框中选择要展示数据的节点。当Key的访问频次非常高时，该Key已被认定为热Key，无需再继续统计精确的频次信息，...
MongoDB数据源
整库级别同步任务配置指导 整库离线、整库（实时）全增量、整库（实时）分库分表等整库级别同步任务的配置操作，请参见 数据集成侧同步任务配置。最佳实践 JSON数据从MongoDB迁移至MaxCompute 离线同步读取MongoDB数据 离线同步写入MongoDB...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
增加或删除已运行任务的同步表
实时增量同步 参数 描述 选择实时任务独享资源组 选择运行实时任务时需要使用的独享数据集成资源组。目前解决方案仅支持使用独享数据集成资源组，此处可配置为准备操作中已购买并配置的独享数据集成资源组，详情请参见 资源规划与配置。...
实时同步常见问题
实时同步字段格式问题 数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时，会在同步的目标端添加5个附加列，以进行元数据管理、排序去重等操作。详情请参见 实时同步字段格式。为什么实时同步任务延迟较...
独享资源组
切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明 如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...
管理数据集成任务
完成数据集成任务的配置后，您可以停止、恢复或删除该数据集成任务。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 数据集成任务支持的管理操作及对应的影响请参见下表。操作 影响 停止数据集成...
功能特性
Paimon数据源 数据集成和可视化 功能集 功能 功能描述 参考文档 数据集成 通过DataWorks导入数据 云数据库 SelectDB 版支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks...
自定义资源组
配置二级运行资源 登录DataWorks控制台，进入 数据集成>自定义资源组 页面，单击右上角的 新增自定义资源组 进行新建，详情请参见 新增和使用自定义数据集成资源组。说明 该页面添加的资源组仅用于数据同步任务，配置的是二级运行资源。...
离线同步常见问题
可能原因2：等待数据集成任务执行资源 解决方案2：若日志出现长时间WAIT状态，说明当前任务运行所使用的独享数据集成资源组剩余可运行的并发数不足以运行当前任务。具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？说明 ...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
通用参考：切换资源组
说明 实时同步任务暂不支持在运维中心修改数据集成资源组，请在数据集成控制台或数据开发控制台修改，具体请参见 数据集成页面、数据开发页面。在左侧导航栏单击 周期任务运维>周期任务。节点类型 筛选条件设置为 离线同步，然后选中需要...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
项目角色管理
项目角色管理是Dataphin基于产品的功能，对数仓规划、数据集成、数据开发、项目资产权限、发布运维的多个模块的权限管理。本文为您介绍如何新建及管理项目角色。使用限制 支持超级管理员和系统管理员新增、编辑、删除和克隆操作，普通成员...
项目角色管理
项目角色管理是Dataphin基于产品的功能，对数仓规划、数据集成、数据开发、项目资产权限、发布运维的多个模块的权限管理。本文为您介绍如何新建及管理项目角色。使用限制 支持超级管理员和系统管理员新增、编辑、删除和克隆操作，普通成员...
配置Kafka输入
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
数据开发
说明 DataWorks为您提供了独享数据集成资源组供您使用，公共数据集成（调试）资源组即将下线，详情请参见 DataWorks公共数据集成（调试）资源组下线公告，建议数据同步任务均使用独享数据集成资源组。购买独享数据集成资源组。登录并进入 ...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
数据集成：全领域数据汇聚
适用场景 DataWorks数据集成适用于数据入湖入仓、分库分表、实时数据归档、云间数据流转等数据传输场景。计费 运行数据集成任务可能产生的费用由以下几部分组成：运行数据集成任务所需的 数据集成资源组 费用。计费详情请参见 独享数据集成...
公共数据集成（调试）资源组
公共数据集成（调试）资源组仅支持 离线数据同步，不支持 实时数据同步、同步解决方案。适用于任务量相对较少、对任务时效性要求不高的场景。对于时效性、稳定性要求高，需要保障的任务建议使用独享数据集成资源组。公共数据集成（调试）...
PostgreSQL数据源
parameter":{"datasource":"abc","column":["id","\"123Test\"",/添加转义符],"where":"","splitPk":"id","table":"public.wpw_test"},实时读 数据集成实时同步任务存在如下约束与限制：数据集成对 ADD COLUMN 进行了特别支持：约束：ADD ...
应用场景
实时数据建模：提供了实时数据建模聚合表，以支持实时聚合能力。强大的引擎和优化器保证了数据库在实时数据建模时的高效性。实时更新：采用了delete-and-insert的实时更新策略，且在读取时无需进行主键合并，相较于采用了merge-on-read...
- 产品推荐
- 这些文档可能帮助您