数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
采集ping和tcping数据
本文介绍通过Logtail采集ping和tcping数据到日志服务Metricstore的操作步骤。前提条件 已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 只有Linux Logtail 1.0.31及以上版本的Logtail支持采集ping...
常见问题
code=exited”错误 启动SSH服务时出现“error while loading shared libraries”错误 ECS网络问题 Windows实例ping外网地址提示“一般故障”Linux系统的ECS中没有禁ping却ping不通的解决方法 使用ping命令测试ECS实例时ping不通的排查方法 ...
配置RDS MySQL间的数据集成任务
本文以配置RDS MySQL间的数据集成任务为例，介绍数据集成任务的配置流程和注意事项。说明 新版DTS控制台暂不支持数据集成功能，您可以在数据管理DMS控制台配置离线集成任务，详情请参见 离线集成概述。支持全量数据迁移的数据源均支持数据...
数据集成侧同步任务配置
登录 DataWorks控制台，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。操作流程 步骤一：创建同步任务 步骤二：选择同步方案 步骤三：网络与资源配置 步骤四：同步任务配置 步骤五：启动同步任务 步骤一：...
Salesforce数据源
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。单击左侧导航栏的 数据源，进入数据源管理页面。单击 新增数据源，搜索Salesforce并打开，在 新增Salesforce数据源 ...
PolarDB PostgreSQL版（兼容Oracle）间迁移
通过使用数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的数据迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版（兼容Oracle）集群，详情请参见 创建PolarDB PostgreSQL版（兼容...
1.1.6版本
新功能发布 数字工厂 1）主数据功能 可自定义查询属性 增加元数据定义复制功能 增加系统管理员主数据清理功能 2）边缘数据集成 增加脚本智能提示和补全功能 增加日期类函数 3）增加工业应用集成页面和所属权限的层级关系声明和角色授权功能...
独享资源组
获取独享数据集成资源组EIP地址如下：在 DataWorks控制台 的 资源组列表 页面 独享资源组 页签下，单击数据集成资源组后的 查看信息，复制对话框中的 EIP地址 至数据库白名单列表中。说明 如果您之后对独享数据集成资源组进行了扩容操作，...
资源组操作及网络连通
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
管理数据集成任务
完成数据集成任务的配置后，您可以停止、恢复或删除该数据集成任务。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 数据集成任务支持的管理操作及对应的影响请参见下表。操作 影响 停止数据集成...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
集群版-单副本
纯缓存应用 单副本集群版的分片服务器由单节点组成，分片服务器某节点出现故障时，系统会重新拉起一个Redis进程（没有数据），当节点故障业务自动切换完成后，数据将会丢失，有可能流量被冲击到后端数据库，需要做好应用程序的预热保护机制...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
管理平台系统表和时序/快照表
开启成功后，可将设备时序数据集成到实时计算Flink，帮助您实时分析和诊断设备的运行状况，实时检测运行故障，实时预测制品良率等。数据服务中实时数据集成流出会消耗数据处理单元（CU），详细说明，请参见 计费项说明。功能使用的详细说明...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
产品优势
无优化，数据集成需要较大开发 无优化，数据集成需要较大开发 日志服务 通过 LTS（原BDS）服务介绍，支持实时订阅SLS数据到Lindorm。数据集成需要较大开发 数据集成需要较大开发 服务能力 可用性SLA 提供SLA保障，单集群99.9%，双集群高...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
数据库实时导入DataHub
为了更加方便让数据库数据实时导入到DataHub，联合数据集成一起开发了“数据库实时导入到DataHub”，尽量简化数据流入DataHub的流程。整体流程如下：使用图解 主账号使用方式：打开公有云DataHub Console，选择对应的Project，点击右上角的...
接入Ping监控数据
超时 发起Ping请求到返回Ping数据的时间超过指定时间后，表示超时，即Ping操作失败。单位：秒，取值范围：[1,30]。ICMPing设置 采集ICMPing数据。具体参数说明如下所示。检测名称：自定义设置检测名称。源主机：执行Ping命令的服务器的IP...
添加白名单
如果您用独享数据集成资源组同步同阿里云账号，同Region下的VPC环境数据库，您购买添加独享数据集成资源组后，还需完成网络配置和工作空间绑定，操作详情可参见 新增和使用独享数据集成资源组。如果您已完成网络连通配置，但资源组仍然无法...
MySQL整库周期性增全量同步至MaxCompute
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。在页面中的 创建同步任务 后选择 来源 为 MySQL，去向 为 MaxCompute，单击 开始创建，开始配置同步任务。配置同步...
轮播饼图
说明 默认显示百分比值，打开开关后显示真实数据数值。百分号 百分比数值的单位符号。百分号字号 百分比数值的单位符号的文本大小。百分号位置 百分比数值的单位符号的位置，可选：前置 和 后置。百分号偏移值 百分号和百分数的距离。说明 ...
轮播饼图
说明 默认显示百分比值，打开开关后显示真实数据数值。百分号 百分比数值的单位符号。百分号字号 百分比数值的单位符号的文本大小。百分号位置 百分比数值的单位符号的位置，可选：前置 和 后置。百分号偏移值 百分号和百分数的距离。说明 ...
跨账号授权配置
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。新增RDS、Hive或Kafka数据源。关键参数：参数 说明 接入方式 数据源类型 阿里云实例 阿里云实例模式 实例所属账号 ...
离线同步常见问题
具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？说明 由于离线同步任务通过调度资源组下发到数据集成执行资源组上执行，所以一个离线同步任务将同时耗费一个调度资源，若离线同步任务长时间运行未释放资源，除了阻塞其他...
MySQL数据源
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下：...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
功能特性
DataWorks数据下载 数据迁移 相关工具 支持通过MaxCompute客户端（Tunnel）、DataWorks数据集成（Tunnel）、DTS（Tunnel）、Sqoop（Tunnel）、Kettle（Tunnel）、Flume（DataHub）、Fluentd（DataHub）、LogStash（DataHub）、OGG（DataHub...
DeleteDISyncTask
调用DeleteDISyncTask接口，删除数据集成同步任务。当前仅支持使用该接口删除实时数据同步任务。如果您希望删除离线数据同步任务，请使用DeleteFile接口，具体操作流程请参考 删除同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口...
UpdateDISyncTask
调用UpdateDISyncTask更新数据集成同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
DeployDISyncTask
发布数据集成同步任务失败后的原因描述。如果发布数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=DeployDISyncTask&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回示例...
公共数据集成（调试）资源组
本文为您介绍公共数据集成（调试）资源组相关问题。公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组支持哪些类型的任务？公共数据集成（调试）资源组支持哪些网络类型？公共数据集成（调试）资源组的性能限制 公共数据...
通过DataWorks数据集成迁移日志数据至MaxCompute
本文为您介绍如何通过数据集成功能同步LogHub数据至MaxCompute。背景信息 日志服务支持以下数据同步场景：跨地域的LogHub与MaxCompute等数据源的数据同步。不同阿里云账号下的LogHub与MaxCompute等数据源间的数据同步。同一阿里云账号下的...
通过操作审计查询行为事件日志
DIBatchDeleteAlarmRule 运维中心数据集成批量删除告警规则 DIUpdateAlarmRule 运维中心数据集成修改告警规则 DISaveSolution 数据集成主站新建或修改保存解决方案 DIDeleteSolution 数据集成主站删除解决方案 DIStartSolution 数据集成主...
- 产品推荐
- 这些文档可能帮助您