大数据集成技术-大数据集成技术文档介绍内容-阿里云

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

收费常见问题

本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。

查看历史任务

数据集成任务会在每个调度时间点生成一个数据迁移任务，通过DTS控制台您可以查看所有已经运行完成的数据迁移任务，了解该任务的执行情况。前提条件已创建数据集成任务，相关案例请参见配置RDS MySQL间的数据集成任务。操作步骤登录数据...

DataWorks公共数据集成（调试）资源组下线公告

已经配置了DataWorks公共数据集成资源组的任务可继续正常运行，但不能对这些任务进行修改，若您需修改这些任务，请于 2024年4月1日前切换为 DataWorks独享数据集成资源组。2024年9月1日起，DataWorks公共数据集成资源组不再提供服务，...

数据引入概述

Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息如果您是在 2020年4月之后购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统不再提供数据同步的功能入口）。数据集成为您提供简单...

数据引入概述

Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息如果您是在 2020年4月之后购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统不再提供数据同步的功能入口）。数据集成为您提供简单...

配置监控报警

数据集成任务提供了监控报警功能，您可以通过控制台对重要的监控指标设置报警规则，让您第一时间了解该任务的运行状态。前提条件已创建数据集成任务，相关案例请参见配置RDS MySQL间的数据集成任务。背景信息 DTS目前支持的监控项为延迟...

数据集成概述

背景信息面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...

独享资源组

切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...

离线数据集成（DataWorks+MaxCompute）

物联网平台数据服务中的平台系统表、产品属性时序表、产品属性快照表、产品事件表和自定义存储表等数据，通过 大数据开发治理平台DataWorks 集成到云原生大数据计算服务MaxCompute 中构建数据仓库，以提升数据应用效率。背景信息 ...

DataWorks数据集成

数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...

附录：ECS自建数据库的安全组配置

添加安全组进行ECS自建数据源的数据同步时，如果同步任务运行在：独享数据集成资源组上需要将独享数据集成资源组的EIP地址段或独享数据集成资源组绑定的交换机网段添加至ECS安全组上。通过外网同步数据时，需获取并添加独享资源组本身的...

资源组操作及网络连通

如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...

计费方式

运行数据集成任务会产生DataWorks相关费用，此外还可能其他产品费用，具体如下：DataWorks相关收费 数据集成资源组（独享数据集成资源组计费说明：包年包月，如果使用公共数据集成（调试）资源组：按量计费，则还包括公共数据集成资源组...

通用参考：切换资源组

说明实时同步任务暂不支持在运维中心修改数据集成资源组，请在数据集成控制台或数据开发控制台修改，具体请参见 数据集成页面、数据开发页面。在左侧导航栏单击周期任务运维>周期任务。节点类型筛选条件设置为离线同步，然后选中需要...

配置资源组与网络连通

在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...

数据源概述

在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述配置数据源...

DeleteDISyncTask

调用DeleteDISyncTask接口，删除数据集成同步任务。当前仅支持使用该接口删除实时数据同步任务。如果您希望删除离线数据同步任务，请使用DeleteFile接口，具体操作流程请参考删除同步任务。调试您可以在OpenAPI Explorer中直接运行该接口...

数据集成

数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...

DeployDISyncTask

TaskType String 是 DI_REALTIME 目标数据源所关联的数据集成同步任务的任务类型。取值如下：DI_REALTIME：表示数据集成实时同步任务。DI_SOLUTION：表示数据集成同步解决方案。FileId Long 是 100 当TaskType为DI_REALTIME时，则FileId为...

数据集成

数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的...

通过DataWorks导入数据

前提条件已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步...

公共数据集成（调试）资源组：按量计费

公共数据集成（调试）资源组是DataWorks提供的公共资源组的一种，计费方式为按量计费。本文为您介绍公共数据集成（调试）资源组的按量计费详情。背景信息所有阿里云DataWorks用户共享使用公共数据集成（调试）资源组资源，使用高峰期可能...

UpdateDISyncTask

调用UpdateDISyncTask更新数据集成同步任务。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构...其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

专有网络VPC的数据源连通独享数据集成资源组

本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见快速创建RDS MySQL实例。在目标实例...

能力介绍

基于数据总线的应用间数据集成方案。数据集成介绍 数据集成标准化的目标是规范应用之间数据的传递方式和表达方式。传递方式：即应用之间的数据如何流通。平台提供了对数据进行增删改查的4个API，以及HTTP2方式的消息订阅机制。表达方式：即...

通过DataWorks导入数据

前提条件已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。操作步骤配置同步的源端数据库读插件。具体操作，请参见 Kafka ...

CreateDISyncTask

调用CreateDISyncTask创建数据集成同步任务。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

通过DataWorks导入

您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见支持的数据源与读写插件。说明数据...

数据集成审批策略

数据集成审批策略支持管理员从DataWorks空间级别为数据集成任务的保存操作定义审批策略。本文为您介绍如何创建数据集成审批策略。背景信息支持管理员按源端、目的端数据源的组合来定义需要被审批的数据集成任务，包括：在数据集成或数据...

GenerateDISyncTaskConfigForUpdating

DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...

通过DataWorks导入数据

您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见支持的数据源及同步方案。说明数据...

技术架构选型

其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','...

通用参考：按量付费转包年包月

任务类型所用资源组资源组介绍及计费说明调度任务公共调度资源组使用公共资源组公共调度资源组计费说明：按量付费 数据集成任务公共数据集成（调试）资源组使用公共资源组公共数据集成（调试）资源组：按量计费调用数据服务API ...

通过DataWorks导入数据

您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见支持的数据源与读写插件。说明数据...

数据集成概述

背景信息面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...

DataWorks的审计事件

DIBatchOfflineStreamxJob 运维中心数据集成功能下批量下线实时任务。DIBatchRunStreamxJob 运维中心数据集成功能下批量启动实时任务。DIBatchStartAlarmRule 运维中心数据集成功能下批量启动告警规则。DIBatchStopAlarmRule 运维中心数据...

StopDISyncInstance

TaskType String 是 DI_REALTIME 停止数据集成同步任务的任务类型。目前仅支持使用DI_REALTIME类型。DI_REALTIME代表实时任务。FileId Long 是 100 FileId为实时同步任务的ID。您可以调用 ListFiles 接口获取任务ID。返回数据名称类型 ...

大数据集成技术

新品推荐