CreateDIJob
当目标端为已有表：数据集成系统不会修改目标端表结构，如果指定的主键列不在目标端的列集合中，任务启动会报错提示。当目标端为自动建表：数据集成系统会自动创建目标端表结构，表结构包含定义的主键列。当指定的主键列不在目标端的列集合...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
添加白名单
如果您用独享数据集成资源组同步同阿里云账号，同Region下的VPC环境数据库，您购买添加独享数据集成资源组后，还需完成网络配置和工作空间绑定，操作详情可参见 新增和使用独享数据集成资源组。如果您已完成网络连通配置，但资源组仍然无法...
功能发布记录（2022年）
2022.7.29 华东1（杭州），华东2（上海），华北2（北京），华北3（张家口），华南1（深圳），西南1（成都），德国（法兰克福）所有DataWorks用户 系统管理 数据集成DataStudio智能 支持Postgres数据库，SSL认证时支持.crt 和.key 双文件...
产品概述
数据采集：采集设备实时数据，集成信息系统业务数据 提供标准化设备数据接入流程，快速采集设备数据 广泛设备协议接入能力，支持OPC、Modbus和多种三方驱动协议 支持API、WebService、消息队列、FTP文件多种业务数据集成方式 根据业务规则...
Salesforce数据源
DataWorks数据集成支持读取Salesforce类型的数据源，本文为您介绍Salesforce的使用详情。支持的字段类型 字段类型 脚本模式数据类型 address STRING anyType STRING base64 BYTES boolean BOOL combobox STRING complexvalue STRING ...
离线同步日志分析
调度系统会将任务下发至数据集成资源组上执行，您可在区域①查看当前任务运行使用的数据集成资源组。不同类型资源组日志打印不同：任务运行在默认的资源组上，日志中会出现如下信息。running in Pipeline[basecommon_group_xxxxxxxxx]任务...
创建通用项目
贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
创建通用项目
贴源层：通常用来存储从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
DataWorks的审计事件
DIBatchOfflineStreamxJob 运维中心数据集成功能下批量下线实时任务。DIBatchRunStreamxJob 运维中心数据集成功能下批量启动实时任务。DIBatchStartAlarmRule 运维中心数据集成功能下批量启动告警规则。DIBatchStopAlarmRule 运维中心数据...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
计费逻辑说明
任务量需求 数据集成任务高并发执行且无法错峰运行的情况下，企业需要独享的计算资源来保障数据快速、稳定地传输，此时您可选择使用独享数据集成资源组。访问公网需求 独享数据集成资源组拥有公网访问能力，如果您的数据库在公网内，独享...
创建标签项目
贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
创建同步任务
背景信息 在DataWorks中，通常通过数据集成功能，定期导入系统中产生的业务数据至工作区。SQL任务进行计算后，再定期导出计算结果至您指定的数据源中，以便进一步展示或运行使用。目前数据集成功能支持从RDS、MySQL、SQL Server、...
MaxCompute数据源
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 更多其他数据集成常见问题请参见 数据集成常见问题。附录：脚本Demo与参数说明 附录：离线任务脚本配置...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
整体架构
其中：数据接入 支持各数据源全量和近实时增量导入功能：MaxCompute联合相关产品定制开发多种数据接入工具，例如MaxCompute定制开发的 Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。这些工具会对接...
数据引入概述
背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）...
数据引入概述
背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）...
应用场景
推荐搭配使用 RDS+Quick BI 报表与自有系统集成 某运输公司期望用最低成本，最快速度搭建一个可展示、可分析的简易BI，能迅速将公司重要业务数据集成展现在公司的管理系统中，为各业务线和各区域的人员提供数据支持。Quick BI解决了用户的...
IoT数据自动化同步至云端解决方案
下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute...
文档修订记录
Tablestore数据源 Tablestore Stream数据源 2023.4.7 新增功能 数据集成 DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表。IoT数据源 2023年3月更新记录 时间 特性 类别 描述 ...
功能发布记录（2023年）
2023.12.22 所有地域 所有DataWorks用户 配置检查项 新增适配StarRocks数据源 DataWorks全面适配StarRocks数据源：数据集成：支持同步StarRocks数据。数据开发：支持创建StarRocks任务并周期性调度。数据分析：支持查询并分析StarRocks数据...
产品简介
丰富的集成选项：支持多种数据来源与目标系统的集成，包括数据库、文件系统、Web服务等。自动执行任务：设定定时任务或根据特定触发器自动执行工作流程。数据转换与处理：提供内置功能以转换和处理数据，如格式转换、过滤、聚合等。监控与...
1.1.6版本
新功能发布 数字工厂 1）主数据功能 可自定义查询属性 增加元数据定义复制功能 增加系统管理员主数据清理功能 2）边缘数据集成 增加脚本智能提示和补全功能 增加日期类函数 3）增加工业应用集成页面和所属权限的层级关系声明和角色授权功能...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
规划工作空间
本文介绍DataWorks适用于不同场景的工作空间规划方案。工作空间权限模型 DataWorks各主要模块针对工作空间的权限隔离设定有所不同：功能模块 权限模型 工作空间...资源倾斜：晚期（例如7点~9点）的调度资源组、引擎计算资源、数据集成资源组。
RDS空间组成说明
用来存放数据库的REDO LOG和UNDO LOG，以及数据字典，是系统必需的。日志文件空间：这是数据库运行过程中产生的空间；更新事务越多，空间占用就越大。不过RDS已经进行优化，会尽可能快的将日志存储到OSS，以防空间占满而锁定。RDS SQL ...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
修改调度策略
对于已经配置完成的数据集成任务，如果由于业务需求变更需要重新调整调度策略，您可以参照本文的方法修改调度策略。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧...
DeployDISyncTask
TaskType String 是 DI_REALTIME 目标数据源所关联的数据集成同步任务的任务类型。取值如下：DI_REALTIME：表示数据集成实时同步任务。DI_SOLUTION：表示数据集成同步解决方案。FileId Long 是 100 当TaskType为DI_REALTIME时，则FileId为...
UpdateDISyncTask
调用UpdateDISyncTask更新数据集成同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
DataHub通过数据集成批量导入数据
本文以Stream同步数据至DataHub的脚本模式为例，为您介绍如何通过数据集成导入离线DataHub数据。前提条件 准备阿里云账号，并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
系统管理
上传数据至EMR Hive、Hologres引擎：仅支持使用独享资源组（即 数据分析>系统管理 相应引擎必须配置为独享调度资源组和独享数据集成资源组）。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
DataWorks资源组概述
推荐指数★选择指引 时效性要求：在数据集成任务高并发执行且无法错峰运行的情况下，企业需要独享的计算资源来保障数据快速、稳定地传输，此时您可选择使用独享数据集成资源组。访问内网环境的需求：独享数据集成资源组拥有公网访问能力，...
产品优势
无优化，数据集成需要较大开发 无优化，数据集成需要较大开发 日志服务 通过 LTS（原BDS）服务介绍，支持实时订阅SLS数据到Lindorm。数据集成需要较大开发 数据集成需要较大开发 服务能力 可用性SLA 提供SLA保障，单集群99.9%，双集群高...
- 产品推荐
- 这些文档可能帮助您