功能简介
提供完善的实时数据接入配置等功能，有效保障实时任务接入的稳定性和可控性。配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务...
创建ClickHouse数据源
ClickHouse数据源创建完成后，可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景中，各应用场景需要分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需要根据数据源的应用场景提前准备好对应的...
MySQL整库周期性增全量同步至MaxCompute
本实践仅支持使用独享数据集成资源组，您需购买并配置独享资源组，保障资源组与MySQL数据源、MaxCompute数据源网络连通，独享数据集成资源组的购买与配置操作请参见 新增和使用独享数据集成资源组。创建同步任务 进入数据集成页面。登录 ...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建的MySQL数据库中的数据，迁移到MaxCompute。前提条件 已拥有至少一个绑定专有网络VPC的ECS（请勿使用经典网络），并在ECS上安装好MySQL数据库，数据库中已创建好用户和测试数据。...
数据同步
提供完善的实时数据接入配置等功能，有效保障实时任务接入的稳定性和可控性。配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构...其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
功能简介
提供完善的实时数据接入配置等功能，有效保障实时任务接入的稳定性和可控性。配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
离线同步日志分析
当任务长时间处于等待数据集成任务执行资源的状态时，可能是其他任务运行占用该资源组上的资源导致当前任务无资源执行而处于等待状态，您可以通过以下方案解决此类问题：待占用该数据集成资源组的任务（即运行在该资源组上的任务）执行成功...
Hudi概述
针对Merge On Read类型的表，查询时需要在线合并列存中的Base数据和日志中的实时数据；针对Copy On Write表，可以查询最新版本的Parquet数据。Copy On Write和Merge On Read表支持该类型的查询。Incremental Queries 支持增量查询的能力，...
技术架构选型
其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','...
创建AnalyticDB for PostgreSQL数据源
仅支持使用独享数据集成资源组、独享调度资源组运行AnalyticDB for PostgreSQL任务，详情请参见 新增和使用独享数据集成资源组、新增和使用独享调度资源组；基于AnalyticDB for PostgreSQL数据源创建数据服务API，推荐使用独享数据服务资源...
使用DataWorks同步数据
单击右侧的 数据集成资源组配置，选择已经创建好的 独享数据集成资源组。保存并运行数据同步任务。单击工具栏中的 图标，保存数据同步任务。单击工具栏中的 图标，运行数据同步任务。验证同步结果 登录 云数据库ClickHouse控制台。在页面...
概述
消息集成是一个全栈式的消息与数据集成平台，可显著简化您的消息集成流程，并支持云上云下、跨区域集成，帮助您实现数字化转型。消息集成为消息产品提供的低代码，全栈事件流（EventStreaming）服务平台，聚焦消息集成、数据连接、数据处理...
数据集成：全领域数据汇聚
适用场景 DataWorks数据集成适用于数据入湖入仓、分库分表、实时数据归档、云间数据流转等数据传输场景。计费 运行数据集成任务可能产生的费用由以下几部分组成：运行数据集成任务所需的 数据集成资源组 费用。计费详情请参见 独享数据集成...
概述
消息集成是一个全栈式的消息与数据集成平台，可显著简化您的消息集成流程，并支持云上云下、跨区域集成，帮助您实现数字化转型。消息集成为消息产品提供的低代码，全栈事件流（EventStreaming）服务平台，聚焦消息集成、数据连接、数据处理...
概述
消息集成是一个全栈式的消息与数据集成平台，可显著简化您的消息集成流程，并支持云上云下、跨区域集成，帮助您实现数字化转型。消息集成为消息产品提供的低代码，全栈事件流（EventStreaming）服务平台，聚焦消息集成、数据连接、数据处理...
MaxCompute数据离线同步至ClickHouse
准备独享数据集成资源组并与ClickHouse网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和ClickHouse集群的 配置网络连通。如果您的独享数据集成资源组和ClickHouse属于同一地域，可使用同地域VPC内网联通独享资源组和...
技术架构选型
其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心、监控报警、数据资产等在内...
基于AnalyticDB构建企业数仓
独享数据集成资源组 选择任务运行的机器，如果任务数比较多，使用默认资源组出现等待资源的情况，建议购买独享数据集成资源或添加自定义资源组，详情请参见 新增和使用独享数据集成资源组 和 新增和使用自定义数据集成资源组。单击右侧的 ...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
Dataphin支持的数据源
说明 在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：新建离线自定义源类型 新建实时自定义源类型 数据源说明 ...
管理数据源权限
因此数据集成提供更加严格的权限管控功能，仅支持数据源的创建者对数据源进行权限管理，指定某个工作空间或者某个人对数据源的权限。数据源权限管理相关的常见问题请参见 数据源权限管理。使用限制 数据源权限管理功能仅支持跨工作空间数据...
数据集成权限列表
本文为您介绍数据集成的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限；表示该角色与此功能权限无关。更多角色说明 自定义项目角色是Dataphin基于产品的功能，对数仓规划、数据集成、数据开发、项目资产权限...
数据集成权限列表
本文为您介绍数据集成的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限；表示该角色与此功能权限无关。更多角色说明 自定义项目角色是Dataphin基于产品的功能，对数仓规划、数据集成、数据开发、项目资产权限...
FineBI
需要下载支持实时数据的版本（实时数据版本支持直联 AnalyticDB MySQL版 引擎）。更多详情，请参见 实时数据（直连）。如果您是第一次安装FineBI，需要安装MySQL服务器（例如阿里云RDS MySQL），用于导入FineBI的元数据，更多详情，请参见 ...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
UpdateDISyncTask
更新数据集成同步任务失败后的原因描述。如果更新数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=UpdateDISyncTask&FileId=1000000&ProjectId=10000&RegionId=...
通过脚本模式创建集成任务
离线管道支持的数据源详情，请参见 数据集成支持的数据源。步骤一：创建离线脚本 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 创建离线脚本 对话框 在 创建离线脚本 对话框，配置参数。区域 ...
LTS（原BDS）服务介绍
全量导出MaxCompute、增量归档MaxCompute LogHub实时数据订阅 重要 该功能自2023年6月16日下线，2023年6月16日后购买的LTS 不再支持此功能，2023年6月16日前购买的LTS仍可正常使用此功能。支持订阅LogHub实时数据到Lindorm。日志服务（SLS...
数据迁移
DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为您提供稳定高效和弹性伸缩的数据同步平台。最佳实践合集 MaxCompute跨项目数据迁移：同一地域的MaxCompute跨项目数据迁移，详情请参见...
数据同步流程
适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权...
查询概述
通过支持数据导入集成，SelectDB可从多种数据源（阿里云数据源、自建数据源）进行数据导入，SelectDB提供稳定、高效、简单易用的数据集成方案。通过支持数据可视化集成，SelectDB可与MySQL生态兼容的可视化工具进行无缝对接，大幅提升数据...
新建元表
数据源 Dataphin支持的实时数据源及创建的表类型详情，请参见 Dataphin支持的实时数据源。您也可以自定义实时数据源类型，具体操作，请参见 新建实时自定义源类型。选择数据源后，您还需根据数据源类型，配置对应信息。详情请参见 附录：...
第三方认证文件管理
登录 DataWorks控制台，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。在左侧导航栏，单击 配置选项>认证文件管理。单击 认证文件管理 页面右上方的 上传认证文件。在 上传认证文件 对话框，单击 上传文件 ...
HDFS数据源
由于TextFile和ORCFile是两种不同的文件格式，所以HDFS Reader对这两种文件的解析方式也存在差异，这种差异导致Hive支持的复杂复合类型（例如map、array、struct和union）在转换为数据集成支持的String类型时，转换的结果格式略有差异，以...
新建元表
数据源 Dataphin支持的实时数据源及创建的表类型详情，请参见 Dataphin支持的实时数据源。您也可以自定义实时数据源类型，具体操作，请参见 新建自定义数据源类型。选择数据源后，您还需根据数据源类型，配置对应信息。详情请参见 附录：...
- 产品推荐
- 这些文档可能帮助您