LogHub（SLS）数据源
支持的数据集成内部类型 写入LogHub（SLS）时的数据类型 LONG STRING DOUBLE STRING STRING STRING DATE STRING BOOLEAN STRING BYTES STRING 实时读LogHub（SLS）时 会自带以下元数据字段。LogHub（SLS）实时同步字段 数据类型 说明_time_...
创建MaxCompute数据源
MaxCompute数据源创建完成后，可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景，各场景需分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需根据应用场景提前准备对应的资源组并完成配置，在...
数据迁移
DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为您提供稳定高效和弹性伸缩的数据同步平台。最佳实践合集 MaxCompute跨项目数据迁移：同一地域的MaxCompute跨项目数据迁移，详情请参见...
第三方认证文件管理
登录 DataWorks控制台，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。在左侧导航栏，单击 配置选项>认证文件管理。单击 认证文件管理 页面右上方的 上传认证文件。在 上传认证文件 对话框，单击 上传文件 ...
基于DLF数据入湖的MaxCompute湖仓一体实践
资源组 我的资源组 已创建的数据集成独享资源组。去向 数据去向 OSS。数据源名称 已创建的OSS数据源。配置任务。在 配置任务 页签填写表和文件名。参数 说明 表 RDS数据库中已创建的表名。文件名（含路径）格式：中已创建的文件目录名称>/...
MySQL整库离线同步到OSS
登录 DataWorks控制台，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入数据集成。单击左侧导航栏的 同步任务，来源 选择 MySQL，去向 选择 OSS，单击 开始创建 按钮。在 新建同步任务 页面，编辑任务的基本信息。新...
创建Hologres数据源
Hologres数据源创建完成后，可用于进行数据同步、Hologres计算任务开发与调度、生成API提供数据服务等应用场景中，各应用场景需要分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需要根据数据源的应用场景提前准备好...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
数据上云场景
RDS数据库数据实时同步时，可以选择DataWorks的数据集成，详情请参见 配置数据源（来源为MySQL）。日志采集 日志采集时，您可以选用Flume、Fluentd、Logstash等工具。具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志...
通过DataWorks导入数据
云数据库 SelectDB 版 支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks同步数据至 云数据库 SelectDB 版。使用限制 DataWorks的数据集成功能仅支持离线写入 云数据库 ...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
整体架构
其中：数据接入 支持各数据源全量和近实时增量导入功能：MaxCompute联合相关产品定制开发多种数据接入工具，例如MaxCompute定制开发的 Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。这些工具会对接...
2020年
数据集成调度策略说明 配置RDS MySQL间的数据集成任务 发布全链路诊断功能，可展示DTS链路中各模块的状态信息（例如网络连接状态、网络延迟、流量等信息），帮助您快速定位问题。查看全量迁移链路状态和性能 查看增量迁移链路状态和性能 ...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
StopDISyncInstance
停止数据集成同步任务失败后的原因描述。如果停止数据集成同步任务成功，则该参数的返回值为空。示例 请求示例 http(s):/[Endpoint]/?Action=StopDISyncInstance&ProjectId=10000&TaskType=DI_REALTIME&FileId=100&公共请求参数 正常返回...
集成组件库开发说明
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。可视化组件开发方式不仅能降低开发难度和效率，还方便您快速梳理来源与去向数据源。本文为您介绍如何...
集成组件库开发说明
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。可视化组件开发方式不仅能降低开发难度和效率，还方便您快速梳理来源与去向数据源。本文为您介绍如何...
步骤三：引入数据
本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道名称不同。本文以集成product表为例介绍如何集成product表至项目。重要 完成product表集成后，您还需参考本文...
步骤三：引入数据
本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道名称不同。本文以集成product表为例介绍如何集成product表至项目。重要 完成product表集成后，您还需参考本文...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
离线同步读取MongoDB数据
DataWorks的数据集成为您提供MongoDB Reader插件，可从MongoDB中读取数据，并将数据同步至其他数据源。本文以一个具体的示例，为您演示如何通过数据集成将MongoDB的数据离线同步至MaxCompute。背景信息 本实践的来源数据源为MongoDB，去向...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
Doris数据源
DataWorks数据集成支持使用Doris Writer导入表数据至Doris。本文为您介绍DataWorks的Doris数据同步能力支持情况。支持的Doris版本 Doris Writer使用的驱动版本是MySQL Driver 5.1.47，该驱动支持的内核版本如下。驱动能力详情请参见 Doris...
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
Kafka增量数据同步至MaxCompute
数据集成资源组配置 选择在创建数据源时，与Kafka数据和MaxCompute数据源都完成连通性检查的数据集成资源组。试运行验证 完成上述配置后，您可以在数据开发（DataStudio）的离线节点页面进行调试运行，验证离线数据同步的结果是否符合预期...
Kafka增量数据同步至MaxCompute
数据集成资源组配置 选择在创建数据源时，与Kafka数据和MaxCompute数据源都完成连通性检查的数据集成资源组。试运行验证 完成上述配置后，您可以在数据开发（DataStudio）的离线节点页面进行调试运行，验证离线数据同步的结果是否符合预期...
采集数据
您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击 批量测试连通性。详情请参见 配置资源组与网络连通。单击...
入仓解决方案
入仓解决方案包括：实时同步任务：基于离线数据集成的数据传输服务。新建实时同步任务，请参见 新建实时同步任务。实时迁移任务：基于数据传输服务DTS的数据传输服务。新建实时迁移任务，请参见 新建实时迁移任务。说明 基于DTS的数据同步...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
资源组 我的资源组 已创建的数据集成独享资源组。去向 数据去向 OSS。数据源名称 已创建的OSS数据源。配置任务。在 配置任务 页签填写表和文件名。参数 说明 表 RDS数据库中已创建的表名。文件名（含路径）格式：中已创建的文件目录名称>/...
跨账号云服务集成
使用企业管理员或企业管理员的拥有管理...在右侧页面选择需要集成的数据源，然后单击右侧 操作 列的 集成，并在弹出的对话框中单击 确认。单击数据源右 操作 列的 文件夹。在Grafana的 Dashboards 页面您可以查看数据源对应大盘所在的文件夹。
跨账号云服务集成
使用企业管理员或企业管理员的拥有管理...在右侧页面选择需要集成的数据源，然后单击右侧 操作 列的 集成，并在弹出的对话框中单击 确认。单击数据源右 操作 列的 文件夹。在Grafana的 Dashboards 页面您可以查看数据源对应大盘所在的文件夹。
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
使用DataWorks数据集成从MySQL导入数据到GDB
本文为您介绍通过DataWorks的数据集成功能，从RDS MySQL导入数据至图数据库GDB。前提条件 已创建RDS MySQL实例，创建方法请参见 创建RDS MySQL实例。已创建图数据库GDB实例，创建方法请参见 创建实例。已完成独享资源组配置，配置方法请...
保险行业解决方案与案例
需求背景 某保险公司（中国前三）核心及业务系统迁移是当前保险业机构最大规模的数据库国产化改造项目。该公司依托云计算技术和互联网技术构建了分层清晰的数字化平台，推动技术架构和技术标准的统一，实现系统间整合和内通外联，同时，...
产品简介
丰富的集成选项：支持多种数据来源与目标系统的集成，包括数据库、文件系统、Web服务等。自动执行任务：设定定时任务或根据特定触发器自动执行工作流程。数据转换与处理：提供内置功能以转换和处理数据，如格式转换、过滤、聚合等。监控与...
任务运行诊断
检查同步任务执行情况 若数据集成同步任务开始执行，表示DataWorks的调度系统已经开始调度该任务。但任务是否已经开始同步数据，需根据详细的执行日志进行判断。数据集成任务日志分析，详情请参见 离线同步日志分析。常见的同步任务执行...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
配置管理
附录：数据变更原因分类 系统默认的数据变更原因分类如下：[{"key":"config_correct","value":"Modify Config"},{"key":"project_init_data","value":"Init Project Data"},{"key":"program_bug","value":"Program Bug"},{"key":"require_...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
空间管理
TOP 5 DB空间 以横向柱形图形式展示实例空间使用率TOP 5的数据库空间详情，包括：总空间（单位：MB）数据空间（单位：MB）日志空间（单位：MB）空间变化趋势：以折线图形式展示实例空间变化情况，可以查看近一天、近一周、近一月的图形，...
- 产品推荐
- 这些文档可能帮助您