使用DataWorks或者DataX导入数据
使用开源DataX配置同步任务 从官网下载DataX安装包并解压。编辑配置文件。在DataX中，读取HBase增强版的插件为 hbase11xreader，此插件的具体配置可参见hbase11xreader的 配置示例。写入HBase增强版的插件为 hbase11xwriter，此插件的具体...
DataX同步数据
resource_reference{"datax.json"} python$DATAX_HOME/bin/datax.py datax.json#Dataphin系统已内置DataX的安装目录为DATAX_HOME/bin/datax.py。其中，resource_reference{} 用于调用已上传的 datax.json 资源文件。单击页面右上角的 执行...
DataX同步数据
resource_reference{"datax.json"} python$DATAX_HOME/bin/datax.py datax.json#Dataphin系统已内置DataX的安装目录为DATAX_HOME/bin/datax.py。其中，resource_reference{} 用于调用已上传的 datax.json 资源文件。单击页面右上角的 执行...
DataX
DataX任务类型，用于执行DataX程序。本文为您介绍创建DataX类型任务时涉及的参数。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务。禁止执行：运行工作流...
DataX Writer
DataX Writer插件实现了写入数据到StarRocks目的表的功能。在底层实现上，DataX Writer通过Stream Load以CSV或JSON格式导入数据至StarRocks。内部将Reader读取的数据进行缓存后批量导入至StarRocks，以提高写入性能。阿里云DataWorks已经...
通过DataX导入数据
本文介绍使用DataX Doris Writer同步数据至 云数据库 SelectDB 版。概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的...
通过DataX导入RDS数据
本文主要介绍如何使用阿里巴巴的开源工具DataX实现从关系型数据库到时序引擎的数据迁移。背景信息 DataX是阿里巴巴集团内被广泛使用的离线数据同步工具，实现包括MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive、ADS、HBase、...
Dataphin如何使用DataX同步数据
概述 本文主要讲述Dataphin使用DataX同步数据的操作方法。详细信息 在 开发 模块的 数据处理 中找到计算任务，创建shell脚本。输入DataX的模板，修改相关配置信息。required_resource{required_memory=3000MB;required_disk=2GB;required_...
通过DataX导入Prometheus数据
本文介绍如何使用阿里巴巴的开源工具Datax实现从Prometheus到TSDB的数据迁移。背景 DataX相关使用介绍请参阅DataX的 README。迁移操作涉及到的两个插件（Prometheus Reader 和 TSDB Writer）。DataX DataX 是阿里巴巴集团内被广泛使用的离...
从 Prometheus 到 TSDB 的数据迁移
本文介绍如何使用阿里巴巴的开源工具Datax 实现从 Prometheus 到 TSDB 的数据迁移。背景 本文介绍如何使用阿里巴巴的开源工具Datax 实现从 Prometheus 到 TSDB 的数据迁移。DataX相关使用介绍请参阅 DataX 的 README 文档。下面将首先介绍 ...
使用DataX同步
通过DataX，您可以将MySQL数据库中的全量数据同步到表格存储（Tablestore）的数据表中。DataX只支持同步全量数据，不支持同步增量数据。前提条件 已创建表格存储实例并在实例详情页面获取实例的服务地址（Endpoint）。具体操作，请参见 ...
从 MySQL 到 TSDB 的数据迁移
本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。背景 本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 TSDB 的数据迁移。DataX相关使用介绍请参阅 DataX 的 README 文档。下面将首先介绍 ...
DataX Writer
DataX Writer插件实现了写入数据到StarRocks目的表的功能。在底层实现上，DataX Writer通过Stream Load以CSV或JSON格式导入数据至StarRocks。内部将Reader读取的数据进行缓存后批量导入至StarRocks，以提高写入性能。阿里云DataWorks已经...
基于 DataX 完成数据访问代理数据迁移
有关 DataX 的更多信息，参见 DataX 官方文档。编辑并执行迁移 Job 进入$datax_dir/bin 目录，编写一份迁移 Job 描述文件。文件示例如下：{"job":{"setting":{"speed":{"channel":3 },"errorLimit":{"record":0,"percentage":0.02 } },...
将HBase数据同步到表格存储
使用DataX将HBase数据库中的全量数据同步到表格存储（Tablestore）中。准备工作 开通表格存储服务，并创建实例和数据表。具体操作，请参见 通过控制台使用宽表模型 或者 通过命令行工具使用宽表模型。说明 创建数据表时建议使用HBase原主键...
从OpenTSDB到TSDB的数据迁移
本文主要介绍如何使用阿里巴巴的开源工具Datax实现从OpenTSDB到TSDB的数据迁移。背景信息 下面将首先介绍DataX工具本身，以及本次迁移工作涉及到的两个插件（OpenTSDB Reader和TSDB Writer）。DataX相关使用介绍请参阅DataX的 README 文档...
迁移MySQL或Doris数据到StarRocks
使用DataX同步数据 DataX介绍 DataX是阿里巴巴集团内被广泛使用的离线数据同步工具，实现了包括MySQL、Oracle、OceanBase、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxCompute（ODPS）、Hologres、DRDS等各种...
Dataphin使用Shell任务运行DataX同步任务时报错datax....
问题描述 Dataphin使用Shell任务运行DataX同步任务时报错datax.py的路径找不到是什么原因？解决方案 路径不对，修改datax.py的路径从$DATA_HOME修改为$DATAX_HOME。适用于 Dataphin
迁移ClickHouse数据到StarRocks
使用DataX同步数据 DataX介绍 DataX是阿里巴巴集团内被广泛使用的离线数据同步工具，实现了包括MySQL、Oracle、OceanBase、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxCompute（ODPS）、Hologres、DRDS等各种...
Dataphin中管道任务将MySQL数据同步到Maxcompute，...
596)at java.math.BigDecimal.(BigDecimal.java:383)at java.math.BigDecimal.(BigDecimal.java:806)at com.alibaba.datax.common.element.StringColumn.asBigDecimal(StringColumn.java:90)at ...
OTSStreamReader常见问题
示例如下：[code:OTSStreamReaderError,messageOTS Stream Reader Error]-com.alibaba.datax.plugin.reader.otsstreamreader.internal.OTSStreamReaderException: Parse column fail,please check your config.-...
Dataphin配置DataX同步任务执行脚本报错：获得资源...
问题描述 Dataphin配置DataX同步任务执行脚本报错：获得资源信息失败。问题原因 在资源管理上传JSON文件时，自行输入了名称。此名称不用自行输入，上传文件后会自动生成。解决方案 重新上传JSON文件，在脚本中使用自动生成的名称即可。适用...
Dataphin中从Oracle数据源抽取数据的DataX脚本是否...
产品名称 Dataphin 产品模块 同步任务 概述 从Oracle数据源抽取数据的DataX脚本中是否需要注明schema？问题描述 本文描述从Oracle数据源抽取数据的DataX脚本中是否需要注明schema？问题原因 NA 解决方案 一般不加schema也没问题,因为Oracle...
Dataphin中将MaxCompute数据同步到MySQL数据库，运行...
需要说明的是，只要表结构做过修改，后续创建DataX同步任务通过Tunnel下载数据都有问题。解决方案 表做过schema evolution。通过tunnel下载数据就会报错：ErrorCode=MethodNotAllowed,ErrorMessage=schema evolution table operations ...
将表格存储数据下载到本地文件
表格存储支持通过命令行工具或者DataX工具直接下载数据到本地文件。您也可以通过DataWorks工具将数据同步到OSS后再在OSS侧下载数据到本地文件。下载方式 请根据所需文件格式选择合适的方式进行数据下载，详细说明请参见下表。导出文件格式 ...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
数据同步概述
Holo-datax-writer 适配开源DataX，依赖DataX框架，适用开源DataX将多种数据源写入Hologres，相比PostgreSQL Writer性能更好。Holo-flink-connector 对接开源Flink，Flink版本包括1.11、1.12、1.13以及后续版本，实现高性能实时写入。说明 ...
Dataphin数据集成中SAP HANA可以选到表，但是管道任务...
问题描述 Dataphin数据集成中SAP HANA可以...97)~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.plugin.rdbms.util.DBUtil.getTableColumnsByConnInternal(DBUtil.java:693)~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]at ...
Dataphin建Shell任务执行报错“Invalid partition ...
问题描述 Dataphin建Shell任务执行报错...{"fieldDelimiter":"\t","print":"true"} } }]} } EOF python$DATAX_HOME/bin/datax.py-jvm '-Xms3g-Xmx3g' datax-job.json 适用于 Dataphin 说明：本文适用于公共云v2.9.4-3版本代码任务模块。
Dataphin中使用Shell任务调用DataX脚本，将MaxCompute...
问题描述 Dataphin中使用Shell任务调用Datax脚本，将MaxCompute数据同步至OSS，补数据运行报错“Shell command exit with code:247”。完整的报错日志如下展示：2022-07-08 13:45:10.962[0-0-0-writer]INFO OssWriter$Task-upload part[191...
数据导入Serverless实例
DataX支持的数据源参见 DataX官方文档。准备工作 需要下载已经集成HBase Serverless插件的DataX版，单击此处下载。使用方法 在DataX中写入HBase Serverless的所用插件为hbase11xwriter，此插件的具体配置可参见hbase11xwriter的 帮助文档。...
全增量同步任务常见问题
运行报错：com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.离线任务运行报错：...
Dataphin创建管道...DataX抽取ODPS数据不支持DATE字段...
问题描述 Dataphin创建管道任务，从ODPS向ADB同步数据报“DataX 抽取 ODPS 数据不支持字段类型为:[DATE].目前支持抽取的字段类型有：bigint,boolean,datetime,double,decimal,string”错误。问题原因 因为date是MaxCompute 2.0数据类型，...
Dataphin集成任务运行失败报错："Column 'workspaceid...
connector-java-5.1.47.jar:5.1.47]at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:460)~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]at com.alibaba.datax.plugin.rdbms.util.DBUtil.query(DBUtil.java:447)~[plugin-...
Dataphin管道任务从MAXC到ADB报错“DataX抽取ODPS数据...
问题描述 Dataphin管道任务从MAXC->ADB报错如下：DataX抽取 ODPS 数据不支持字段类型为:[CHAR].目前支持抽取的字段类型有：bigint,boolean,datetime,double,decimal,string。问题原因 管道任务目前不支持同步CHAR类型的数据。解决方案 源表...
转换自定义DAG为Pipeline
{"name":"insert_rec_tem_user_table_test_preprocess_all_feature_holo","type":"DI","dependencies":["rec_tem_user_table_test_preprocess_all_feature"],"dataxjson":"test/feature/1.json","comment":"DATAX,for more detail please ...
常见问题
运行报错：com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first. PolarDB数据源网络联通性测试失败怎么办？...
迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储...
常见问题
运行报错：com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.实时任务，运行报错：MongoDBReader$Task-...
在函数中配置官方公共层
函数计算支持的官方公共层 函数计算 支持以下几类官方公共层。以下列出部分常用的官方公共层，关于 函数计算 支持的所有官方公共层及其说明，请参见 公共层。如果您在使用过程中，未找到您需要的层，请 联系我们 为您添加。自定义运行时 ...
- 产品推荐
- 这些文档可能帮助您