离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute

概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 ...

Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南

DataX-On-Hadoop即使用hadoop的任务调度器,将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到MaxCompute、RDS等,不需要用户提前安装和部署DataX软...

阿里云大数据工程师ACA认证(2023版)

21 课时 |
807 人已学 |
免费

基于MaxCompute的热门话题分析

8 课时 |
329 人已学 |
免费

独家揭秘当下大数据体系

4 课时 |
331 人已学 |
免费
开发者课程背景图

大数据同步工具DataX与Sqoop之比较

DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换,由淘宝数据平台部门完成。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MyS...

Maxcompute的数据上传下载工具Tunnel 和 DataX3.0 ,问题:1:它们在数据传输时,数据是否加密,解密处理? 2:加密的算法是什么?

Maxcompute的数据上传下载工具Tunnel 和 DataX3.0 ,问题:1:它们在数据传输时,数据是否加密,解密处理? 2:加密的算法是什么?

在使用大数据开发套件时,从maxcompute导入数据到rds,执行报错:经DataX智能分析,该任务最可能的错误原因是:

在使用大数据开发套件时,从maxcompute导入数据到rds,执行报错:经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-01], Description...

用datax导入数据到ODPS时用的什么协议的呢,谢谢。

用datax导入数据到ODPS时用的什么协议的呢,谢谢。

DataX使用指南——ODPS to ODPS

1. DataX是什么 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架,将不同数...

如何使用DataX将表格存储内的Binary类型数据导入到ODPS?

表格存储内部分字段是binary类型,而ODPS不支持binary类型,只支持String。在将表格存储内binary类型数据导入到ODPS的String字段之后,再读出来,发现数据不对,有丢失。我应该怎么把binary类型数据导入到ODPS?

大数据异构环境数据同步工具DataX 与Sqoop 之比较

从接触DataX起就有一个疑问,它和Sqoop到底有什么区别,昨天部署好了DataX和Sqoop,就可以对两者进行更深入的了解了。 两者从原理上看有点相似,都是解决异构环境的数据交换问题,都支持oracle,mysql,hdfs,hive的互相交换,对于不同数据库的支持都是插件式的,对于新增的数据源...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里巴巴大数据计算
阿里巴巴大数据计算
阿里大数据官方技术圈
347750+人已加入
加入
相关电子书
更多
Lindorm一站式车联网数据平台
Lindorm一站式AI数据平台实战
Lindorm:打造AI时代的 一体化数据平台
立即下载 立即下载 立即下载