ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
兼容性概览
以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具，以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...
无感数据集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
产品概述
广泛生态兼容 支持主流BI、ETL工具。通过PostGIS插件支持地理信息数据分析，MADlib库内置超过300个机器学习算法库。数据互联互通 支持通过DTS、DataWorks等工具，同多种数据源同步；支持高并行访问OSS，构筑数据湖分析。产品架构 云原生...
产品优势
简单易用 AnalyticDB MySQL版 高度兼容MySQL协议和SQL:92、SQL:99、SQL:2003标准，通过标准SQL和 常用BI工具、以及ETL工具平台即可轻松使用。AnalyticDB MySQL版 提供多种 数据导入或导出 方式，及 作业开发、数据可视化 的一站式服务。
选择连接工具
DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...
功能特性
数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、Apache Airflow、Azkaban。ETL工具连接 BI工具对接 支持Tableau、FineBI、FineReport、Davinci、Superset、Yonghong BI、Quick BI、观远BI...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
通过Kettle导入至数仓版
背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase、MongoDB），也支持Excel、Access类型的小型数据源。通过扩展插件，Kettle可以支持更多数据源。更...
应用案例
OSS与Lindorm数据源 DLA Ganos可以用来构建ETL工具，实现数据在不同数据库之间的流转。如用户可以将数据上传到OSS，然后进行重投影、拼接、创建金字塔并写入Lindorm（HBase）等。相关代码链接请参见 Code。机器学习 本节我们展示如何基于...
电子合同：深圳法大大网络科技有限公司
法大大通过数据传输服务DTS（Data Transmission Service）将存储在MySQL数据库中的相关数据迁移至 PolarDB，并通过ETL工具定期地将历史数据同步至 PolarDB。使用 PolarDB 存储超过6亿份电子合同数据，这些数据可以安全地存储在 PolarDB，...
远程连接方式概述
远程连接方式对比 Workbench、VNC和其他第三方客户端工具对比如下表所示。对比项目 Workbench VNC 第三方客户端工具 实例开启SSH等服务 必需 可选，因此可以用于排查SSH服务异常等异常，例如SSHD服务被关闭。必需 控制台一键登录 支持 支持...
数据上云工具
Kettle（Tunnel通道系列）Kettle是一款开源的ETL工具，纯Java实现，可以在Windows、Unix和Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。详情请参见 基于Kettle的MaxCompute插件实现数据上云。...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
使用ClickHouse-Local迁移上云
背景信息 如果ClickHouse中提供了您自建数据库系统对应的集成引擎或表函数，或者您自建数据库系统提供了JDBC驱动程序或ODBC驱动程序，您就可以使用ClickHouse-Local作为ETL工具，将数据从当前的数据库系统迁移到云数据库ClickHouse企业版。...
无锁结构变更方案对比
DMS无锁结构变更与gh-ost工具对比 DMS无锁结构变更与同样采用无触发器的gh-ost工具的优劣势对比：对比项 DMS无锁结构变更 gh-ost 全量拷贝阶段 拷贝限流 Y：手动或自动 Y：手动 数据一致性校验 Y N 异常容错 Y Y：部分支持 拷贝性能自适应 ...
2021年
复杂类型函数 2021-08-04 新增ETL工具连接MaxCompute操作指导。新说明 MaxCompute支持连接ETL工具管理MaxCompute项目。使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用Azkaban调度MaxCompute 2021-08-02 in/not in ...
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
自建MySQL迁移至RDS MySQL
由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个DML操作来更新延迟信息。说明 如果迁移对象选择为整库...
从自建MySQL迁移至RDS MySQL实例
由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个DML操作来更新延迟信息。说明 如果迁移对象选择为整库...
RDS MySQL实例间的迁移
由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个DML操作来更新延迟信息。说明 如果迁移对象选择为整库...
RDS MySQL迁移至AnalyticDB MySQL 3.0
由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个DML操作来更新延迟信息。说明 如果迁移对象选择为整库...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
非阻塞DDL
Nonblock DDL与gh-ost工具性能对比 开启Nonblock DDL并使用传统的加列方式（INSTANT、INPLACE、COPY）与使用gh-ost工具分别对100万行数据的表进行加列操作的性能对比如下：在无负载的情况下，通过下图可以看出开启Nonblock DDL并使用传统的...
云上成本管理框架
可以借助平台提供的测算工具，对比已购买和未购买的计费方式，切换为更加合适的计费方式。资源使用优化：优化云资源的使用率，是实现成本优化的有效手段。常见的方法有释放闲置资源、降配低负载资源、升配高负载资源、弹性扩缩容等，通常...
概述
Hologres兼容PostgreSQL生态，提供JDBC/ODBC接口，支持对接第三方ETL和BI工具，包括Tableau及Quick BI等。您可以将Hologres查询的数据直接对接BI工具，进行多维分析和探索业务。Hologres支持连接的BI分析工具如下表所示。BI工具 是否支持...
视频个性化推荐（协同过滤）
导入ETL工作流模板，详情请参见 导入ETL工作流模板。ETL工作流模板快捷入口，请点击 视频个性化推荐（协同过滤）。前提条件 已创建DataWorks工作空间，详情请参见 创建工作空间。DataWorks工作空间已开启调度PAI算法服务，若空间还未开启...
使用ETL分析实时订单
本文通过案例为您介绍如何使用ETL实现实时订单分析...目标表test_orders_new 后续步骤 如您需实现目标表中的数据可视化，推荐使用数据管理DMS的数据可视化等工具，支撑分析趋势、增长对比等分析场景。更多信息，请参见 DMS的数据可视化工具。
图片翻译
对比视图 选择工具，即可进入译图与原图对照模式。可使用快捷键：Space+鼠标拖动，拖拽译图。拖动译图后，可点击复位按钮复位。快捷键列表 译图编辑区 功能 快捷键 复原 Ctrl+Shift+R 取词翻译 Ctrl+Shift+I 添加文本 T 添加背景 R 拷贝...
配置同步任务（新控制台）
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页面下方的 下一步保存任务并预检查。您可以将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后...
使用DTS迁移Redis
相关文档 若您的数据库无需在线迁移，您可以通过轻量级工具redis-cli，导入AOF文件进行数据迁移，更多信息请参见 使用AOF文件进行迁移。常见问题 为什么测试连接失败？请排查以下几方面：账号密码错误，Redis的密码格式为 user:password，...
从自建Redis迁移至MyBase Redis
使用redis-cli工具连接自建Redis数据库。说明 安装原生Redis即可使用redis-cli，详情请参见 Redis社区版官网。redis-cli-h<host>-p<port>-a说明<host>：自建Redis数据库的访问地址，本机可使用127.0.0.1。自建Redis数据库的服务...
RDS MariaDB迁移至RDS PostgreSQL
其他限制 请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS默认对...
图片翻译在线编辑平台使用指南
对比视图 选择工具，即可进入译图与原图对照模式。可使用快捷键：Space+鼠标拖动，拖拽译图。拖动译图后，可点击复位按钮复位。下载图片 可根据需要选择下载本张图片或全部图片 快捷键列表 译图编辑区 功能 快捷键 复原 Ctrl+Shift+R 取词...
跨云账号迁移云数据库Redis实例
由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个DML操作来更新延迟信息。说明 如果迁移对象选择为整库...
Db2 for LUW同步至RDS MySQL
由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个DML操作来更新延迟信息。说明 如果同步对象选择为整库...
PolarDB-X 1.0同步至DataHub
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
- 产品推荐
- 这些文档可能帮助您