典型场景
具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据...
在DTS迁移或同步任务中配置ETL
数据传输服务DTS（Data Transmission Service）提供的流式数据ETL（Extract Transform Load）数据处理功能，结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换、加工和数据装载。本文介绍在DTS链路内配置ETL的操作步骤及相关...
跨云账号单向同步云数据库Redis实例
若源数据库数据量比较大，可以适当增大 repl-timeout 参数的值。同步期间，如源Redis发生扩缩容（如增加或者减少分片）、规格变配（如扩大内存），则您需重新配置任务。且为保障数据一致性，建议重新配置任务前，先清空已同步至目标Redis的...
云数据库MongoDB版（分片集群架构）间的双向同步
若您无需使用DTS提供的库表结构同步功能（例如目标端已配置好数据分片），在 配置任务对象及高级配置 阶段中，同步类型 请勿勾选 库表结构同步，否则可能会因为分片冲突而导致数据不一致或任务失败。费用说明 同步类型 链路配置费用 库表...
云数据库MongoDB版（分片集群架构）间的双向同步
若您无需使用DTS提供的库表结构同步功能（例如目标端已配置好数据分片），在 配置任务对象及高级配置 阶段中，同步类型 请勿勾选 库表结构同步，否则可能会因为分片冲突而导致数据不一致或任务失败。费用说明 同步类型 链路配置费用 库表...
云数据库MongoDB版（分片集群架构）同步至云数据库...
若您无需使用DTS提供的库表结构同步功能（例如目标端已配置好数据分片），在 配置任务对象及高级配置 阶段中，同步类型 请勿勾选 库表结构同步，否则可能会因为分片冲突而导致数据不一致或任务失败。费用说明 同步类型 链路配置费用 库表...
云数据库MongoDB版（分片集群架构）同步至云数据库...
若您无需使用DTS提供的库表结构同步功能（例如目标端已配置好数据分片），在 配置任务对象及高级配置 阶段中，同步类型 请勿勾选 库表结构同步，否则可能会因为分片冲突而导致数据不一致或任务失败。费用说明 同步类型 链路配置费用 库表...
数据重排
使用 DISTRIBUTE BY+SORT BY、CLUSTER BY 排序方法进行数据排序前请查看表中数值的分布情况，对列值占比大的列进行重排，存储优化效果会比较好。表数据越大，进行数据重排后，存储优化效果会更好。使用示例 本文将MaxCompute公共数据集TPC-...
API实战实践
最佳实践：文件管理OpenAPI基础实践 最佳实践：表管理OpenAPI基础实践 通过OpenAPI创建、修改、删除离线同步任务 最佳实践：数据开发、提交与运行OpenAPI基础实践 最佳实践：数据ETL操作全流程实践 最佳实践：搭建自定义运维大屏 最佳实践...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
应用场景
EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松实现自动化及周期性数据处理，而且还内置了先进的版本控制机制。这一机制确保了开发与生产环境的彻底隔离，确保符合企业级用户在研发和发布流程...
应用场景
本文介绍函数计算的典型应用场景，包括Web应用、数据ETL处理、AI推理、视频转码等。Web应用 函数计算和其他云产品搭配使用，可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行，不...
应用场景
本文介绍函数计算的典型应用场景，包括Web应用、数据ETL处理、AI推理、视频转码等。Web应用 函数计算和其他云产品搭配使用，可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行，不...
湖仓一体新能力：EMR支持Hologres和MaxCompute数据源
降低数据处理成本：由于无需进行数据ETL的操作，以及额外的数据存储和管理，降低了数据分析的整体成本。使用限制 适用于EMR-3.45.1及之后版本、EMR-5.11.1及之后版本。Spark配置Hologres数据源 详细信息，请参见 Spark对接Hologres。
引擎简介
数据ETL入库 对实时数据进行过滤、增强、转化等操作并写入数据库。流引擎与宽表引擎、时序引擎共享存储，无需手动关联元数据。实时报表 对实时数据在窗口内执行聚合计算。事件驱动 通过数据订阅获取宽表引擎或时序引擎中的变更数据，并对...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
应用场景
实时数据流场景 DataFlow集群类型提供了Flink、Kafka、Paimon等服务，主要用于解决实时计算端到端的各类问题，广泛应用于实时数据ETL和日志采集分析等场景。通过采集程序将业务数据、日志和埋点数据等投递到EMR Kafka，利用Flink的实时计算...
概述
数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。Serverless...
概述
数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。Serverless...
概述
数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。Serverless...
Insert Into
内表数据ETL 如果数据已经在SelectDB表中，可通过Insert Into Select进行数据ETL转换，然后导入到一个新表中。示例如下。INSERT INTO bj_store_sales SELECT id,total,user_id,sale_timestamp FROM store_sales WHERE region="bj;数据湖...
功能发布记录（2023年）
生成SQL、改写SQL、纠正SQL错误、生成SQL注释），帮助您轻松、高效地完成数据ETL及数据分析工作，节省大量时间和精力。2023.10.30 西南1（成都）华北3（张家口）华北2（北京）华东2（上海）华南1（深圳）华东1（杭州）华北6（乌兰察布）...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
从ECS上的自建Redis同步至云数据库Redis实例
若源数据库数据量比较大，可以适当增大 repl-timeout 参数的值。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至...
从ECS上的自建Redis同步至Tair实例
若源数据库数据量比较大，可以适当增大 repl-timeout 参数的值。注意事项 类型 说明 源库限制 请勿在源库中执行 FLUSHDB 和 FLUSHALL 命令，否则将导致源和目标的数据不一致。自建Redis需开启AOF日志。说明 如为增量同步任务，DTS要求源...
云数据库Redis间的单向同步
若源数据库数据量比较大，可以适当增大 repl-timeout 参数的值。同步期间，如源Redis发生扩缩容（如增加或者减少分片）、规格变配（如扩大内存），则您需重新配置任务。且为保障数据一致性，建议重新配置任务前，先清空已同步至目标Redis的...
调试实时任务
手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可...
新用户必读
作业调度：云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）具备离线SQL应用、Spark应用的作业调度能力，帮助您完成复杂的ETL数据处理。SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB ...
调试实时任务
手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您...
版本发布记录
补齐分区写入功能 补齐了 INSERT OVERWRITE SELECT 的ETL、目标分区写入功能，简化了用户ETL数据清洗处理的步骤。深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上...
Data Lake Analytics节点
您可以在DataWorks中新建Data Lake Analytics节点，构建在线ETL数据处理流程。背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics，详情请参见 什么是Data Lake Analytics。重要 Data Lake Analytics节点仅支持使用独...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 云数据库MongoDB版（副本集架构或分片集群架构）迁移至云原生多模数据库Lindorm。前提条件 云数据库MongoDB版 为副本集架构或分片集群架构。重要 若源库为分片集群架构...
云数据库MongoDB版同步至云原生多模数据库Lindorm
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
表设计规范
数据集市的数据比较容易生成，所以无需保留久远的历史数据。按数据变更规划数据的保存方式：记录客户属性、产品属性的历史变化情况，以便追溯某个时点的值。在事实表里冗余维表的字段，即把事件发生时的各种维度属性值与该事件绑定起来。...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面...
DataWorks数据服务对接DataV最佳实践
前提条件 要想实现DataWorks数据服务与DataV的对接，您需要提前准备好数据源，并开通 什么是DataV数据可视化。新建数据源 数据服务支持丰富的数据源类型，如下所示：关系型数据库：RDS、DRDS、MySQL、PostgreSQL、Oracle和SQL Server 分析...
- 产品推荐
- 这些文档可能帮助您