自定义函数开发指南
ETL过程日志 这一部分日志是在ETL执行过程中每执行一步记录的关键点和错误信息，包括某一步骤的开始和结束时间、初始化动作完成情况、模块出错信息等。ETL过程日志的意义是随时可以感知ETL运行情况，如果发生错误，可以及时通过过程日志...
Flink概述
在投递的过程中可能添加数据清洗和集成的工作，例如实时构建搜索系统的索引和实时数仓中的ETL过程等。实时数据分析 实时数据分析指的是根据业务目标，从原始数据中抽取对应信息并整合的过程。例如，查看每天销量前10的商品、仓库平均周转...
应用场景
在投递的过程中可能添加数据清洗和集成的工作，例如实时构建搜索系统的索引、实时数仓中的ETL过程等。实时数据分析 数据分析指的是根据业务目标，从原始数据中抽取对应信息并整合的过程。例如，查看每天销量前10的商品、仓库平均周转时间、...
使用说明
使用列索引加速ETL过程。具体操作请参见 使用列索引加速ETL。加速访问OSS外表。具体操作请参见 分析外部OSS上的数据。使用Serverless降低负载峰谷差较大的业务场景下的使用成本。具体操作请参见 列存节点开启Serverless。对于大宽表，可以...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
简介
本文主要介绍HBase Ganos的功能、优势和使用场景。重要 HBase增强版已全新升级为云原生多模数据库Lindorm，新的场景需求推荐您使用 Ganos时空服务功能。HBase Ganos是什么 HBase Ganos是...与Spark集成，ETL与多源空间数据分析处理更便捷。
使用SDK设置业务专属热词
vocabulary_id 参数作为HTTP的请求参数追加到其他请求参数之后，以Java示例举例如下，其他语言设置方法与Java类似。String url="http://nls-gateway.cn-shanghai.aliyuncs.com/stream/v1/asr";String request=url;request=request+?appkey=...
提示弹窗
如果使用了 APAlertView 或者 UIAlertView 的输入框功能，请使用 AUInputDialog 替换，使用方法与 AUNoticeDialog 基本相同。说明 类文件为 AUInputDialog.h。UIAlertController 接入 创建方法修改，例如：[UIAlertController ...
DeleteQualityFollower
通过该规则帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。您可以通过订阅管理，为分区...
定义维度与构建总线矩阵
您需要明确业务过程与哪些维度相关，并定义每个数据域下的业务过程和维度。如下所示是A公司电商板块交易功能的总线矩阵，我们定义了购买省份、购买城市、类目名称、类目ID、品牌名称、品牌ID、商品名称、商品ID、成交金额等维度。数据域/...
定义维度与构建总线矩阵
您需要明确业务过程与哪些维度相关，并定义每个数据域下的业务过程和维度。如下所示是A公司电商板块交易功能的总线矩阵，我们定义了购买省份、购买城市、类目名称、类目ID、品牌名称、品牌ID、商品名称、商品ID、成交金额等维度。数据域/...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
新建存储过程
存储过程与函数的区别 函数的返回值显示具体结果值，而存储过程的返回值仅指明执行是否成功。可以直接通过 SELECT 语句调用函数，而存储过程的调用需要使用 CALL 语句。存储过程作用 提高应用程序的通用性和可移植性：新建存储过程完成后，...
配置限流对象方法签名
配置接口方法类型的限流对象 接口方法类型的限流对象的参数配置包括以下内容：参数 说明 限流对象名 包括要限流的接口与方法名：接口：支持 RPC 服务接口或配置了 Spring AOP 拦截器的 Bean。方法：支持带参数或不带参数的方法签名。详情请...
配置数据质量监控
本案例通过DataWorks数据质量功能及时感知用户画像分析案例源端数据的变更与ETL（Extract Transformation Load）过程中产生的脏数据。基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志...
配置数据质量监控
本案例通过DataWorks数据质量功能及时感知用户画像分析案例源端数据的变更与ETL（Extract Transform Load）过程中产生的脏数据。基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志数据...
PolarDB MySQL版同步至自建Oracle
配置方法请参见 本地IDC接入至阿里云方案概览 和 通过VPN网关实现本地IDC与DTS云服务互通。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束...
什么是EMR Serverless StarRocks
简化ETL流程与数据处理：StarRocks的物化视图能够替代传统的ETL建模流程。您无需在上游应用中进行数据转换操作，便可以直接在使用物化视图的过程中实现数据的转换与加工，简化了数据处理流程。数据湖分析 StarRocks不仅能高效地分析本地...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能处于灰度公测阶段...
使用ETL分析实时订单
案例背景 本案例将为您演示如何使用流式ETL功能，将实时交易数据（订单号、客户ID、产品/商品编码、交易金额、交易时间）与业务维度数据（产品编码、产品单价、产品名称等）相结合，并将满足过滤条件的数据（如统计单笔超3000的实时交易...
数据引入层（ODS）
该方法主要实现了通过牺牲存储获取ETL效率的优化和逻辑上的简化。请避免过度使用该方法，且必须要有对应的数据生命周期制度，清除无用的历史数据。数据同步加载与处理 ODS的数据需要由各数据源系统同步到MaxCompute，才能用于进一步的数据...
数据引入层（ODS）
该方法主要实现了通过牺牲存储获取ETL效率的优化和逻辑上的简化。请避免过度使用该方法，且必须要有对应的数据生命周期制度，清除无用的历史数据。数据同步加载与处理 ODS的数据需要由各数据源系统同步到MaxCompute，才能用于进一步的数据...
PolarDB-X 2.0迁移至自建Oracle
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳...
Serverless模式
JDBC接口、ODBC接口以及psql等工具在Serverless模式的使用方法与存储弹性模式一致。您在使用Serverless模式时需要注意部分功能方面的约束，具体信息如下。重要 Serverless模式下，主键和索引功能处于公测阶段。如需创建索引，请联系技术...
数据存储冷热分层
使用方法 重要 迁移到冷表的过程中会有建立临时表并写入数据，以及将数据上传至OSS的过程，会存在一定的本地I/O和网络I/O，可能对实例中已经运行的查询产生一定的性能影响，使用时请注意对业务的影响。热表转为冷表后其占用的本地磁盘空间...
PolarDB-X 2.0迁移至Tablestore
配置ETL功能 暂不支持ETL功能，请选择为 否。是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳SQL信息，DTS实例可能会显示有延迟。否：在源库中写入心跳SQL信息，...
在DTS迁移或同步任务中配置ETL
说明 DTS迁移任务和同步任务中均支持配置ETL，本文以同步任务为例，迁移任务的配置方法相同。在创建同步任务时配置ETL 在已有同步任务上修改ETL配置 支持的数据库 ETL支持的源库和目标库如下表所示。源库 目标库 SQL Server AnalyticDB ...
RDS MySQL迁移至AnalyticDB MySQL 3.0
注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
RDS MySQL同步至AnalyticDB MySQL 3.0
注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
PolarDB MySQL版迁移至RDS MySQL
说明 本文以 RDS MySQL 实例为例介绍配置流程，其他类型的目标数据库的配置流程与本案例类似。有公网IP的自建数据库。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。前提条件 已创建...
PolarDB MySQL版迁移至RDS MySQL
说明 本文以 RDS MySQL 实例为例介绍配置流程，其他类型的目标数据库的配置流程与本案例类似。有公网IP的自建数据库。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的自建数据库。前提条件 已创建...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。可选：上述配置完成后，单击 下一步配置库表字段，设置待同步的表在目标 AnalyticDB PostgreSQL版 中的 类型、主键列 和 ...
配置任务常见错误码及排查方法
解决方法：当前迁移任务仅支持在控制台修改ETL配置，若您需要修改迁移任务的其他配置，您可以创建新任务。DTS.Msg.PrePayNotAllowDelete 使用API释放DTS任务时。原因：包年包月（预付费）任务不支持直接释放。解决方法：请参考 释放DTS实例...
RDS MySQL迁移至PolarDB MySQL版
本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。以下类型的自建数据库：有公网IP的自建数据库。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过数据库网关接入的...
自建MySQL迁移至PolarDB MySQL版
支持的源数据库 MySQL与 PolarDB MySQL版 集群间的迁移，支持源数据库MySQL为以下类型。本文以有公网IP的自建数据库为例介绍配置流程，其他类型的源数据库配置流程与本案例类似。RDS MySQL 实例。以下类型的自建数据库：有公网IP的自建数据...
错误排查概述
如果重试过程中停止，不会有数据丢失与重复。该环节的错误排查方法请参见 源Logstore读取错误。加工日志事件。该环节产生错误主要是由于在数据加工过程中，部分或全部日志事件不适配加工规则引发的错误。该阶段产生错误时，不适配加工规则...
RDS MySQL实例间的双向同步
注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
RDS MySQL与PolarDB MySQL版间的双向同步
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 与 PolarDB MySQL版 集群实例间的双向同步。支持的源数据库 MySQL与 PolarDB MySQL版 集群双向同步，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，...
自建HBase迁移至云原生数据仓库 AnalyticDB MySQL 版 ...
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。设置待迁移的表在目标 云原生数据仓库AnalyticDB MySQL版 中主键列和分布键信息。说明 选择了 库表结构同步 后，您需要定义...
三节点企业版的RDS MySQL迁移到PolarDB-X 2.0标准版
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS 迁移或 同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页面右下角的 下一步保存任务并预检查。说明 在迁移任务正式启动之前，会先进行预检查。只有预检查...
- 产品推荐
- 这些文档可能帮助您