功能发布记录（2023年）
生成SQL、改写SQL、纠正SQL错误、生成SQL注释），帮助您轻松、高效地完成数据ETL及数据分析工作，节省大量时间和精力。2023.10.30 西南1（成都）华北3（张家口）华北2（北京）华东2（上海）华南1（深圳）华东1（杭州）华北6（乌兰察布）...
查询WebSocket流量数据
支持查询的时间粒度 根据单次查询的最大时间跨度不同，请求参数 Interval 支持不同的查询数据时间粒度，对应的可查询历史数据时间范围和数据延迟如下：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5 分钟 3 天 93 天...
什么是数据传输服务DTS
什么是ETL 数据校验 为数据迁移或同步任务配置数据校验功能，监控源库与目标库数据的差异，以便及时发现数据不一致的问题。配置数据校验 DTS支持的数据库 DTS支持多种数据源类型，详情请参见 支持的数据库。使用方法 您可以通过以下方式...
新用户必读
作业调度：云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）具备离线SQL应用、Spark应用的作业调度能力，帮助您完成复杂的ETL数据处理。SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB ...
列存索引（IMCI）发布说明
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
概述
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
版本发布记录
补齐分区写入功能 补齐了 INSERT OVERWRITE SELECT 的ETL、目标分区写入功能，简化了用户ETL数据清洗处理的步骤。深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上...
Data Lake Analytics节点
您可以在DataWorks中新建Data Lake Analytics节点，构建在线ETL数据处理流程。背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics，详情请参见 什么是Data Lake Analytics。重要 Data Lake Analytics节点仅支持使用独...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。说明 若目标表是用HBase创建的，请注意如下事项：ETL的语法包括需要配置的列和需要排除的列，在迁移过程中会将MongoDB已...
建模空间
数据研发工作空间 为数据开发工程师视角，主要用于模型发布以及基于模型设计结果进行ETL数据开发。模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后，模型设计师在进行模型（汇总表、维度表、明细表、应用表）发布时，可以...
云数据库MongoDB版同步至云原生多模数据库Lindorm
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在...是：配置ETL功能，并在文本框中填写数据处理语句，...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能处于灰度公测阶段...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华北2（北京）、华东1...
GetHotlineCallAction-查询话务动作结果数据
调用GetHotlineCallAction接口查询话务动作结果数据。接口说明 QPS 限制 单用户调用频率：50 次/秒。API 频率：100 次/秒。说明 如果多个用户的总调用超过 API 频率也会触发流控。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
兼容性概览
以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具，以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...
通过Flink SQL模式配置ETL任务
数据库传输服务DTS为数据同步过程提供了流式的ETL功能，您可以在源库和目标库之间添加各种转换组件，实现丰富的转换操作，并将处理后的数据实时写入目标库。例如将两张流表做JOIN操作后形成一张大表，写入目标库；或者给源表新增一个字段，...
获取热线坐席维度（T+1）数据详情
调用GetHotlineAgentDetailReport接口获取热线坐席维度（T+1）数据详情。接口说明 查询逻辑优先级：若 GroupIds 不为空，则查询对应技能组列表下数据指标。否则，若 DepIds 不为空，则查询对应技能组分组下数据指标。否则，查询该租户下...
ALIYUN:SLS:Etl
ALIYUN:SLS:Etl类型用于创建数据加工任务。语法 {"Type":"ALIYUN:SLS:Etl","Properties":{"Description":String,"Configuration":Map,"ProjectName":String,"Schedule":Map,"DisplayName":String,"Name":String } } 属性 属性名称 类型 ...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
DTS任务中配置ETL典型应用
本文介绍在DTS任务中如何通过配置ETL，解决源实例与目标实例的数据不兼容问题和数据脱敏问题。前提条件 已创建源和目标数据库实例，本文以RDS MySQL间同步为例，创建方法，请参见 创建RDS MySQL实例。目标实例的存储空间须大于原实例占用的...
ListLifecycleRetrieveJobs-查询数据取回任务列表
获取已创建的数据取回任务列表。接口说明 仅通用型 NAS 文件系统支持该功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应...
ListPublicDatasetEntities-获取公共数据集实体类型...
获取平台公共数据集包含的实体类型列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填...
Quick BI线图配置颜色图例不同颜色维度下的数据格式...
问题描述 Quick BI线图配置颜色图例不同颜色维度下的数据格式展示不一致。问题原因 数据展示格式配置的不同。解决方案 在样式-系列设置中选择对应的维度，可以修改该维度下的数值格式。适用于 Quick BI
发现分析表中展示的天粒度的数据和趋势图中展示的天...
问题描述 Quick BI趋势分析表，发现分析表中展示的天粒度的数据和趋势图中展示的天粒度的数据不一致，比如下图中12月25号测试数据“正常出库数”分析表展示为6440，但是趋势分析图中数据展示为1.288万”：问题原因 查询控件和趋势分析表有...
功能简介
通用资源为用户提供了自定义函数、函数资源、数据基础库的能力，帮助用户在数据开发...自定义函数 支持对ETL函数自定义和管理，并与公共计算节点相关联，便于快速对数据进行ETL处理。函数资源 支持对自定义函数中所使用的代码包的新建和管理。
功能简介
通用资源为用户提供了自定义函数、函数资源、数据基础库的能力，帮助用户在数据开发...自定义函数 支持对ETL函数自定义和管理，并与公共计算节点相关联，便于快速对数据进行ETL处理。函数资源 支持对自定义函数中所使用的代码包的新建和管理。
操作流程
新建自定义函数 通过新建自定义函数，并与公共计算节点相关联，便于快速对数据进行ETL处理。具体操作，请参见 新建自定义函数。物理化自定义函数 将自定义函数存储到对应的云计算资源中，成为云计算资源中实际存在的函数，便于快速对数据...
操作流程
新建自定义函数 通过新建自定义函数，并与公共计算节点相关联，便于快速对数据进行ETL处理。具体操作，请参见 新建自定义函数。物理化自定义函数 将自定义函数存储到对应的云计算资源中，成为云计算资源中实际存在的函数，便于快速对数据...
通用资源
自定义函数 通过自定义函数功能，用户可以自定义ETL（Extract-Transform-Load）函数并管理，自定义函数与公共计算节点相关联，便于一般函数不满足的时候，使用自定义函数快速对数据进行ETL处理，便于在数据开发或者数据标准模块设计中使用...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
GetLock-查询元数据锁
查询指定的元数据锁。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/api/metastore/catalogs/...
作业开发入门概述
ODS：数据运营层，对源数据进行ETL处理。在实际业务中，ODS层会从数据源抽取数据。为了确保新用户能够轻松完成入门教程，本教程中将向ODS层写入测试数据。DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据...
授权DLA删除OSS文件
使用一键建仓功能时，如果您需要在DLA中进行从OSS数据到RDS、PolarDB for MySQL、MongoDB、ECS自建数据库数据的ETL（Extract Transform Load）操作，需要为DLA授予删除OSS数据的权限。步骤一：创建自定义授权策略 使用DLA服务所属的阿里云...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
云数据库 RDS MySQL 版收集表的统计信息
什么情况下需要收集统计信息 当表上有大量的数据修改时，例如从数据源加载大量数据（ETL）或者大量历史数据归档，建议手动收集表上的统计信息，以保证查询优化器可以选取最优的执行计划。如何收集统计信息 您可以 连接MySQL实例 后执行如下...
使用列索引加速ETL
etl_from_imci_compress 从只读列存节点读取数据时，是否需要压缩文件。取值如下：ON：从只读列存节点读取数据时，压缩文件。OFF（默认）：从只读列存节点读取数据时，不压缩文件。在修改参数值时，您可以将参数值设置为Global级别、...
数据存储冷热分层
假设执行用户为 etl_user，将数据库 etl 中的普通表 tiered_storage_heap_oss，设置在次日凌晨1点将普通表转冷。连接到 postgres 数据库，执行以下语句。SELECT cron.schedule('etl_table_transfer_to_cold','0 1*','SELECT pg_tiered_...
概述
技术领域 从技术领域的角度，Flink主要用于以下场景：实时ETL（Extract-transform-load）和数据流 实时ETL和数据流的目的是实时地把数据从A点投递到B点。在投递的过程中可能添加数据清洗和集成的工作，例如实时构建搜索系统的索引和实时数...
EMR Studio概述
覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验，100%兼容开源大数据生态。您无需修改任务代码，即可平滑迁移上云。通过EMR ...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
- 产品推荐
- 这些文档可能帮助您