概述
支持的数据库类型 关系型数据库：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL、PolarDB ...
合规&认证
用户业务数据 用户通过Dataphin提供的服务，加工、存储、上传、下载、分发以及通过其他方式处理的数据，均为用户的用户业务数据，用户完全拥有其业务数据。Dataphin作为平台工具提供商，只会严格执行用户的指示处理相关业务数据，除按与...
SmartData常见问题
类似于MaxCompute数仓上的数据处理方式，方式详情请参见 基于MaxCompute数仓上的数据，JindoFS如何帮助机器学习训练？如果使用JindoFS，如何迁移HDFS上的数据？您可以使用Jindo DistCp同步HDFS数据至JindoFS或OSS。Jindo DistCp比Hadoop ...
代码智能推荐
在智能推荐的 数据处理脚本 中进行二次编辑，确认无误后单击 应用。说明 可以通过 数据响应结果 区域，查看经过处理后的数据详情。可选，若不需要使用当前处理方法，单击 撤销应用 即可。单击画布任一处退出智能推荐窗口，在 数据源 配置页...
查看资源使用情况-半托管
当前用量：为您展示当前租户下已使用的数据处理单元数量占可配置的数据处理单元总数的百分比。用量详情：为您展示当前租户下 离线同步&集成任务、离线计算任务、维度逻辑表、事实逻辑表、指标 的资源使用情况。关于数据处理单元的更多信息...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
查看资源使用情况-全托管
当前用量：为您展示当前租户下已使用的数据处理单元数量占可配置的数据处理单元总数的百分比。用量详情：为您展示当前租户下 离线同步&集成任务、离线计算任务、维度逻辑表、事实逻辑表、指标 的资源使用情况。关于数据处理单元的更多信息...
配置跨库Spark SQL节点
前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL、...
Slowly Changing Dimension
示例中通过两次批量写入代替流式写入的方式模拟G-SCD on Delta Lake的数据处理。步骤三：验证数据写入结果 通过查询语句，验证数据是否写入成功。步骤一：创建G-SCD表 创建G-SCD表的示例如下，该表会在 步骤二：处理数据 使用。CREATE ...
租户设置
说明 如果您的租户不支持恢复，可能的原因有以下几种情况：已使用的数据处理单元数大于剩余的可分配的数据处理单元。已使用的质量规则数大于剩余的可分配的质量规则数。租户功能存在降配的情况。租户已配置的调度资源（CPU或内存）超过系统...
Tair助力厦门真有趣游戏业务从容应对流量洪峰
数据闪回确保用户数据不丢失：业务可能由于服务器重启或者意外故障、游戏中出现漏洞等原因，需要将游戏数据恢复到此前某个时间点，Tair 支持将实例整体或指定Key的数据恢复至指定的秒级时间点，同时也支持选择将数据恢复至新实例或当前实例...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
Delta Engine 概述
Delta Engine 是与 Apache Spark 兼容的高性能查询引擎，提供了一种高效的方式来处理数据湖中的数据，包括存储在开源 Delta Lake 中的数据。Delta Engine 优化可加快数据湖操作速度，并支持各种工作负载，从大规模 ETL 处理到临时交互式...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
什么是云原生数据湖分析
DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。DLA提供与Hadoop体系兼容的过渡方案。为什么同时支持Serverless Presto与Serverless Spark？DLA Serverless Presto是在开源...
未来规划
传统数据库架构依赖于高端硬件，每套数据库系统服务器少，架构相对简单，但无法支持新业务的扩展需求。云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
数据标准
因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准化中起到重要作用。数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成...
数据变更最佳实践
例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如百万级别的表数据。例如，从RDS for MySQL、ECS自建MySQL数据导入 ...
调试实时任务
说明 Session集群调试方式的调试结果不会写入结果表中。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持DataStream任务进行调试。Session集群调试方式当前仅支持开源Flink引擎且基于最新架构部署的客户，详情请联系产品运维...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
DataWorks节点合集
ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可统筹管理多个节点的虚拟节点、可循环执行代码的do-while节点），多种节点配合使用，满足您不同的数据处理需求。数据开发（DataStudio）支持...
分页
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。显示 显示组件，参考数据示例如下。return {"animationType":"","animationDuration":1000,"animationEasing":"linear"};隐藏 隐藏组件，参考数据示例如下。return {...
流表
定义处理时间 使用 PROCTIME()函数定义处理时间，函数 PROCTIME()返回的数据类型为TIMESTAMP_LTZ。CREATE STREAM user_actions(user_name STRING,data STRING,user_action_time AS PROCTIME()-声明一个额外的列作为处理时间属性);读取流表...
PyODPS概述
数据处理方式 描述 场景示例 拉取到本地处理（不推荐，易OOM）例如DataWorks中的PyODPS节点，内置了PyODPS包以及必要的Python环境，是一个资源非常受限的客户端运行容器，并不使用MaxCompute计算资源，有较强的内存限制。PyODPS提供了 to_...
应用采集
解压后有两个目录：collector：collector是统一收集器，单独部署在没有线上应用的服务器上（数据处理时避免对线上应用造成影响）。javaagent：javaagent目录拷贝到需要监控的应用服务器上，和应用部署在一起，用于采集数据。确保Collector...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
ODS层设计规范
数据同步及处理规范 数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成，规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。数据加载与处理 通过一键实时同步至MaxCompute方案实现，请参见 ...
公共节点
MaxCompute MR MaxCompute MR节点可通过上传算法包、编写Shell脚本以及SQL语句的方式处理MaxCompute中的数据，具体操作，请参见 新建MaxCompute MR类型的公共节点。RDS MySQL RDS MySQL节点运行于MySQL类型的云计算资源之上，可通过输入SQL...
X-Engine简介
数据库领域的泰斗，图灵奖得主Michael Stonebreaker就此写过一篇论文《OLTP Through the Looking Glass,and What We Found There》，指出传统关系型数据库，仅有不到10%的时间是在做真正有效的数据处理工作，剩下的时间都浪费在其它工作上...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
节点类型说明
流式类节点 流式节点，运行于流式云计算资源之上，一般支持对多种类型的数据处理。节点类型 对应的云计算资源类型 说明 Blink Blink 流式节点，运行于Blink云计算资源之上，支持对DataHub、AnalyticDB MySQL、Table Store、MaxCompute、...
生成测试数据
数据冲突处理方式 选择当生成的数据有冲突时处理的方式。ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。...
基本概念
副本（Replica）为了在异常情况下保证数据的安全性和服务的高可用性，云数据库ClickHouse 提供了副本机制，将单台服务器的数据冗余存储在2台或多台服务器上。数据库（Database）数据库是 云数据库ClickHouse 集群中的最高级别对象，内部...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾...特别在栅格数据处理上接口设计简单、功能丰富，并有效解决了困扰一般WebGIS用户的栅格数据处理性能问题。PolarDB云原生架构不仅可保证数据库的安全稳定运行，而且能通过节点的扩缩容实现整体系统的弹性能力。
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
Redis数据源
是 redis.save.mode 数据已经存在时的处理方式，包含append、overwrite、errorifexists或ignore，依次表示append到当前数据中、覆盖、抛出异常或丢弃数据，默认值为append。否 model 数据存储格式，包含hash和binaray，默认值为hash。否 ...
迁移ECS实例至轻量应用服务器
阿里云数据传输DTS ECS实例中网站程序的数据库数据，将通过阿里云数据传输DTS迁移至轻量应用服务器的数据库中。关于DTS的更多信息，请参见 什么是数据传输服务DTS。注意事项 创建快照以备份数据。具体操作，请参见：ECS实例：创建快照。轻...
- 产品推荐
- 这些文档可能帮助您