内建函数概述
当MaxCompute项目打开2.0新数据类型开关时，部分隐式类型转换会被禁用，包括STRING转换为BIGINT、STRING转换为DATETIME、DOUBLE转换为BIGINT、DECIMAL转换为DOUBLE、DECIMAL转换为BIGINT，都有精度损失或报错的风险。此时，您可以通过 CAST...
数据导入常见问题
例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入语句中却指定制表符（\t）作为列分隔符，最终导致源数据的三列数据解析成了一列数据。解决方案 修改导入命令或导入语句中的列分隔符为逗号（,），...
Tunnel命令常见问题
如果无法更换数据中的分隔符，可以将数据作为单独一行上传，然后使用UDF解析。如下示例数据中包含回车，使用“,”作为列分隔符-rd，使用“@”作为行分隔符-fd，可以正常上传。shopx,x_id,100@shopy,y_id,200@shopz,z_id,300@上传命令示例...
SQL基本语法
本文为您介绍高级搜索中使用的SELECT查询语句的基本语法。查询语法 从数据库中检索数据的过程或命令称为查询。在SQL中，SELECT 命令用于指定查询。SELECT语句的基本语法如下：SELECT[DISTINCT]column1[AS column_name],column2,function ...
Reserve参数说明
在调用部分接口配置或查询迁移或同步、订阅任务时，您需要配置或查询预留参数Reserve（数据类型为字符串String，传入格式为JSON）来完善或查看源或目标实例的配置信息（比如目标Kafka集群的数据存储格式、云企业网CEN的实例ID）。本文将...
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
行级管控
在SQL窗口使用包含WHERE条件的SQL语句查询管控的数据行。例如，受管控的字段为buyer_name，受管控的行值为name1、name2和name3，在已有数据库、表dms_test的查询权限的前提下，通过SQL窗口执行如下SQL，查询受管控的数据行。查询单个管控值...
导出结构和数据
设置项 说明 数据格式 ODC 目前支持将数据导出为 CSV 格式 和 SQL 格式。当 导出内容 为 仅导出结构 时，只支持导出数据为 SQL 格式。文件编码 ODC 目前支持 ASCII、ISO-8859-1、GB2312、GBK、GB18030、Unicode（UTF-8）、Unicode（UTF-16...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
多行数据合并为一行数据
本文为您介绍，如何使用SQL实现多行数据合并为一行数据。示例数据 class gender name 1 M LiLei 1 F HanMM 1 M Jim 1 F HanMM 2 F Kate 2 M Peter 使用示例 示例1：将 class 相同的 name 合并为一行，并对 name 去重。去重操作可通过嵌套子...
DQL操作常见问题
如何将一行数据拆分为多行数据？在客户端的odps_config.ini文件中设置use_instance_tunnel=false，instance_tunnel_max_record=10，为什么Select还是能输出很多记录？如何用正则表达式判断字段是否为中文？在执行MaxCompute SQL过程中，报...
StarRocks数据源
StarRocks数据源为您提供读取和写入StarRocks的双向通道，本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本 支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
SelectDB数据源
DataWorks数据集成支持使用SelectDB Writer导入表数据至SelectDB。本文为您介绍DataWorks的SelectDB数据同步能力支持情况。支持的SelectDB版本 SelectDB Writer使用的驱动版本是MySQL Driver5.1.47，驱动能力详情请参见 MySQL Connectors。...
配置安全规则
背景信息 将数据库添加到数据库审计系统后，您可以为数据库配置安全规则。当审计记录命中配置并启用的安全规则时，安全规则会触发告警。安全规则包括系统规则和用户规则。系统规则为内置规则，支持的规则类型包括：SQL注入规则、漏洞攻击...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
Flink
Zeppelin的SQL开发环境和Flink自带的SQL-Client类似，但提供了更多的特性，具体内容如下：同时支持Batch SQL和Streaming SQL Zeppelin中同时支持Batch SQL和Streaming SQL，%flink.ssql 用来执行Streaming SQL，%flink.bsql 用来执行Batch ...
使用MaxCompute控制台（离线）
仅支持上传一个CSV文件或XLSX文件：CSV文件：最大支持上传5 GB数据，文件里的数据以半角逗号（,）分隔。XLSX文件：最大支持上传100 MB数据。默认仅上传XLSX文件中首个Sheet页的数据，如果有多个Sheet，则其他Sheet的数据将被忽略。阿里云...
Doris数据源
DataWorks数据集成支持使用Doris Writer导入表数据至Doris。本文为您介绍DataWorks的Doris数据同步能力支持情况。支持的Doris版本 Doris Writer使用的驱动版本是MySQL Driver 5.1.47，该驱动支持的内核版本如下。驱动能力详情请参见 Doris...
配置循环SQL节点
循环SQL节点可循环生成SQL语句，再将其分批提交给DMS管理的任意关系型数据库执行，同时，还可以搭配变量，控制SQL循环次数，达到简化SQL循环逻辑、平衡SQL语句对源库产生压力的目的。本文介绍配置循环SQL节点的操作步骤。背景信息 任务编排...
数据脱敏
当数据出现泄露时，管理员可以在获取到泄露的数据后，通过提取水印，将数据中的备注信息提取出来，就可以定位到泄漏数据的是员工A。水印使用限制详情，请参见 水印使用限制。设置敏感数据要移动的目标位置，测试 写入权限，并单击 下一步。...
新建存储过程
概述 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存...
Hudi连接器
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
2022年
新说明 本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。压缩数据从OSS迁移至MaxCompute 2022-12-02 新增合并小文件。新说明 分布式文件系统按块（Block）存放数据，文件大小比...
PolarDB数据源
是 无 splitPk PolarDB Reader进行数据抽取时，如果指定 splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，从而提高数据同步的效能。推荐 splitPk 用户使用表主键，因为表主键通常情况下...
文档更新动态（2024年）
本文为您介绍2024年Dataphin版本文档更新动态，方便您及时了解Dataphin版本新增特性及功能变更。2024年04月 更新时间：2024年04月15日 对应发布的版本：V3.14 文档节点 描述 更新、新增 相关文档 管理中心-权限管理 板块架构师和项目管理员...
功能更新动态（2024年）
本文将为您及时同步2024年的Dataphin版本发布信息。2024年04月 对应发布的产品版本：V3.14 北京：2024年04月16日发布。深圳、杭州：2024年04月18日发布。上海：2024年04月21日发布。功能名称 功能描述 相关文档 表权限 板块架构师和项目...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）数据源为您提供读取和写入DRDS（PolarDB-X）双向通道的功能，本文为您介绍DataWorks的DRDS（PolarDB-X）数据同步的能力支持情况。支持的版本 实时读取 支持DRDS（PolarDB-X 1.0）和PolarDB-X 2.0的非只读实例。创建DRDS...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
Broker Load
数据首先根据 column list 和 COLUMNS FROM PATH AS 按顺序拼接成原始数据行。然后按照前置过滤条件进行过滤。SET(column_mapping)指定列的转换函数。WHERE predicate 指定数据的过滤条件。DELETE ON expr 需配合 MERGE 导入模式一起使用，...
作业配置指南
Serverless Spark作业的描述格式为JSON格式，包含作业名称，JAR包路径以及作业配置参数等信息。本文主要介绍如何配置Serverless Spark任务格式。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持...
2021年
MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为客户节省了...
新建表
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。Key 分区：类似于按 HASH 分区，区别在于 KEY 分区只支持计算一列或多列，且 ...
Java UDAF
Writable[]表示一行数据，在代码中指代传入的列。例如writable[0]表示第一列，writable[1]表示第二列。args为SQL中调用UDAF时指定的参数，不能为NULL，但是args里面的元素可以为NULL，代表对应的输入数据是NULL。abstract public void ...
自动优化
query)print(f"Inserted {i+1} entries.")在OSS browser里刷新，可以看到在向表中插入数据时产生了大量的小文件，在我们的代码里执行单行插入，对每一行都会生成一个单独的小文件，同时产生了两个delta log文件。当插入了50条数据时，delta...
PolarDB PostgreSQL版（兼容Oracle）间迁移
通过使用数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的数据迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版（兼容Oracle）集群，详情请参见 创建PolarDB PostgreSQL版（兼容...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
常见问题
为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟ClickHouse对不上？如何使用Spark、Flink导入数据？如何从现有ClickHouse导入数据到云数据库ClickHouse？使用MaterializeMySQL引擎同步MySQL数据时，为什么...
- 产品推荐
- 这些文档可能帮助您