用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
离线同步写入MongoDB数据
附录：同步过程中的数据格式转换说明 关于type取值 支持的type包括：INT、LONG、DOUBLE、STRING、BOOL、DATE、ARRAY。关于数组类型 当配置类型为ARRAY时，需配置对应的splitter属性，可以输出到MongoDB的数组类型。如：源端数据为字符串：a...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
数据归档至专属存储
说明 归档后的数据格式为Parquet文件格式，且数据量会有所压缩。查询归档至专属存储的数据。恢复已归档数据至源库 费用说明 该功能免费使用。使用限制 仅源数据库类型为 RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0 可使用此功能。...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
REGEXP_EXTRACT
说明 数据以UTF-8格式保存。对于中文字符可以用对应的16进制编码表示，中文字符编码的范围是[\\x{4e00},\\x{9fa5}]。返回值说明 返回STRING类型。返回规则如下：如果 pattern 为空串或 pattern 中没有分组，返回报错。groupid 非BIGINT类型...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
轮播页面
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Hudi格式数据关系数据库全量入湖 最大资源并行度 DLF将启动Worker节点完成数据入湖，此配置项表示同时运行的最大Worker数量。20 在DLF控制台的 入湖任务管理 页面单击目标任务 操作 列的 运行。当任务 执行进度 达到100%时，表示OSS数据...
轮播页面
事件 事件 说明 当大屏轮播数据接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当当前大屏数据接口...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
自定义区域下钻层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域热力层（v3.x版本）
当地理边界geojson数据接口请求完成时 地理边界geojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当内置...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
冷数据归档常见问题
归档后的冷数据的数据格式发生变化，会导致占用的空间容量发生变化。具体变化如下：如果原表位于InnoDB引擎，归档后的数据的数据量可能会变小。如果原表位于X-Engine引擎，归档后的数据的数据量可能会变大。归档为CSV格式的数据的数据量...
通过外表导入至数仓版
说明 对于CSV格式、Parquet和ORC格式数据文件，数据量越大，通过外表查询的性能损耗越大。如果您需要进一步提升查询效率，建议您按照后续步骤将OSS数据导入 AnalyticDB MySQL版 后再做查询。创建目标表。在目标数据库 adb_demo 中创建一张...
TO_DATE
使用示例：表数据示例 基于 示例数据，将date3列日期转换为满足指定格式的日期值，命令示例如下。select date3,to_date(date3,'yyyy-mm-dd')as date3_to_date from mf_date_fun_t;返回结果如下。date3|date3_to_date|+-+-+|2021-11-20|2021...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
UUID
返回一个随机ID，格式示例为 29347a88-1e57-41ae-bb68-a9edbdd9*。命令格式 string uuid()说明 UUID返回的是一个随机的全局ID，其重复的概率很小。相关函数 UUID函数属于其他函数，更多其他业务场景的函数请参见 其他函数。
CONCAT
命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])参数说明 a、b：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组...
E
返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
PI
返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
SPACE
命令格式 string space(bigint)参数说明 n：必填。BIGINT类型。长度不超过2 MB。返回值说明 返回STRING类型。返回规则如下：n 为空时，返回报错。n 值为NULL时，返回NULL。使用示例-返回10。select length(space(10));相关函数 SPACE函数...
ENCODE
将 str 按照 charset 格式进行编码。命令格式 binary encode(string,string)参数说明 str：必填。STRING类型。待重新编码的字符串。charset：必填。STRING类型。编码格式。取值范围为：UTF-8、UTF-16、UTF-16LE、UTF-16BE、ISO-8859-1、US-...
LENGTH
命令格式 bigint length(string)参数说明 str：必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会隐式转换为STRING类型后参与运算。返回值说明 返回BIGINT类型。返回规则如下：str 非STRING、BIGINT、DOUBLE、...
SHA
计算字符串或者二进制类型的 expr 的SHA-1哈希值，并以十六进制字符串格式返回。命令格式 string sha(string|binary)参数说明 expr：必填。STRING或BINARY类型。返回值说明 返回STRING类型。输入参数为NULL时，返回结果为NULL。使用示例 ...
SOUNDEX
命令格式 string soundex(string)参数说明 str：必填。STRING类型。待转换的字符串。此函数为MaxCompute 2.0扩展函数。返回值说明 返回STRING类型。str 值为NULL时或者不识别的特殊字符时，返回NULL。使用示例 示例1：将字符串 hello 转换...
DECOMPRESS
命令格式 binary decompress(binary)参数说明 bin：必填。BINARY类型。返回值说明 返回BINARY类型。输入参数为NULL时，返回结果为NULL。使用示例 示例1：对字符串 hello,world 的压缩结果进行解压并转换为字符串格式。命令示例如下。返回...
ASCII
命令格式 bigint ascii(string)参数说明 str：必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会隐式转换为STRING类型后参与运算。返回值说明 返回BIGINT类型。返回规则如下：str 非STRING、BIGINT、DOUBLE、...
自定义参数取值差异对比
自定义参数分为系统内置参数、自定义参数${.}、自定义参数$[.]、常量，不同类别的参数赋值格式及取值不同。本文为您介绍不同格式自定义参数的取值差异对比情况。不同格式自定义参数的应用对比 以当前时间为 2021年11月01日，任务每天 00:00...
LENGTHB
命令格式 bigint lengthb(string)参数说明 str：必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会隐式转换为STRING类型后参与运算。返回值说明 返回BIGINT类型。返回规则如下：str 非STRING、BIGINT、DOUBLE、...
CHR
命令格式 string chr(bigint)参数说明 ascii：必填。BIGINT类型的ASCII值。取值范围为0~128。如果输入为STRING、DOUBLE或DECIMAL类型，则会隐式转换为BIGINT类型后参与运算。返回值说明 返回STRING类型。返回规则如下：ascii 值不在取值...
TOUPPER
命令格式 string toupper(string)参数说明 source：必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会隐式转换为STRING类型后参与运算。目前只支持英文字符。返回值说明 返回STRING类型。返回规则如下：source 非...
TOLOWER
命令格式 string tolower(string)参数说明 source：必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会隐式转换为STRING类型后参与运算。目前只支持英文字符。返回值说明 返回STRING类型。返回规则如下：source 非...
REPEAT
命令格式 string repeat(string,bigint)参数说明 str：必填。STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型，则会隐式转换为STRING类型后参与运算。n：必填。BIGINT类型。长度不超过2 MB。返回值说明 返回STRING类型。返回...
TO_JSON
将给定的复杂类型 expr，以JSON字符串格式输出。命令格式 string to_json()参数说明 expr：必填。说明 如果输入为STRUCT类型（struct,key2:value2）：转换为JSON字符串时，Key会全部转为小写。value 如果为NULL，则不输出 value 本组的数据...
LEAST
命令格式 least(,[,.])参数说明 var：必填。输入参数值。BIGINT、DOUBLE、DECIMAL、DATETIME或STRING类型。返回值说明 输入参数中的最小值。当不存在隐式转换时，返回值同输入参数类型。当有类型转换时，DOUBLE、BIGINT、STRING之间的转换...
UNBASE64
将BASE64编码格式字符串 str 转换为二进制表示格式。命令格式 binary unbase64(string)参数说明 str：必填。STRING类型。待转换BASE64编码格式字符串。返回值说明 返回BINARY类型。输入参数为NULL时，返回结果为NULL。使用示例 示例1：将...
- 产品推荐
- 这些文档可能帮助您