FIELD
获取STRUCT对象中成员变量的取值。命令格式 T field(struct,string)参数说明 s：必填。...相关函数 FIELD函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
JSON_ARRAY
生成JSON ARRAY。将一个可能为空的JSON类型对象...返回结果：+-+|_c0|+-+|["a",45,true,13,{"a":456}]|+-+相关函数 JSON_ARRAY函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
NAMED_STRUCT
使用指定的 name、value 列表建立STRUCT。命令格式 struct named_struct(string,T1,string,T2[,.])...相关函数 NAMED_STRUCT函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
UDF开发（Python3）
MaxCompute当前支持利用Python 3语言来开发自定义函数（UDF），以满足特定的业务...UDF示例demo UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串...
INDEX
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。map,V>中的 K、V 指代MAP对象的Key、Value。var2：必填。如果 var1 是 array类型，则 var2 为BIGINT类型且大于等于0。如果 var1 是 map,V>类型，则 var2 与 K 的...
JSON_PARSE
将STRING类型转成JSON类型，非JSON格式的字符串转换会报错。命令格式 json json_parse()参数说明 ...相关函数 JSON_PARSE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
TO_JSON
将给定的复杂类型 expr，以JSON字符串格式输出。命令格式 string to_json()参数说明...更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
MaxCompute UDF概述
UDF开发示例 UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
EXPLODE
将一行数据转为多行的...返回结果里没有包括单独的NULL行数据+-+|col|+-+|1|2|3|NULL|agb|1|2|3|NULL|ag|+-+相关函数 EXPLODE函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
概述
本文为您介绍在MaxCompute Studio上开发SQL脚本的...Hive类型系统：Hive兼容数据类型版本系统。执行模式 默认：MaxCompute Studio默认使用的编译器。查询加速：具备查询加速功能的编译器。加速失败重跑：查询加速失败后可以重跑作业的编译器。
SUBSTR
Hive兼容数据类型版本：当 start_position 为0时，与起始位置为1时相同。1.0和2.0数据类型版本：当 start_position 为0时，返回NULL。length：可选。BIGINT类型，表示子串的长度值。值必须大于0。重要 如果 setproject odps.function....
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
数据类型
本文介绍Data Lake Analytics兼容Hive的数据类型。建表语法 CREATE EXTERNAL TABLE[IF NOT EXISTS][db_name.]table_name[(col_name data_type[COMMENT col_comment],.[constraint_specification])][COMMENT table_comment][PARTITIONED BY...
Hive数据导入
参数说明如下表所示：阿里云实例 参数名称 参数说明 数据源类型 选择数据源类型 Hive。数据源名称 系统默认会按数据源类型与当前时间生成名称，可按需修改。数据源描述 数据源备注描述，例如湖仓应用场景、应用业务限制等。部署模式 如果您...
项目空间操作
Hive兼容数据类型详情请参见 Hive兼容数据类型版本。true：打开 false：关闭 odps.sql.decimal.odps2 DECIMAL 2.0数据类型 DECIMAL(precision,scale)开关。详情请参见 2.0数据类型版本。true：打开 false：关闭 odps.timemachine.retention...
Hive数据源
离线读 类型分类 Hive数据类型 字符串类 CHAR、VARCHAR、STRING 整数类 TINYINT、SMALLINT、INT、INTEGER、BIGINT 浮点类 FLOAT、DOUBLE、DECIMAL 日期时间类 TIMESTAMP、DATE 布尔型 BOOLEAN 数据同步前准备 不同的数据源配置模式，准备...
GetMetaDBInfo
DataSourceType String 否 emr 数据类型，包括odps和emr。返回数据 名称 类型 示例值 描述 RequestId String 0bc1411515937*请求ID。Data Object 业务数据。Type String hive 数据库类型 Comment String 备注 备注 CreateTime Long ...
Flag参数列表
关于兼容数据类型的更多信息，请参见 Hive兼容数据类型版本。True：打开。False：关闭。ALL SQL Session/Project odps.sql.metering.value.max 设置单SQL消费限制值。关于消费者监控的更多信息，请参见 消费监控告警。ALL SQL Session/...
管理数据库
Hive 参数 说明 数据库类型 Hive 名称 新建数据库的名称，长度限制为1~64个字符，只允许包含中文、字母、数字、空格、短划线（-）和下划线（_）。网络类型 仅支持专有网络类型。专有网络 默认展示工作空间配置的网络参数，不支持修改。为了...
SETPROJECT
关于兼容数据类型的更多信息，请参见 Hive兼容数据类型版本。True：打开。False：关闭。ALL SQL Session/Project odps.sql.metering.value.max 设置单SQL消费限制值。关于消费者监控的更多信息，请参见 消费监控告警。ALL SQL Session/...
限制说明
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据，不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合...
使用教程
TOTAL 9 类型转换说明 表格存储支持的数据类型与Hive或者Spark支持的数据类型不完全相同。下表列出了从表格存储的数据类型（行）转换到Hive或Spark数据类型（列）的支持情况。类型转换 TINYINT SMALLINT INT BIGINT FLOAT DOUBLE BOOLEAN ...
MongoDB数据源
类型分类 MongoDB数据类型 整数类 INT和LONG 浮点类 DOUBLE 字符串类 STRING和ARRAY 日期时间类 DATE 布尔型 BOOL 二进制类 BYTES 数据类型示例1：Combine类型使用示例 MongoDB Reader插件的Combine数据类型支持将MongoDB document中的多个...
Hive兼容数据类型版本
复杂数据类型 类型 定义方法 构造方法 ARRAY array<int>array,b:string>>array(1,2,3)array(array(1,2),array(3,4))MAP map,string>map,array<string>>map(“k1”,“v1”,“k2”,“v2”)map(1S,array(‘a’,‘b’),2S,array(‘x’,‘y’))...
开启native查询加速
说明 目前使用Hive查询加速功能时，暂不支持复杂数据类型，例如Map、Struct或Array。全局设置Spark 进入Spark页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理...
搭建与管理（基于Hadoop）
如果未开通，建议开通时设置MaxCompute数据类型为Hive兼容。通过MaxCompute与Hadoop构建湖仓一体时，Hadoop集群所使用的VPC和MaxCompute服务开通地域保持一致，这样可以免去跨地域网络产生的费用。当您通过MaxCompute与Hadoop构建湖仓一体...
使用DLF元数据
支持的数据源类型有hive、hudi、iceberg、deltalake。dlf.catalog.id 否 待读取的DLF Catalog ID。如果不添加该配置，则使用默认DLF Catalog。hive.metastore.type 是 配置MetaStore类型。固定值为DLF。查询数据。通过SHOW DATABASES查看...
快速使用EMR Notebook
参数 说明 数据库类型 选择Hive。本文以Hive类型为例。名称 新建数据库的名称，长度限制为1~64个字符，只允许包含中文、字母、数字、空格、短划线（-）和下划线（_）。本示例为demo_hive。网络类型 仅支持专有网络类型。专有网络 默认展示...
Catalog概述
例如，数据源类型和Hive MetaStore的URI等。在StarRocks中，您可以通过External Catalog直接查询外部数据。目前支持创建以下数据源的External Catalog：Hive数据源：用于查询Hive数据。Iceberg数据源：用于查询Iceberg数据。Hudi数据源：...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
开启native查询加速
JindoTable通过Native Engine，支持对Spark、Hive或Presto上ORC或Parquet格式文件进行加速。本文为您介绍如何开启native查询加速，以提升Spark、...说明 目前使用Hive查询加速功能时，暂不支持读取复杂的数据类型，例如Map、Struct或Array。
开启native查询加速
JindoTable通过Native Engine，支持对Spark、Hive或Presto上ORC或Parquet格式文件进行加速。本文为您介绍如何开启native查询加速，以提升Spark、...说明 目前使用Hive查询加速功能时，暂不支持读取复杂的数据类型，例如Map、Struct或Array。
开启native查询加速
JindoTable通过Native Engine，支持对Spark、Hive或Presto上ORC或Parquet格式文件进行加速。本文为您介绍如何开启native查询加速，以提升Spark、...说明 目前使用Hive查询加速功能时，暂不支持读取复杂的数据类型，例如Map、Struct或Array。
节点类型说明
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
Hive数据迁移
本文为您介绍通过Hive UDTF迁移Hive数据的方法。准备事项 ⽹络环境要求。Hive集群各节点能够访问MaxCompute。MMA所在服务器能够访问Hive MetaStore Server、Hive Server。创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的...
配置同步任务
如果需要再次添加已删除的字段，则执行单击 新建字段，根据弹框提示，填写 字段及描述、选择 数据类型，单击 新增，完成已删除字段的添加。调整字段：如果 来源字段 和 目标字段 的字段名一一对应，则系统默认匹配。如果 来源字段 和 目标...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
- 产品推荐
- 这些文档可能帮助您