ARRAY_UNION
计算ARRAY数组 a 和 b 的并集，并去掉重复元素。命令格式 array<T>array_union(array<T><a>,array<T>...相关函数 ARRAY_UNION函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
2023年
2023-08-01 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）按量付费闲时版 2023-06 功能名称 功能描述 发布时间 发布地域 相关文档 新增JSON数据类型 新增JSON数据类型，MaxCompute支持写入...
使用ROS模板选择和设置对象
资源编排支持通过新增对象数组、元素数组和参数对象对JSON数据进行扩展，增强JSON对象的校验逻辑。对象数组 对象数组为单一对象，数组元素支持所有的ROS模板参数类型。模板示例 ROSTemplateFormatVersion:'2015-09-01' Parameters:...
SQL表达式
创建数据流转规则时，需编写SQL来解析和处理设备上报的JSON数据。二进制格式的数据不做解析，直接透传。本文主要介绍如何编写数据流转规则的SQL表达式。SQL表达式 重要 若物模型标识符以数字开头，不支持使用SQL表达式访问该物模型，即旧版...
创建数据源
JSON 数据：无需手动输入，系统会根据所选的 文件模板 自动匹配 JSON 数据。文件编码：文件编码类型，支持 UTF-8 和 GBK。文件协议：文件协议定义了文件的解析方式，目前支持 SP、DE 和 FUND 三种类型。详情请参见下表。协议类型 说明 适用...
ARRAY_DISTINCT
去除ARRAY数组 a 中的重复元素。命令格式 array<T>array_distinct(array<T><a>)参数说明 a：必填。...相关函数 ARRAY_DISTINCT函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
内建函数概述
如果表存在其他引擎读取情况，比如Hologres等，目前不支持读取JSON数据类型。暂不支持对一张表新增JSON列。暂不支持对JSON类型的比较操作，也不支持对JSON类型进行 ORDER BY、GROUP BY 或作为 JOIN 的key等。目前JSON NUMBER的整数和小数...
提交物模型消息解析脚本
背景信息 数据格式为 ICA标准数据格式，设备按照物联网平台定义的标准数据格式生成消息上报，标准Alink JSON数据格式说明，请参见 设备属性、事件、服务。数据格式为 透传/自定义，设备通信时，需要物联网平台调用您提交的消息解析脚本，将...
外部表常见问题
在MaxCompute中使用OSS外部表读取JSON数据的操作，请参见 在MaxCompute中使用OSS外部表读取JSON数据。如何通过OSS外部表将多个小文件输出为一个文件？通过Logview日志，查看SQL的执行计划中最后一个是Reducer还是Joiner。如果是Reducer，则...
JSON
背景信息 JSON 格式能基于JSON结构读写JSON数据。当前，JSON结构是从表结构自动推导而得的。支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB 和 StarRocks 等。使用示例 利用Kafka以及...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。JEOJEON API：单击链接右侧的 图标，即可复制JEOJEON数据的API...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。GeoJSON API：单击链接右侧的 图标，即可复制GeoJSON数据的API...
调试实时任务
说明 Kafka中支持json、csv、canal-json、maxwell-json、debezium-json数据格式的自动抽样。Kafka自动抽样仅支持 无认证 和 用户名+密码认证 方式，不支持SSL。Kafka自动抽样时，支持选择读取数据范围，最大抽样条数为 100 条。完成所有...
通过数据同步功能同步Kafka至湖仓版（推荐）
{"name":"zhangle","age":18,"device":{"os":{"test":lag,"member":{"fa":zhangsan,"mo":limei } },"brand":"none","version":"11.4.2"} } JSON数据解析后，对应0~4层的效果如下。0层解析 不做任何解析，直接输出原始JSON数据。JSON字段 值...
结果字段说明
JSON数据格式。project_name 模型训练任务数据源所在的Project。logstore_name 模型训练任务数据源所在的Logstore。result 结果内容。JSON数据格式。event_msg 模型训练任务在该时间点的进度信息。occ_time 模型训练任务进度对应的时间戳。...
ElasticSearch
spark.conf spark.jars.packages org.elasticsearch:elasticsearch-spark-30_2.12:8.2.0 读取JSON数据，并将数据写入到ElasticSearch。spark/读取oss数据 val path="oss:/your bucket/data/es_case.json"val data=spark.read.option(...
Delta Lake 快速入门
此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也...
RestAPI（HTTP形式）数据源
是 无 column 生成JSON数据对应的字段路径列表，type指定源数据的类型，name指定当前column数据放置的JSON路径。您可以指定column字段信息，配置如下。column":[{"type":"long","name":"a.b"/放置column数据到路径a.b},{"type":"string",...
云数据库的导入与导出
JSON 数据每个键值对的键名首尾不能是英文句号（.），并且不能包含多个连续的英文句号（.）。键名不能重复。CSV文件格式要求首行作为导入后的键名，用英文逗号（,）分隔，其余为键值记录，与首行键名一一对应。导入支持两种 冲突处理模式。...
数据类型
针对非完全合法的JSON数据，日志服务支持解析合法部分。例如以下为非完整的JSON日志，日志服务可正确解析 content.remote_addr 字段、content.request.request_length 字段和 content.request.request_method 字段。content:{ remote_addr:...
支持的文件格式
JSON EsriJsonSerDe DLA支持Esri ArcGIS的地理JSON数据文件的SerDe处理，关于这种地理JSON数据格式说明，可以参考：https://github.com/Esri/spatial-framework-for-hadoop/wiki/JSON-FormatsCREATE EXTERNAL TABLE IF NOT EXISTS ...
配置API输出组件
请求的数据结构 请求传递的JSON数据的格式。单条数据：一次请求只传递一条数据，有几条数据就进行几次请求。多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被...
配置API输出组件
请求的数据结构 请求传递的JSON数据的格式。单条数据：一次请求只传递一条数据，有几条数据就进行几次请求。多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被...
使用Kafka（离线与实时）
FLATTEN：消息格式为JSON数据类型的字符串，JSON中的Key和Value会被解析，写入到对应的MaxCompute表中，其中JSON数据中的Key和需要与MaxCompute的表列名对应。关于不同格式消息导入的案例，详情请参见 使用示例。mode 否 消息同步到...
JSON函数
您可以通过如下方式构造JSON数据：直接使用JSON数据。例如 json '{"a":1,"b":{"c":30}}'。通过CAST函数将字符串进行显式转换为JSON数据。例如 CAST('{"a":1,"b":{"c":30}}' AS json)。返回值类型：JSON ARRAY。示例：返回$.b 路径下的所有...
Trino概述
支持丰富的数据源：Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 ...
UpsertCollectionDataAsync-异步上传向量数据
说明 文件内容格式为 jsonl，即每一行是一个特定格式的 json 数据，代表一组向量数据。单行的数据结构为 {String Id;Map,Object>Metadata;List<Double>Vector},如 {"Id":"myid","Metadata":{"my_meta_key":"my_meta_value"},"Vector":[1....
JSON数据从MongoDB迁移至MaxCompute
db.userlog.find().limit(10)通过DataWorks将JSON数据从MongoDB迁移至MaxCompute 登录 DataWorks控制台。在DataWorks上创建目标表。用以接收从MongoDB迁移的数据。右键单击已创建的 业务流程，选择 新建表>MaxCompute>表。在 新建表 页面，...
JSON数据从MongoDB迁移至MaxCompute
db.userlog.find().limit(10)通过DataWorks将JSON数据从MongoDB迁移至MaxCompute 登录 DataWorks控制台。在DataWorks上创建目标表。用以接收从MongoDB迁移的数据。右键单击已创建的 业务流程，选择 新建表>MaxCompute>表。在 新建表 页面，...
云函数支持固定出网IP
示例 ctx.httpProxyClient.postForm('https://www.example.com/search',{ q:'nodejs',cat:'1001' })POST JSON 数据 用法 ctx.httpProxyClient.postJson(url:String,json:Object?headers:Object?示例 ctx.httpProxyClient.postForm('...
快速入门
作为学院派关系型数据库管理系统的鼻祖，它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等，而大部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制（MVCC）...
脚本语法
重要 解析处理的数据源必须转换为JSON格式数据，即数组或者嵌套的JSON数据。定义字段，然后获取payload中属性值，并赋值给该字段。定义字段标识符和数据类型的规则，请参见本文下方的“标识符”和“数据类型”。脚本文件中支持使用JSONPath...
基于GitHub公开事件数据集的离线实时一体化实践
已开通对象存储OSS并在ECS中安装ossutil工具，用于存储 GH Archive 提供的JSON数据文件，详情请参见 开通OSS服务 和 安装ossutil。已开通大数据计算服务MaxCompute并创建Project，详情请参见 创建MaxCompute项目。已开通大数据开发治理平台...
脚本语法
重要 待处理的数据源必须转换为JSON格式数据，即数组或者嵌套的JSON数据。定义字段，然后筛选设备上报的字段数据，并赋值给定义的字段。定义字段标识符和数据类型的规则，请参见本文下方的“标识符”和“数据类型”。脚本文件中支持使用...
自定义函数（邀测中）
数据发送和返回的数据格式 数据发送的格式 {"rowCount":3,"compressed":true,"data":[[1,"a","2023-08-22 11:30:00"],[2,"b","2023-08-22 12:30:00"],[3,"c",null]]} JSON数据结构说明：rowCount：数据的行数。compressed：传输的数据是否...
设备影子概览
JSON数据格式的详细说明，请参见 设备影子JSON详解。每个设备有且只有一个设备影子，设备可以通过MQTT获取和设置设备影子来同步状态，该同步可以是影子同步给设备，也可以是设备同步给影子。与设置设备期望属性值区别 设备影子与设置设备...
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
Flag参数列表
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.type.json.enable JSON数据类型使用开关。关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。MaxCompute JSON数据类型 SQL Session/...
JMES语法
JMES是一个增强型的JSON查询计算语言，不仅可以对JSON数据进行提取，还可以做计算与转换。关于JMES语法的详细介绍请参见 JMES Tutorial。数据加工中的 json_select、e_json、e_split 函数支持通过JMES提取字段或JSON表达式的值，或者通过...
基于GitHub公开事件数据集的离线实时一体化实践
已开通对象存储OSS并在ECS中安装ossutil工具，用于存储 GH Archive 提供的JSON数据文件，详情请参见 开通OSS服务 和 安装ossutil。已开通大数据计算服务MaxCompute并创建Project，详情请参见 创建MaxCompute项目。已开通大数据开发治理平台...
- 产品推荐
- 这些文档可能帮助您