编写自定义脚本
数据解析任务中源节点的Topic数据格式为原始数据时，可以使用自定义脚本进行解析。物联网平台支持配置JavaScript（ECMAScript 5）、Python 2.7和PHP 7.2语言的脚本。本文介绍自定义Topic数据解析脚本模板和示例。JavaScript脚本示例 脚本...
类型转换函数
如果您在查询与分析数据时需要区分更细维度的数据类型，您可以在查询与分析语句中使用类型转换函数转换数据的数据类型。日志服务支持如下类型转换函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹...
UDT示例
例如Java数组、JSON、复杂类型、聚合操作、表值函数、函数重载和引用嵌入式代码。说明 请您在脚本模式下运行如下示例代码，脚本模式详情请参见 SQL脚本模式。Java数组 set odps.sql.type.system.odps2=true;set odps.sql.udt.display....
PHP脚本示例
说明 本模板仅适用于 数据格式 为 透传/自定义 的产品。php/*将Alink协议的数据转换为设备能识别的格式数据，物联网平台给设备下发数据时调用。入参：$jsonObj，关联数组。出参：$rawData，普通数组，数组元素为整数，取值范围为0~255，不...
PHP脚本示例
如果产品的 数据格式 为 透传/自定义，还需编写物模型消息解析脚本。物模型消息解析脚本编写指导，请参见 提交物模型消息解析脚本。有关 透传/自定义 说明，请参见 创建产品。php/*示例数据 自定义Topic：/user/update，上报数据。输入...
PHP脚本示例
说明 本模板仅适用于 数据格式 为 透传/自定义 的产品。php/*将Alink协议的数据转换为设备能识别的格式数据，物联网平台给设备下发数据时调用*入参：$jsonObj 关联数组*出参：$rawData 普通数组，数组元素为整数，取值范围为0~255，不能为...
JSON函数
0|JSON_REMOVE 命令格式 json_remove(json_string,json_path_string)json_remove(json_string,array[json_path_string])命令说明 返回 json_string 中去除 json_path_string 之后的数据，可以通过 array[json_path_string]一次性指定多个 ...
FROM_JSON
FROM_JSON 示例1：将指定JSON字符串以指定格式输出。命令示例如下。返回{a:1,b:0.8}。select from_json('{"a":1,"b":0.8}','a int,b double');返回{time:26/08/2015}。select from_json('{"time":"26/08/2015"}','time string');返回{a:1,b...
内建函数概述
当MaxCompute项目打开2.0新数据类型开关时，部分隐式类型转换会被禁用，包括STRING转换为BIGINT、STRING转换为DATETIME、DOUBLE转换为BIGINT、DECIMAL转换为DOUBLE、DECIMAL转换为BIGINT，都有精度损失或报错的风险。此时，您可以通过 CAST...
事件请求处理程序（Event Handler）
例如，输入数据是JSON字符串，您可以把输入的数据转换为Array。context：包含函数的运行时信息，例如请求ID和临时身份验证，便于您在代码中使用这些信息。示例一：解析JSON格式参数 示例代码 当您传入JSON格式参数时，函数计算 会透传参数...
JSON_FORMAT
将JSON数据转换成STRING类型，默认不自动进行美化。命令格式 string json_format(<json>)参数说明 json：必填，待处理的JSON。返回值说明 返回STRING类型。使用示例 示例1：将NUMBER类型的JSON数据转换为字符串。select json_format(json '...
JSON格式导入
JSON参数 streaming_load_json_max_mb 参数 一些数据格式，如JSON，无法进行拆分处理，必须读取全部数据到内存后才能开始解析，因此，这个值用于限制此类格式数据单次导入最大数据量。默认值为100，单位MB，详情请参见 BE参数配置 修改此...
2021年
日期数据格式转换：STRING、TIMESTAMP、DATETIME互相转换 2021-10-12 新增观远数据连接MaxCompute操作指导。新说明 MaxCompute支持您将MaxCompute项目数据接入观远数据（GuanData），帮助企业的业务人员和数据分析师开展以问题为导向的探索...
查询和分析JSON日志的常见问题
and response:SUCCESS|SELECT item,count(1)AS cnt FROM(SELECT orderinfo FROM log,unnest(cast(json_extract(request,'$.param.orders')AS array(json)))AS t(orderinfo)),unnest(cast(json_extract(orderinfo,'$.commodity')AS array...
复杂类型函数
您可以在MaxCompute SQL中使用复杂类型函数处理复杂数据类型，例如ARRAY、MAP、STRUCT、JSON。本文为您提供MaxCompute SQL支持的复杂类型函数的命令格式、参数说明及示例，指导您使用复杂类型函数完成开发。MaxCompute SQL支持的复杂类型...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
请求处理程序（Handler）
例如，输入数据是JSON字符串，您可以把输入的数据转换为Array。context：包含函数的运行时信息，例如请求ID和临时身份验证，便于您在代码中使用这些信息。说明 如您需要通过HTTP触发器或自定义域名访问函数，请先获取请求结构体再自定义...
提交物模型消息解析脚本
支持的脚本语言 设备自定义数据格式转Alink JSON格式数据的函数（上行通信）Alink JSON格式数据转为设备自定义数据格式的函数（下行通信）示例代码 JavaScript（ECMAScript 5）rawDataToProtocol protocolToRawData JavaScript脚本示例 ...
UDF开发（Java）
MaxCompute Type Java Type Java Writable Type TINYINT java.lang.Byte ByteWritable SMALLINT java.lang.Short ShortWritable INT java.lang.Integer IntWritable BIGINT java.lang.Long LongWritable FLOAT java.lang.Float ...
物模型数据解析使用示例
将Alink JSON格式数据转为设备自定义数据格式的函数：JavaScript（ECMAScript 5）：protocolToRawData Python 2.7：protocol_to_raw_data PHP 7.2：protocolToRawData 将设备自定义数据格式转Alink JSON格式数据的函数：JavaScript...
JSON_ARRAY
命令格式 json json_array()参数说明 element：必填。该参数支持的类型包括STRING、BIGINT、BOOLEAN和JSON。返回值说明 返回JSON类型。使用示例-生成json array select json_array('a',45,true,13,json '{"a":456}');返回结果：+-+|_c0|+-+...
消息队列Kafka
类别 详情 支持类型 源表和结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro Debezium JSON Canal JSON Maxwell JSON Raw 说明 以上支持的数据格式都有其对应的配置项，可直接在WITH参数中使用，详情请参见 Flink社区...
开发App端的本地定时功能
返回数据中的JSON格式示例如下。{"items":{"LocalTimer":/以下为定时数据的示例[{"LightSwitch":1,"ColorTemperature":2000,"Timer":"5 4 1,2,3","TimezoneOffset":43200,"Brightness":0,"Enable":1,"Targets":"LightSwitch","WorkMode":0,...
2023年
JSON_VALID JSON_PARSE JSON_FORMAT JSON_TYPE JSON_PRETTY JSON_EXTRACT JSON_ARRAY JSON_OBJECT JSON_EXISTS 2023-06-29 新增MaxCompute JSON类型使用指南（试用Beta版本）新说明 MaxCompute当前支持了JSON数据类型，提高了表中带有JSON...
Java UDAF
MaxCompute Type Java Type Java Writable Type TINYINT java.lang.Byte ByteWritable SMALLINT java.lang.Short ShortWritable INT java.lang.Integer IntWritable BIGINT java.lang.Long LongWritable FLOAT java.lang.Float ...
DescribeProtectionModuleRules
Query String 否 e2ZpbHRlcjp7InJ1bGVJZCI6NDI3NTV9LG9yZGVyQnk6ImdtdF9tb2RpZmllZCIsZGVzYzp0cnVlfQ=设置规则的过滤和排序，以JSON格式字符串表达，具体包含以下参数...，请按照以下参数说明构造JSON格式字符串后将其转换为Base64编码格式...
CAST
注意其与json_parse和json_format的区别，json_parse只支持合法的JSON STRING转成JSON，而且可以转成JSON OBJECT，而cast(string as json)可以将任意STRING转成JSON STRING，JSON类型是STRING。cast(null as json)：将NULL值转换为JSON类型...
脚本语法
脚本解析器的能力包括获取消息内容、转换数据格式、处理字符串、组装JSON格式数据、处理二进制数据和流转数据等。本文介绍如何编写解析脚本。背景信息 物联网平台是基于Topic中的数据格式来处理和传递数据的，数据格式的具体内容，请参见 ...
字段值提取函数
本文介绍字段值提取函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对...
CAST函数
输入值类型 DECIMAL(m,d)、FLOAT、INT/INTEGER、SMALLINT、TINYINT BIGINT DOUBLE VARCHAR JSON 转换规则 原数据类型 目标数据类型 转换规则 VARCHAR JSON BOOLEAN 原数据为true或1，会被转换成1。原数据为false或0，会被转换成0。原数据为...
API参考
操作禁止，比如删除有topic存在的project LimitExceeded 流控受限 服务端QPS、流量等限制 InvalidShardOperation Shard分裂或合并，变成Sealed MalformedRecord 数据格式不正确 OffsetReseted 点位重置 OffsetSessionChanged SubId被其他...
JSON_PARSE
将STRING类型转成JSON类型，非JSON格式的字符串转换会报错。命令格式 json json_parse()参数说明 string：必填，待处理的STRING字符串。返回值说明 返回JSON类型。使用示例 示例1：字符串转换为JSON类型。select json_parse('{"a":1,"b":2}...
离线同步读取MongoDB数据
附录1：同步过程中的数据格式转换说明 数组类型数据转换为JSON格式输出：col_array_to_json MongoDB原始数据 字段映射配置 输出至MaxCompute的结果 {"col_array_to_json":["a","b"]} {"name":"col_array_to_json","type":"string"} 字段...
SET
如果输出的表有3个列的Schema是复杂数据类型，例如列类型为（STRING、MAP、STRUCT、ARRAY或BINARY），则默认情况下MaxCompute将会为写表操作预留64 MB×3大小的内存。每一列预先申请的缓存将会用来存放这一列 batch row count 行的数据。...
什么是消息解析
物联网平台定义设备消息的标准数据格式为Alink JSON。对于低配置且资源受限或者对网络流量有要求的设备，不适合直接构造JSON数据与物联网平台通信，可将原数据透传到物联网平台。物联网平台提供消息解析功能，可以根据您提交的脚本，将消息...
配置产品和设备
设备通过DTU接入物联网平台前，您需要在物联网平台上依次完成以下操作：创建数据格式为透传/自定义的产品、创建设备、获取设备证书信息、定义物模型、编辑并提交数据解析脚本。创建产品和设备 在物联网平台创建产品和设备，获取设备证书...
通过DataX导入数据
配置导入数据格式使用参数format，导入数据格式默认使用CSV，支持JSON，详情请参考 类型转换。flushInterval 否 30000 数据写入批次的时间间隔。默认为30000ms 命令行提交任务。cd target/datax/datax/bin python datax.py./...
Doc
TairDoc是类似RedisJSON的文档数据结构，支持JSON数据的增删改查。TairDoc简介 主要特性 完整地支持JSON标准。部分兼容 JSONPath RFC draft-4标准。说明 仅JSON.GET命令支持。完整地支持 JSONPointer 语法。文档作为二进制树存储，可以快速...
内建函数概述
当MaxCompute项目打开2.0新数据类型开关时，部分隐式类型转换会被禁用，包括STRING转换为BIGINT、STRING转换为DATETIME、DOUBLE转换为BIGINT、DECIMAL转换为DOUBLE、DECIMAL转换为BIGINT，都有精度损失或报错的风险。此时，您可以通过 CAST...
Spark SQL、Dataset和DataFrame基础操作
示例如下：示例1：Spark支持多种数据格式，本示例读取了JSON格式文件的数据，并输出为Parquet格式。val peopleDF=spark.read.json("examples/src/main/resources/people.json")peopleDF.write.parquet("people.parquet")示例2：通过SQL从...
- 产品推荐
- 这些文档可能帮助您