离线同步读取MongoDB数据
附录1：同步过程中的数据格式转换说明 数组类型数据转换为JSON格式输出：col_array_to_json MongoDB原始数据 字段映射配置 输出至MaxCompute的结果 {"col_array_to_json":["a","b"]} {"name":"col_array_to_json","type":"string"} 字段...
什么是消息解析
物联网平台接收到来自设备的数据时，先运行解析脚本，将透传的消息数据转换成Alink JSON格式的数据，再进行业务处理；物联网平台下发消息给设备前，也会先通过脚本将消息数据转换为设备的自定义格式，再下发给设备。数据解析流程图：设备...
复杂类型函数
JSON_PARSE 将STRING类型转成JSON类型，非JSON格式转换为字符串会报错。JSON_VALID 检查字符串是否为合法的JSON格式。CAST 支持基本类型与JSON类型的转换。说明 以下函数示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda...
JSON类型
根据 RFC 7159 中的说明，JSON 数据类型是用来存储 JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为 text，但是 JSON 数据类型的优势在于能强制要求每个被存储的值符合 JSON 规则。也有很多 JSON 相关的函数和操作符...
UDT示例
select gson.toJson(new ArrayList(Arrays.asList(1,2,3))),-将任意对象转成JSON字符串。cast(gson.fromJson('["a","b","c"]',List.class)as List)-反序列化JSON字符串，注意Gson的接口，直接反序列化后是List类型，这里强制转换成List，...
Java UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法@Resolve 注解示例如下。Resolve注解示例 说明@Resolve('bigint,...
内建函数概述
聚合函数 支持将多条输入记录聚合成一条输出值，实现求和、求平均值、求最大最小值、求平均值、参数聚合、字符串连接等业务处理能力。字符串函数 支持处理STRING类型字符串，实现截取字符串、替换字符串、查找字符串、转换大小写、转换字符...
字符串函数
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....
新功能发布记录
ALTER TABLE 数据类型变更 支持将整型数据类型（TINYINT、SMALLINT、INT、BIGINT、SHORT、LONG）变更为浮点类型（FLOAT、DOUBLE）和DECIMAL类型。ALTER TABLE PARTITION 支持修改分区函数。优化 优化器优化：支持Eager AGG和自动两阶段AGG...
公告
优化推荐（部分区域支持）：在DataWorks的数据治理已经全部覆盖原有能力，包括任务持续空输出、持续全表扫描以及适合启用动态过滤器的推荐信息，详情请参见 输出为空 和 暴力扫描。期间您有任何相关问题或需要协助，可以通过您的专属钉群或...
透传/编辑脚本
如果设备无法直接和云端传输JSON格式的数据，则需要设备通过二进制格式将数据透传到云端，由云端运行解析脚本将透传的数据转换成标准ICA格式的JSON数据。前提条件 已创建产品，且产品的 数据格式 设置为 透传/自定义。否则在 产品-设备调试...
内建函数概述
聚合函数 支持将多条输入记录聚合成一条输出值，实现求和、求平均值、求最大最小值、求平均值、参数聚合、字符串连接等业务处理能力。字符串函数 支持处理STRING类型字符串，实现截取字符串、替换字符串、查找字符串、转换大小写、转换字符...
表达式函数概览
str_logtash_config_normalize 将Logstash配置语言转成JSON格式。str_translate 将字符串中的指定字符按照对应关系进行替换。str_strip 删除字符串中指定的字符。str_lstrip 删除字符串开头的指定字符。str_rstrip 删除字符串结尾的指定...
概述
孪生体与物理设备之间是解耦关系，您可使用数据映射功能，将...重要 数据服务中自定义存储表映射到IoT孪生引擎的数据类型都是String，IoT孪生引擎会将该字符串转换成对应孪生节点的属性类型，如果转换失败则跳过。如何配置数据映射 添加数据源
函数总览
str_logtash_config_normalize 将Logstash配置语言转成JSON格式。str_translate 将字符串中的指定字符按照对应关系进行替换。str_strip 删除字符串中指定的字符。str_lstrip 删除字符串开头的指定字符。str_rstrip 删除字符串结尾的指定...
JSON_PARSE
将STRING类型转成JSON类型，非JSON格式的字符串转换会报错。命令格式 json json_parse()参数说明 string：必填，待处理的STRING字符串。返回值说明 返回JSON类型。使用示例 示例1：字符串转换为JSON类型。select json_parse('{"a":1,"b":2}...
Python 2 UDTF
说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...
字符串函数
原始日志 data:twish 加工规则 e_set("reverse_data",str_reverse(v("data")))加工结果 data:twish reverse_data:hsiwt str_logstash_config_normalize 将Logstash配置格式转成JSON格式。函数格式 str_logstash_config_normalize(value)...
CAST
注意其与json_parse和json_format的区别，json_parse只支持合法的JSON STRING转成JSON，而且可以转成JSON OBJECT，而cast(string as json)可以将任意STRING转成JSON STRING，JSON类型是STRING。cast(null as json)：将NULL值转换为JSON类型...
编码解码函数
Protobuf类型 protobuf_decoding 根据传入的Protobuf模板将数据解析成JSON格式。JSON Web Tokens（JWT）标准 jwt_encoding 基于JSON Web Token（JWT）标准，对JSON数据进行编码。jwt_decoding 基于JSON Web Token（JWT）标准，将数据解码为...
Python 2 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
JSON&JSONB 数据类型操作
JSON 类型几乎已成为互联网及物联网（IoT）的基础数据类型，AnalyticDB PostgreSQL 数据库对JSON数据类型做了完善的支持。并且 AnalyticDB PostgreSQL 6.0版 支持JSONB类型。这部分介绍对JSON&JSONB数据类型的操作，包括：JSON&JSONB的异同...
服务编排功能介绍
Python节点的返回参数 单击Python节点，在面板中勾选 设置输出结果，并使用JSON格式自定义输出结果的表达式。示例如下。{"return1":"$.data.rows.user_id","return2":"$.data.rows.user_name"} 常用获取参数的JSONPath表达式。JSONPath表达...
MongoDB数据源
整数类 INT和LONG 浮点类 DOUBLE 字符串类 STRING和ARRAY 日期时间类 DATE 布尔型 BOOL 二进制类 BYTES 数据类型示例1：Combine类型使用示例 MongoDB Reader插件的Combine数据类型支持将MongoDB document中的多个字段合并成一个JSON串。...
时空数据库版本发布记录
新增 ST_ImportObj 函数，支持导入obj数据格式转换为sfmesh数据类型。GeomGrid SQL 新增 ST_AsH3Grid 函数，支持将geometry类型转换为H3编码数组。新增 ST_GridDisk 函数，支持指定H3格网和距离k，返回所有距离小于等于k的H3格网。新增 ST_...
时空数据库版本发布记录
新增 ST_ImportObj 函数，支持导入obj数据格式转换为sfmesh数据类型。GeomGrid SQL 新增 ST_AsH3Grid 函数，支持将geometry类型转换为H3编码数组。新增 ST_GridDisk 函数，支持指定H3格网和距离k，返回所有距离小于等于k的H3格网。新增 ST_...
JSON函数和操作符
处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较操作符遵循jsonb索引中的B树操作概要的排序规则。json 和 jsonb 操作符 json->...
脚本和输出语法
脚本的解析能力包括获取消息内容、转换数据格式、处理字符串、组装JSON格式数据和处理二进制数据等。输出文件是使用固定的JSON数组格式，将设备上报数据或脚本解析后的数据，映射到数字孪生节点中。本文介绍如何编写脚本和输出文件。背景...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
SelectObject
子节点：None 父节点：CSV（输入、输出），JSON（输出）FieldDelimiter 字符串 指定CSV列分隔符，以Base64编码。默认值为,（可选）。未编码前的值必须为一个字符，以字符的ANSI值表示，例如在Java中使用,表示逗号。子节点：None 父节点：...
Logtail发布历史
修复解析任意含有content key的JSON后，原生JSON插件总是错误保留原始content字段的问题 修复原生分隔符插件的内存泄露问题 修复因检查点转储早于目录注册导致的日志重复问题 修复飞天日志无法解析带逗号时间格式的兼容性问题 原生解析失败...
消息队列Kafka
仅支持JSON格式的类型推导和schema变更，其它数据格式暂不支持。仅支持Kafka中value部分的类型推导和表结构变更。如果您需要同步Kafka key部分的列，则需要您手动在DDL中进行指定。详情请参见示例三。语法结构 CREATE TABLE KafkaTable(`...
内置函数
参数：string,string 返回值：[]string 使用示例：split("item1,item2,item3",",")输出示例：["item1","item2","item3"]toArray 介绍：用于将任意长度的入参转换成一个数组返回。参数：any 返回值：[]any 使用示例：toArray(1,'strig',$...
FROM_JSON
FROM_JSON 示例1：将指定JSON字符串以指定格式输出。命令示例如下。返回{a:1,b:0.8}。select from_json('{"a":1,"b":0.8}','a int,b double');返回{time:26/08/2015}。select from_json('{"time":"26/08/2015"}','time string');返回{a:1,b...
离线预测通用说明
输入数据格式 读MaxCompute表 输入表可以是一列或多列，其中一列为图像的URL或图像编码后的二进制数据经过Base64编码的数据，Type为STRING类型。Schema示例如下。Field|Type|Label|Comment|+-+|id|string|url|string|+-+读OSS文件 OSS输入...
配置DataWorks平台GDB Reader
本文为您介绍GDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。说明 GDB Reader仅支持使用 独享数据集成资源组 和 自定义资源组。开始配置GDB Reader插件前，请首先配置好数据源，详情请参见 配置Graph Database数据源。由于...
Entity
简介 用于承载数据的实体，是对二进制数据的封装。坐标：com.alibaba.bwif.script.core.Entity。结构说明 属性 类型 说明 blob byte[]原始的二进制数据。mimeType String 使用MIME Type区分不同格式，例如application/json、text/xml等。...
物模型数据解析使用示例
标识符（identifier）数据类型 取值范围 读写类型 prop_float 浮点单精度（float）-100~100 读写 prop_int16 整数型（int32）-100~100 读写 prop_bool 布尔型（bool）0：开；1：关 读写 数据解析脚本将根据这里定义的物模型来编写，用于...
特定结构化数据函数
XML xml_to_json 将xml数据转成JSON数据。json_select 根据JMES语法提取或计算JSON表达式中特定的值。函数格式 json_select(value,jmes,default=None,restrict=False)参数说明 参数 类型 是否必填 说明 value String、JSON 是 传入待提取...
提交物模型消息解析脚本
支持的脚本语言 设备自定义数据格式转Alink JSON格式数据的函数（上行通信）Alink JSON格式数据转为设备自定义数据格式的函数（下行通信）示例代码 JavaScript（ECMAScript 5）rawDataToProtocol protocolToRawData JavaScript脚本示例 ...
- 产品推荐
- 这些文档可能帮助您