什么是消息解析
物联网平台定义设备消息的标准数据格式为Alink JSON。对于低配置且资源受限或者对网络流量有要求的设备，不适合直接构造JSON数据与物联网平台通信，可将原数据透传到物联网平台。物联网平台提供消息解析功能，可以根据您提交的脚本，将消息...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
JSON函数
示例 SQL 从 Results 字段中获取 RawResultCount 字段的值，并将该值转换为bigint类型进行求和。字段样例 Results:[{"EndTime":1626314920},{"RawResultCount":1}]查询和分析语句*|SELECT sum(cast(json_extract_scalar(Results,'$.1....
半结构化分析
JSON/JSONB AnalyticDB PostgreSQL版 支持JSON数据格式。JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供...
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
查询和分析JSON日志的常见问题
然后使用json_extract函数提取 commodity 字段，将其转换为array(json)类型，再使用UNNEST语句将其展开，展开结果中的每一行代表一个商品。最后再进行分组求和。具体思路请参见示例1。and response:SUCCESS|SELECT item,count(1)AS cnt ...
JSON_PARSE
将STRING类型转成JSON类型，非JSON格式的字符串转换会报错。命令格式 json json_parse()参数说明 string：必填，待处理的STRING字符串。返回值说明 返回JSON类型。使用示例 示例1：字符串转换为JSON类型。select json_parse('{"a":1,"b":2}...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 JSON插件字段内容不是JSON格式，推送失败，请检查后重试。JSON插件 字段值不是JSON格式 7504 JSON插件字段内容对应key不存在，补充默认值。JSON插件 字段值JSON内容中不包含JSON...
快速预览
在 数据 页签中配设置的测试数据可以为KV格式或者JSON格式，其中KV格式数据使用英文冒号（:）连接字段名和字段值。样例1：包含2条测试数目，第1条是KV格式（包含1个跨行字段traceback），第2条是JSON格式。time_local:25/May/2020:01:56:22...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 json插件字段内容不是JSON格式，推送失败，请检查后重试。json插件 字段值不是JSON格式 7504 json插件字段内容对应key不存在，补充默认值。json插件 字段值json内容中不包含json...
数据类型
您在创建索引时，可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启...
脚本和输出语法
脚本的解析能力包括获取消息内容、转换数据格式、处理字符串、组装JSON格式数据和处理二进制数据等。输出文件是使用固定的JSON数组格式，将设备上报数据或脚本解析后的数据，映射到数字孪生节点中。本文介绍如何编写脚本和输出文件。背景...
接入指南
}</style><body><div id="brush"/></body>初始化组件 户型图的主要数据从orthomap.json中提取，具体获取方式查看前端引擎SDK中初始化获取orthomap.json的逻辑【3、初始化应用】，主要数据储存在vectorMap字段中。假设已经获取到orthomap....
物模型数据解析使用示例
本文以解析上、下行属性数据的脚本为例，介绍为数据格式为透传/自定义的产品下的物模型数据解析脚本编写方法。步骤一：编辑脚本 在 生活物联网平台，创建产品。创建产品操作指导，请参见 创建产品。说明 数据格式 选择为 透传/自定义。为该...
概述
数据服务中数据解析后数据格式为JSON格式。API数据：指通过开放接口 ImportDTData 来触发数据映射配置，实现数据到孪生体的映射。数据表：从自定义存储表回流至IoT孪生引擎的数据，表中字段固定，对应数据直接映射到孪生体的孪生节点中。...
脚本语法
时序数据存储规则的能力包括获取消息内容、转换数据格式、处理字符串、组装JSON格式数据、处理二进制数据等。本文介绍如何编写时序数据存储规则的脚本。背景信息 配置自定义Topic数据存储时，需添加对应的时序数据存储规则来编辑脚本，将...
JSON格式导入
所以当匹配到一个非基本类型时，Doris会将该类型转换为JSON格式的字符串，并以字符串类型进行导入，示例如下：JSON数据为：{"id":123,"city":{"name":"beijing","region":"haidian"}} JSON Path为["$.city"]。则匹配到的元素为：{"name":...
提交物模型消息解析脚本
本文以解析上、下行属性消息数据的脚本为例，介绍在数据格式为透传或自定义的产品下，如何编写并提交物模型消息解析脚本。前提条件 创建产品时已定义数据格式为 透传/自定义。具体操作，请参见 创建产品。背景信息 数据格式为 ICA标准数据...
脚本语法
脚本解析器的能力包括获取消息内容、转换数据格式、处理字符串、组装JSON格式数据、处理二进制数据和流转数据等。本文介绍如何编写解析脚本。背景信息 物联网平台是基于Topic中的数据格式来处理和传递数据的，数据格式的具体内容，请参见 ...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
概述
假设将1.2GB的数据以CSV、TSV或者LOG等格式存储在OSS中，通过DLA将CSV、TSV或者LOG格式转换为其他格式后，数据在OSS中所占用的存储空间如下表所示。存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据...
JSON
本文为您介绍JSON格式的使用方法和类型映射。背景信息 JSON 格式能基于JSON结构读写JSON数据。当前，JSON结构是从表结构自动推导而得的。支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库...
TO_JSON
将给定的复杂类型 expr，以JSON字符串格式输出。命令格式 string to_json()参数说明 expr：必填。说明 如果输入为STRUCT类型（struct,key2:value2）：转换为JSON字符串时，Key会全部转为小写。value 如果为NULL，则不输出 value 本组的数据...
JSON_VALID
检查字符串是否为合法的JSON格式。命令格式 boolean json_valid(<json>)参数说明 json：必填，待处理的JSON字符串。返回值说明 返回BOOLEAN类型的true或者false。使用示例 示例1：检查"abc"是否为合法的JSON格式字符串。select json_valid...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
MongoDB数据源
combine：使用MongoDB Reader插件读出数据时，支持合并MongoDB document中的多个字段为一个JSON串。splitter：因为MongoDB支持数组类型，但数据集成框架本身不支持数组类型，所以MongoDB读出来的数组类型，需要通过该分隔符合并成字符串。...
函数总览
e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。e_output 输出日志到指定的Logstore中，并可配置输出时的topic、source、tag和shard hash信息。输出后对应的日志不再执行后面的加工规则。e_coutput 输出...
云数据库的导入与导出
数据导出 您可以将数据库中的内容导出为JSON或者CSV格式的文件，导出结果中的每行数据都对应数据库中的一条记录。导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 默认导出全部内容，指定字段时仍会导出_id字段 ...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
特定结构化数据函数
原始日志 content:this is not json 加工规则 e_set("json",json_parse(v("content"),default="FFF",restrict=False))加工结果 content:this is not json json:FFF xml_to_json 将xml数据转成JSON数据。函数格式 xml_to_json(source)参数...
JSON索引
为降低处理半结构化数据的难度，提升查询效率，AnalyticDB for MySQL 提供了半结构化数据检索功能，即JSON索引。本文主要介绍如何创建JSON索引。JSON索引介绍 AnalyticDB for MySQL 支持创建JSON索引。通过为存储在JSON列中的数据创建JSON...
通过数据同步功能同步Kafka至湖仓版（推荐）
消息数据格式 Kafka消息数据格式，目前仅支持JSON。参数配置完成后，单击 创建。新建同步链路 在左侧导航栏，单击 数据同步。在右上角，单击 新建同步链路。在 新建同步链路 页面，进行数据源的 数据源及目标端配置、目标库表配置 及 同步...
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT ...
Control
添加控件 参数说明 name控件名称 value控件元对象 mode数据格式 可选项：json:json格式 xml:xml格式 调用样例-rpa.ui.ctrl.add-#注意事项：#通过捕捉控件捕捉的控件信息记录在工程文件的.ctrl.json文件中#此方法并不会向json新增控件信息，...
自定义开发组件蓝图说明
重要 每一个蓝图编辑器中的事件必须要和自定义组件中 events 字段中定义的事件保持一致，否则编辑器无法识别。在当前events字段中定义事件，自定义修改 event-name 事件名下的描述和value字段名下的描述。说明 事件名和字段名都可自定义多...
函数列表
函数返回最后一个字段的值，若最后一个字段不存在或值为空，则函数返回值为null。例如 data 中数据："items":{"Humidity":{"value":25,"time":1626948134319 } } 函数示例如下：getOrNull(data,"items")返回字段 items 值"Humidity":{...
添加静态JSON
本文档介绍在DataV中添加静态JSON文件的方法。前提条件 已准备好待添加的静态JSON文件。操作步骤 登录 DataV控制台。参见 创建可视化应用，创建一个可视化应用项目。单击应用画布中的一个组件，在右侧的配置面板中，单击 数据。在 数据 ...
数组和嵌套类型
例如Long类型+数组后，即为数组长整型，该字段中可以包括多个长整型数字，查询数据时其中任何一个匹配都可以返回该行数据。多元索引的基本类型数组格式请参见下表。数组类型 说明 Long Array 长整型的数组形式，格式为“[1000,4,5555]”。...
管理数据
本文为您介绍如何在数据填报中新增表单并对填报的数据进行管理。前提条件 已新建数据填报，请参见 新建数据填报。使用限制 表单的开发者和项目空间的管理员能够管理所有数据，填报的人只能管理自己填报的数据。没有被分享或只有公开链接的...
- 产品推荐
- 这些文档可能帮助您