半结构化分析
JSON/JSONB AnalyticDB PostgreSQL版 支持JSON数据格式。JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供...
什么是消息解析
背景信息 目前支持解析两类消息：自定义Topic上行消息：将设备通过自定义Topic上报给物联网平台云端的自定义格式数据Payload解析为JSON格式。上、下行物模型Topic的消息：将设备上报给物联网平台云端的自定义格式物模型数据解析为Alink ...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
JSON函数
示例 SQL 从 Results 字段中获取 RawResultCount 字段的值，并将该值转换为bigint类型进行求和。字段样例 Results:[{"EndTime":1626314920},{"RawResultCount":1}]查询和分析语句*|SELECT sum(cast(json_extract_scalar(Results,'$.1....
接入指南
}</style><body><div id="brush"/></body>初始化组件 户型图的主要数据从orthomap.json中提取，具体获取方式查看前端引擎SDK中初始化获取orthomap.json的逻辑【3、初始化应用】，主要数据储存在vectorMap字段中。假设已经获取到orthomap....
JSON
CREATE SCHEMA dla_oss_db with DBPROPERTIES(catalog='oss',location 'oss:/dlaossfile1/dla/')JSON文件必须满足以下条件，否则无法在DLA中为JSON文件创建表：无论JSON数据是否为嵌套格式，必须将一条完整的JSON数据放在一行中，否则无法...
查询和分析JSON日志的常见问题
request 字段 request 字段为JSON格式，设置为JSON类型，并开启统计功能。request.clientIp 字段需要经常分析，建议单独建立索引，设置为text类型，并开启统计功能。request.http.path 字段很少需要分析，可不用单独建立索引。在需要分析时...
JSON_PARSE
将STRING类型转成JSON类型，非JSON格式的字符串转换会报错。命令格式 json json_parse()参数说明 string：必填，待处理的STRING字符串。返回值说明 返回JSON类型。使用示例 示例1：字符串转换为JSON类型。select json_parse('{"a":1,"b":2}...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 JSON插件字段内容不是JSON格式，推送失败，请检查后重试。JSON插件 字段值不是JSON格式 7504 JSON插件字段内容对应key不存在，补充默认值。JSON插件 字段值JSON内容中不包含JSON...
脚本语法
重要 待处理的数据源必须转换为JSON格式数据，即数组或者嵌套的JSON数据。定义字段，然后筛选设备上报的字段数据，并赋值给定义的字段。定义字段标识符和数据类型的规则，请参见本文下方的“标识符”和“数据类型”。脚本文件中支持使用...
快速预览
说明 在 维表 页签中配设置的测试数据，如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式，如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式，也可以为JSON格式。样例：包含2条测试数据...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 json插件字段内容不是JSON格式，推送失败，请检查后重试。json插件 字段值不是JSON格式 7504 json插件字段内容对应key不存在，补充默认值。json插件 字段值json内容中不包含json...
物模型数据解析使用示例
例如转化后为 00002233441232013fa00000，则输入如下数据：0x00002233441232013fa00000 数据解析引擎会按照脚本规则，将透传数据转换为JSON格式数据。单击 运行结果，查看解析结果。{"method":"thing.event.property.post","id":"2241348",...
概述
数据服务中数据解析后数据格式为JSON格式。API数据：指通过开放接口 ImportDTData 来触发数据映射配置，实现数据到孪生体的映射。数据表：从自定义存储表回流至IoT孪生引擎的数据，表中字段固定，对应数据直接映射到孪生体的孪生节点中。...
脚本和输出语法
脚本文件 脚本文件名称默认为 transformScript.txt，脚本编写方法如下：在脚本文件中，通过payload函数，获取通过设备Topic上报、ImportDTData 接口中 Items.N.Params 上传或数据服务中数据解析后的数据，并按照JSON格式转换。var payload=...
数据类型
status=200 JSON类型 如果字段的值为JSON类型，您可在配置索引时，将字段的数据类型设置为JSON。针对JSON对象中的字段，您可根据其值，将数据类型设置为long、double或text，并开启统计功能。开启统计功能后，日志服务支持您查询和分析JSON...
函数列表
getOrNull(data,"items",.)返回JSON格式数据 data 中指定字段的值。该函数中传入的字段个数没有限制，但必须逐级传入。函数返回最后一个字段的值，若最后一个字段不存在或值为空，则函数返回值为null。例如 data 中数据："items":{...
提交物模型消息解析脚本
本文以解析上、下行属性消息数据的脚本为例，介绍在数据格式为透传或自定义的产品下，如何编写并提交物模型消息解析脚本。前提条件 创建产品时已定义数据格式为 透传/自定义。具体操作，请参见 创建产品。背景信息 数据格式为 ICA标准数据...
JSON格式导入
所以当匹配到一个非基本类型时，Doris会将该类型转换为JSON格式的字符串，并以字符串类型进行导入，示例如下：JSON数据为：{"id":123,"city":{"name":"beijing","region":"haidian"}} JSON Path为["$.city"]。则匹配到的元素为：{"name":...
概述
假设将1.2GB的数据以CSV、TSV或者LOG等格式存储在OSS中，通过DLA将CSV、TSV或者LOG格式转换为其他格式后，数据在OSS中所占用的存储空间如下表所示。存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据...
脚本语法
重要 解析处理的数据源必须转换为JSON格式数据，即数组或者嵌套的JSON数据。定义字段，然后获取payload中属性值，并赋值给该字段。定义字段标识符和数据类型的规则，请参见本文下方的“标识符”和“数据类型”。脚本文件中支持使用JSONPath...
JSON
本文为您介绍JSON格式的使用方法和类型映射。背景信息 JSON 格式能基于JSON结构读写JSON数据。当前，JSON结构是从表结构自动推导而得的。支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库...
配置API输出组件
多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被拼接数据源中配置的URL后。写入JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。...
配置API输出组件
多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被拼接数据源中配置的URL后。写入JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。...
JSON_VALID
检查字符串是否为合法的JSON格式。命令格式 boolean json_valid(<json>)参数说明 json：必填，待处理的JSON字符串。返回值说明 返回BOOLEAN类型的true或者false。使用示例 示例1：检查"abc"是否为合法的JSON格式字符串。select json_valid...
TO_JSON
说明 如果输入为STRUCT类型（struct,key2:value2）：转换为JSON字符串时，Key会全部转为小写。value 如果为NULL，则不输出 value 本组的数据。例如 value2 为NULL，则 key2:value2 不会输出到JSON字符串。返回值说明 返回JSON格式的字符串...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
函数总览
增值内容函数 e_threat_intelligence 获取日志字段中IP地址或域名的威胁情报信息并输出到指定字段。表达式函数 函数分类 函数名称 说明 事件检查函数 e_has 判断日志字段是否存在。e_not_has 判断日志字段是否不存在。e_search 提供一种...
自定义开发组件蓝图说明
添加交互动作 在自定义组件中实现蓝图编辑器中多个交互动作，以数字翻牌器组件的 显示 和 隐藏 动作为例。在使用开发者工具创建完成组件后，打开 package.json 文件。在 package.json 文件中搜索datav字段下的 publicHandler 字段。在当前 ...
数据类型转换
ENUM ENUM SET SET JSON 类型 MySQL 数据库 OceanBase 数据库 MySQL 租户 JSON 依赖于 OceanBase 数据库 MySQL 租户的版本：3.2.3 以下版本会转换为 TEXT，3.2.3 及以上版本会转换为 JSON。GIS 类型 重要 OceanBase 数据库 3.2.4 和 4.1.0 ...
Control
添加控件 参数说明 name控件名称 value控件元对象 mode数据格式 可选项：json:json格式 xml:xml格式 调用样例-rpa.ui.ctrl.add-#注意事项：#通过捕捉控件捕捉的控件信息记录在工程文件的.ctrl.json文件中#此方法并不会向json新增控件信息，...
管理数据
本文为您介绍如何在数据填报中新增表单并对填报的数据进行管理。前提条件 已新建数据填报，请参见 新建数据填报。使用限制 表单的开发者和项目空间的管理员能够管理所有数据，填报的人只能管理自己填报的数据。没有被分享或只有公开链接的...
JSON索引
为降低处理半结构化数据的难度，提升查询效率，AnalyticDB for MySQL 提供了半结构化数据检索功能，即JSON索引。本文主要介绍如何创建JSON索引。JSON索引介绍 AnalyticDB for MySQL 支持创建JSON索引。通过为存储在JSON列中的数据创建JSON...
如何使用蓝图编辑器自定义开发组件
本文档示例为开发者的自定义组件提供功能开发的参考，主要介绍三个蓝图编辑器内容的实现方法：事件触发、导入数据接口、添加交互动作。前提条件 本文需要操作使用桌面版开发工具，详情请参见开发工具使用说明中的 桌面版开发工具使用说明。...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
JSON索引（2.0版）
例如，以下示例中的 json_test 字段类型为JSON类型，建表成功后分析型数据库MySQL版自动为 json_test 列构建JSON索引。create tablegroup par2_group;CREATE TABLE json_tbl(id bigint COMMENT '',sid bigint COMMENT '',json_test json ...
特定结构化数据函数
本文介绍JSON和XML结构化数据函数的语法规则，包括参数解释、函数示例等。函数列表 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。json_parse 将值解析为JSON对象。XML xml_to_json 将xml数据转成JSON数据...
配置Kafka输入
数组所在位置路径 当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为...
云数据库的导入与导出
数据导出 您可以将数据库中的内容导出为JSON或者CSV格式的文件，导出结果中的每行数据都对应数据库中的一条记录。导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 默认导出全部内容，指定字段时仍会导出_id字段 ...
- 产品推荐
- 这些文档可能帮助您