使用Topic通信
如果设备的消息格式不是 Alink JSON，必须使用 消息解析 将设备上报的 自定义格式 数据解析为 Alink JSON 格式，将物联网平台下发的 Alink JSON 格式数据解析为设备 自定义格式 的数据。消息解析的概念和使用步骤，请参见 什么是消息解析。...
表达式函数概览
本文列举数据加工任务所涉及的表达式函数。函数分类 函数名称 说明 事件检查函数 e_has 判断日志字段是否存在。e_not_has 判断日志字段是否不存在。e_search 提供一种简化，类似Lucene语法的日志搜索方式。e_match、e_match_all、e_match_...
JSON_OBJECT
生成JSON OBJECT，要求key和value成对出现。...返回结果：+-+|_c0|+-+|{"a":123,"b":"hello"}|+-+相关函数 JSON_OBJECT函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。
Doc
数组为空数组：‘ERR array index outflow’。其它情况返回相应的异常信息。示例 提前执行 JSON.SET doc.'{"id":[1,2,3]}' 命令。命令示例：JSON.ARRINSERT doc.id 0 10 15 返回示例：(integer)5 JSON.ARRLEN 类别 说明 语法 JSON.ARRLEN ...
JSON_EXISTS
命令格式 boolean json_exists(<json>,<json_path>)参数说明 json：必填，待处理的JSON。json_path：必填，需要返回的值的JSON路径。说明 当json_path非法时会报错，当模式为strict时，如果结构不一致不会报错，返回false。返回值说明 返回...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
UDAF和UDTF动态参数说明
因为这里给出了三个返回值，所以UDTF在调用 forward 时，必须 forward 长度为3的数组，否则会出现运行时报错。说明 这种错误无法在编译时报出，因此UDTF的调用者在SQL中设置alias个数时，必须遵循该UDTF定义的规则。由于聚合函数的返回值...
脚本和输出语法
输出文件是使用固定的JSON数组格式，将设备上报数据或脚本解析后的数据，映射到数字孪生节点中。本文介绍如何编写脚本和输出文件。背景信息 孪生体中支持添加数据源类型如下：类型 说明 Topic数据 自定义Topic和物模型属性上报Topic：物...
使用ROS模板选择和设置对象
资源编排支持通过新增对象数组、元素数组和参数对象对JSON数据进行扩展，增强JSON对象的校验逻辑。对象数组 对象数组为单一对象，数组元素支持所有的ROS模板参数类型。模板示例 ROSTemplateFormatVersion:'2015-09-01' Parameters:...
区域下钻热力层（v1.x版本）
区域下钻热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括下钻区域的标注、边线、鼠标交互事件以及位置信息等，可直接作为省或直辖市级、地市级区域热力层使用。本文介绍区域下钻热力层各配置项的含义。重要 当前为v1....
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请...
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。...
数据格式描述文件
键 格式 描述 是否必须 dimensions JSON数组 数据包含的维度。每个维度可以只是个字符串，或者可以额外指明维度的属性。例如“dimensions”:[“dimenssion1”,“dimenssion2”,“{“type”:“long”,“name”:“dimenssion3”}]，默认是...
字段值提取函数
exclude_path="",jmes="",output="",jmes_ignore_none=False,mode='fill-auto')说明 使用e_json解析目标数据，如果需要解析的字符串不符合JSON数据结构，则不会进行字符串解析，而返回原字符串。参数说明 参数名称 参数类型 是否必填 说明 ...
TO_JSON
将给定的复杂类型 expr，以JSON字符串格式输出。命令格式 string to_json()参数说明 expr：必填。说明 如果输入为STRUCT类型（struct,key2:value2）：转换为JSON字符串时，Key会全部转为小写。value 如果为NULL，则不输出 value 本组的数据...
区域下钻热力层（v2.x版本）
当自定义区域数据请求失败时 自定义区域数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页...
JSON函数
字段样例 time:["time_local","request_time","upstream_response_time"]查询和分析语句*|SELECT json_array_length(time)查询和分析结果 json_extract函数 json_extract函数用于从JSON对象或JSON数组中提取一组JSON值（数组或对象）。...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
Delta Lake 快速开始一
该Notebook展示了如何将JSON数据转换为Delta Lake格式，创建Delta表，在Delta表中Append数据，最后使用Delta Lake元数据命令来显示表的历史记录、格式和详细信息。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请...
配置产品和设备
设备通过DTU接入物联网平台前，您需要在物联网平台上依次完成以下操作：创建数据格式为透传/自定义的产品、创建设备、获取设备证书信息、定义物模型、编辑并提交数据解析脚本。创建产品和设备 在物联网平台创建产品和设备，获取设备证书...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
SQL表达式
创建数据流转规则时，需编写SQL来解析和处理设备上报的JSON数据。二进制格式的数据不做解析，直接透传。本文主要介绍如何编写数据流转规则的SQL表达式。SQL表达式 重要 若物模型标识符以数字开头，不支持使用SQL表达式访问该物模型，即旧版...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
Delta Lake 快速入门
此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也...
JMES语法
e_set("key",json_select(v("json_data"),"length(a)"))#获取数组a的长度，若length(a)>0,设置no-empty字段为true。e_if(json_select(v("json_data"),"length(a)",default=0),e_set("no-empty",true))加工结果 json_data:{"a":["b","c","d...
支持的文件格式
JSON:org.apache.hive.hcatalog.data.JsonSerDe CREATE external TABLE json_table_1(docid string,user_1 struct,username:string,name:string,shippingaddress:struct,address2:string,city:string,state:string>,orders:array,...
配置模板（公有云）
系统会对 JSON 配置文件进行解析，并将其定位到对应的监控项类型。在对应的监控项列表中，勾选要导入的监控项，点击 导入 并确认即可。导入的监控项将展示在对应类型的监控项列表中。您可前往 应用监控 或 自定义监控 查看导入的监控项配置...
解析记录备份
概述 解析记录备份 可帮助用户实现DNS解析记录的定时备份、并支持平滑一键恢复到至指定备份版本，可以有效防止因解析记录丢失而造成的业务影响。产品限制 解析记录备份是云解析DNS付费版功能，版本限制如下 版本 解析记录备份功能 定时备份...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。在MongoDB上准备测试数据 ...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用...
手动触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
手工触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
系统架构
系统架构 系统组成 内网DNS解析（PrivateZone）是由管控层和解析层两部分组成：管控层：管控层通过控制台和OpenAPI对外提供服务，主要实现了域名解析数据、配置数据、日志数据等的增删改查功能和存储功能。管控层位于【中国内地-华北3...
云解析DNS
管控层位于【中国内地-华北3（张家口）】解析层：解析层通过部署在全球范围内的解析服务器集群对外提供服务，解析层接收来自于管控层分发的域名解析记录数据，主要实现了对域名解析记录数据的查询请求进行应答的功能。解析层在全球主要大洲...
复杂JSON数据加工
多层数组对象嵌套的复杂JSON数据加工 以一个复杂的保护多层数组嵌套的对象为示例，将 users 下的每个对象中的 login_histories 的每个登录信息都拆成一个登录事件。原始日志_source_:192.0.2.1_topic_:content:{"users":[{"name":"user1",...
概述
使用说明 数据映射由以下3部分组成：配置项 说明 数据源类型 数据源类型包含：Topic数据：设备自定义Topic、物模型属性上报Topic和数据服务中数据解析后的数据。数据源作为脚本文件或输出文件的输入数据，其中：自定义Topic数据是设备上报...
JSON_EXTRACT
解析JSON表达式中对应json_path的数据，注意json_path非法时会报错。命令格式 json json_extract(<json>,<json_path>)参数说明 json：必填，待处理的JSON。json_path：必填，需要返回的值的JSON路径。返回值说明 返回JSON类型。使用示例 ...
导入/导出记录
导入记录 导入记录：指将准备好的解析数据，导入到云解析DNS控制台中。规则说明 导入记录分为 增量更新 和 全量更新。增量更新：是指在进行导入操作时，已有的解析记录保持不变，然后添加新增的解析记录。全量更新：是指在进行导入操作时，...
解析请求来源分析
概述 当您将域名迁移至阿里云解析DNS时，您可以通过解析请求来源分析功能来观察大致哪些地域的解析请求已经在逐步接入阿里云解析公网权威DNS，对于一些没有流量的地域运营商，可能是当地运营商DNS的缓存依然未失效，导致当地网络解析请求...
- 产品推荐
- 这些文档可能帮助您