数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
创建数据解析任务
后续步骤 创建数据解析任务后，在数据解析列表下，找到创建的数据解析，单击 查看，您可进入数据解析工作台，配置数据解析任务。具体操作，请参见 配置数据解析。配置解析任务前，请先了解数据解析工作台功能，更多信息，请参见 数据解析...
启动数据解析任务
数据解析任务配置完成后，您需启动任务。数据解析任务启动后，便可实时地处理数据，然后输出到目标Topic、IoT孪生引擎 或数据存储表，以进一步分析、处理和使用数据。本文介绍如何启动和查看数据解析任务。前提条件 已配置数据解析任务，...
数据处理
数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、ORC等多种数据格式的解析）。在 数据解析器 页面，选择导入数据对应的 解析器、分离、列标题 和 选项。单击 解析 以生成...
数据解析工作台说明
本文介绍数据解析工作台的导航栏、画布、操作栏功能。背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击...
2023-07-31
数据解析控制台体验优化 数据服务的数据解析功能大幅优化控制台体验，并新增数据解析日志查询和细化错误提示，提升数据解析任务配置效率。数据解析脚本支持Python和PHP 数据服务的数据解析功能在配置自定义节点的解析脚本时，新增支持...
配置目标节点
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
概述
数据源为数据服务中数据解析后的数据：数据解析任务可以对设备原始数据进行一些更复杂的加工计算，具体操作，请参见 数据解析。如需加工计算设备原始数据，可以先将设备数据转入到数据分析任务中进行更复杂的处理，并将数据解析的目标节点...
配置数据计算和数据过滤
完成数据解析的源节点配置后，您可根据源节点的数据，配置字段和表达式，添加数据过滤的筛选器。通过解析生成多样化的数据，可用于后续分析或输出。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请...
数据接入概述
物联网数据服务的数据解析、数据存储、数据指标等功能都需依赖已接入的数据源。设备数据源 设备数据源包含了设备上报的自定义Topic数据和物模型数据。默认情况下设备数据仅保留30天，通过配置数据源，可对数据进行备份，以便更长时间地存储...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
物模型数据解析使用示例
本文以解析上、下行属性数据的脚本为例，介绍为数据格式为透传/自定义的产品下的物模型数据解析脚本编写方法。步骤一：编辑脚本 在 生活物联网平台，创建产品。创建产品操作指导，请参见 创建产品。说明 数据格式 选择为 透传/自定义。为该...
配置产品和设备
设备通过DTU接入物联网平台前，您需要在物联网平台上依次完成以下操作：创建数据格式为透传/自定义的产品、创建设备、获取设备证书信息、定义物模型、编辑并提交数据解析脚本。创建产品和设备 在物联网平台创建产品和设备，获取设备证书...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
添加数据映射
数据解析的 目标节点 为当前IoT孪生空间时，才可将数据解析的输出数据设置为数据源。具体内容，请参见 配置目标节点。API：选择API数据源的产品和设备，通过调用 ImportDTData 接口触发数据映射的脚本和输出文件执行。数据表：选择当前实例...
计算引擎版本说明
1.3.0 新特性 新增数据类型转化函数，支持将HBase编码的BINARY类型的数据解析为真实数据类型（例如INT、LONG等）。详细介绍，请参见 访问增强版HBase数据。功能优化 宽表引擎（数据源）支持访问已完成HBase类型映射的表。详细介绍，请参见 ...
提交消息解析脚本
本文介绍如何在物联网平台控制台提交消息解析脚本实现自定义格式数据解析。使用与限制 仅通过MQTT协议接入的设备支持自定义Topic消息解析。仅解析设备上报物联网平台云端的消息数据，不解析云端下行数据。解析上报消息的Payload，并返回...
提交物模型消息解析脚本
{"method":"thing.service.property.set","id":"12345","version":"1.0","params":{"prop_float":123.452,"prop_int16":333,"prop_bool":1 } } 数据解析引擎会将JSON格式数据转换为以下数据：0x0100003039014d0142f6e76d 模拟解析设备返回...
读取OSS数据
recordid|patientid|direction|+-+-+-+|1|51|S|3|48|NE|4|30|W|5|47|S|7|53|N|8|63|SW|10|31|N|+-+-+-+示例：读取OSS数据-分区表（内置文本数据解析器）基于 示例：通过内置文本数据解析器创建OSS外部表-分区表 中创建的OSS外部表mc_oss_...
产品功能
数据解析 GDB Automl将导入和上传的数据进行自动解析，您可以自动配置解析数据源和解析器（支持CSV、ARFF、XLS、ORC等多种数据格式的解析），解析后可查看数据的样本量，并查看样本特征摘要，解析特征分布情况。数据切分 支持按照自定义...
配置解析器
工作原理 在物联网平台配置云产品流转的数据解析器，实现数据源（设备消息）转发至数据目（另一个Topic、AMQP服务端或其他阿里云产品），实现设备与设备、设备与服务器、设备与阿里云产品的通信。前提条件 已添加数据源和数据目的，请参见...
查询非结构化数据
说明 您可以根据需要选择Extractor、StorageHandler或Outputer类型：Extractor：自定义输入数据解析器，用来实现自定义处理数据读取的逻辑，即如何读取非结构化数据。StorageHandler：用于指定和配置自定义Extractor和Outputer的实现类。...
JSON_TUPLE
支持包含中文的JSON数据解析。支持多层嵌套的JSON数据解析。支持包含多重嵌套的数组的JSON数据解析。解析行为和设置了 set odps.sql.udf.getjsonobj.new=true;后的GET_JSON_OBJECT的行为保持一致。在需要对同一个JSON字符串多次解析的情况...
创建OSS外部表
CSV 以GZIP方式压缩的CSV TSV 以GZIP方式压缩的TSV 示例：通过内置文本数据解析器创建OSS外部表-非分区表 示例：通过内置文本数据解析器创建OSS外部表-分区表 示例：通过内置文本数据解析器创建OSS外部表-压缩数据 通过内置开源数据解析器...
解析记录备份
概述 解析记录备份 可帮助用户实现DNS解析记录的定时备份、并支持平滑一键恢复到至指定备份版本，可以有效防止因解析记录丢失而造成的业务影响。产品限制 解析记录备份是云解析DNS付费版功能，版本限制如下 版本 解析记录备份功能 定时备份...
JSON与XML解析库
请求参数 参数 必选 类型 说明 property_value 是 string JSON 格式数据 property_type 是 int 解析类型，0 表示 JSON，1 表示 XML 返回值 参数 必选 类型 说明 result 是 uint 处理 JSON 数据解析的标识符 property_destroy 删除 JSON 与 ...
手工触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
手动触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
Kafka实时入湖建仓分析
数据解析配置 的参数说明如下：参数名称 参数说明 消息数据格式 Kafka的Value字段的数据存储格式，固定为JSON。Schema设置模式 默认为 手动设置，会从Kafka的Topic获取一条样例数据进行Schema的推断设置。消息样例数据 通过调整样例数据对...
系统架构
系统架构 系统组成 内网DNS解析（PrivateZone）是由管控层和解析层两部分组成：管控层：管控层通过控制台和OpenAPI对外提供服务，主要实现了域名解析数据、配置数据、日志数据等的增删改查功能和存储功能。管控层位于【中国内地-华北3...
云解析DNS
管控层位于【中国内地-华北3（张家口）】解析层：解析层通过部署在全球范围内的解析服务器集群对外提供服务，解析层接收来自于管控层分发的域名解析记录数据，主要实现了对域名解析记录数据的查询请求进行应答的功能。解析层在全球主要大洲...
手动触发同步
说明 辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。设置方法 登录 云解析DNS产品控制台。单击左侧导航栏的 辅助DNS 按钮进入辅助DNS页面...
导入/导出记录
导入记录 导入记录：指将准备好的解析数据，导入到云解析DNS控制台中。规则说明 导入记录分为 增量更新 和 全量更新。增量更新：是指在进行导入操作时，已有的解析记录保持不变，然后添加新增的解析记录。全量更新：是指在进行导入操作时，...
Delta Lake概述
在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在如下问题：数据导入可能会失败，失败后清理脏数据和恢复作业困难。方案中没有ETL（Extract Transform Load）过程，缺少必要的数据质量监管。方案中没有事务...
产品到期规则说明
如存在请通过修改解析记录将“主机记录”调整为5级或以内 解析线路 解析线路设置是否超出免费版提供的线路范围 免费版解析线路包含：默认、境外、联通、移动、电信、教育网，如解析线路超出免费版范围，请统一调整为免费版支持的解析线路或...
删除记录
建议删除记录前，通过 导入/导出 功能将解析数据导出，做好备份工作。设置方法 登录 云解析DNS控制台。进入 域名解析 页面，在 权威域名 页签下，单击目标域名处的 解析设置 按钮。在 解析设置 页面，单击目标解析记录处的 删除 按钮，弹出...
影响域名解析生效的原因
概述 影响域名解析不生效的主要原因：域名状态异常 域名过期 修改域名DNS服务器 修改过解析记录 原因一：域名状态异常 域名状态异常会直接影响域名解析生效。可以使用 whois工具 排查域名状态信息，如果域名状态如果显示为“serverHold”、...
Kafka集群的数据存储格式
您需要根据DTS Avro的schema定义进行数据解析，schema定义详情请参见迁移或同步至Kafka集群中的数据均 DTS Avro的schema定义。说明 DTS Avro格式中的DDL语句为String类型。Shareplex Json 表 1.参数说明 参数 说明 time 数据库中事务的提交...
Kafka集群的数据存储格式
您需要根据DTS Avro的schema定义进行数据解析，schema定义详情请参见迁移或同步至Kafka集群中的数据均 DTS Avro的schema定义。说明 DTS Avro格式中的DDL语句为String类型。Shareplex Json 表 1.参数说明 参数 说明 time 数据库中事务的提交...
如何平滑迁移域名解析至阿里云解析DNS
概述 若您的域名解析当前托管在其他DNS厂商，想要迁移至阿里云解析DNS进行管理。本文将向您介绍如何平滑地将域名解析迁移至阿里云解析DNS，避免您的业务因解析中断而受影响。准备工作 域名如有配置DNSSEC，请先到域名注册商处删除DS记录，...
- 产品推荐
- 这些文档可能帮助您