概述
使用说明 数据映射由以下3部分组成：配置项 说明 数据源类型 数据源类型包含：Topic数据：设备自定义Topic、物模型属性上报Topic和数据服务中数据解析后的数据。数据源作为脚本文件或输出文件的输入数据，其中：自定义Topic数据是设备上报...
数据解析工作台说明
本文介绍数据解析工作台的导航栏、画布、操作栏功能。背景信息 您可以使用数据解析工作台，配置数据解析任务分析...说明 解析任务启动运行后，数据解析中的所有功能节点都不可再编辑。停止 停止当前数据解析任务。单击该图标后，可选择 帮助。
启动数据解析任务
数据解析任务配置完成后，您需启动任务。数据解析任务启动后，便可实时地处理数据，然后输出到目标Topic、IoT孪生引擎 或数据存储表，以进一步分析、处理和使用数据。本文介绍如何启动和查看数据解析任务。前提条件 已配置数据解析任务，...
如何平滑迁移域名解析至阿里云解析DNS
在48小时内DNS解析仍有可能向旧DNS厂商发起DNS查询，所以原DNS服务商中的解析记录数据不要马上删除，建议保留一周。在修改DNS服务器48小时内，如需做解析记录变更，请务必同时在新旧DNS服务商进行变更，以保持新旧DNS服务商的解析记录数据...
JSON_TUPLE
用于一个标准的JSON字符串中，按照输入的一组键(key1,key2,.)抽取各个键指定的字符串。命令格式 string json_tuple(string,string,string,.)参数说明 json：必填。STRING类型，标准的JSON格式字符串。key：必填。STRING类型，用于描述在...
非阿里云注册域名如何在云解析DNS设置解析？
重要 修改域名DNS服务器48小时内注意事项：遵守如下两点，修改域名DNS服务器不会影响解析生效：不变更解析记录：如果在DNS迁移生效过渡期期间做解析记录变更，请务必在新旧DNS服务商都同时做变更，保持新旧DNS服务商的解析记录数据一致。...
SDK简介
按应用语言 语言 文档 Java语言 通过OpenTelemetry上报Java应用数据 通过Jaeger上报Java应用数据 通过Zipkin上报Java应用数据 通过SkyWalking上报Java应用数据 Go应用 通过OpenTelemetry上报Go应用数据 Kitex接入可观测链路 OpenTelemetry ...
SDK简介
按应用语言 语言 文档 Java语言 通过OpenTelemetry上报Java应用数据 通过Jaeger上报Java应用数据 通过Zipkin上报Java应用数据 通过SkyWalking上报Java应用数据 Go应用 通过OpenTelemetry上报Go应用数据 Kitex接入可观测链路 OpenTelemetry ...
UDF示例：复杂数据类型
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过SkyWalking上报Go应用数据 通过Zipkin上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
准备工作概述
OpenTelemetry 版 通过Jaeger上报Go应用数据 通过Zipkin上报Go应用数据 通过SkyWalking上报Go应用数据 Python应用 通过OpenTelemetry上报Python应用数据 通过SkyWalking上报Python应用数据 通过Jaeger上报Python应用数据 Node.js应用 通过...
如何对JSON类型进行高效分析
传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在处理JSON数据时经常将原始JSON数据编码成二进制数据并存储到表的JSON类型列中，查询时使用JSON函数对整个JSON列数据进行实时解析与计算等。JSON作为半结构化数据...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
配置解析器
工作原理 在物联网平台配置云产品流转的数据解析器，实现数据源（设备消息）转发至数据目（另一个Topic、AMQP服务端或其他阿里云产品），实现设备与设备、设备与服务器、设备与阿里云产品的通信。前提条件 已添加数据源和数据目的，请参见...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
Flink Python参考
使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用JAR包 使用数据文件 使用自定义的Python虚拟环境 方式一：在DataFlow集群中的某个节点创建Python虚拟环境 在DataFlow集群的...
创建OSS外部表
CSV 以GZIP方式压缩的CSV TSV 以GZIP方式压缩的TSV 示例：通过内置文本数据解析器创建OSS外部表-非分区表 示例：通过内置文本数据解析器创建OSS外部表-分区表 示例：通过内置文本数据解析器创建OSS外部表-压缩数据 通过内置开源数据解析器...
什么是Databricks数据洞察
DataFrames是被列化了的分布式数据集合，概念上与关系型数据库的表近似，也可以看做是R或Python中的data frame。Spark Streaming 实时数据处理和分析，可以用写批处理作业的方式写流式作业。支持Java、Scala和Python语言。MLlib 可扩展的...
Android SDK开发指南
服务API/*通过自动感知当前网络环境（IPV4-only、IPV6-only、IPV4和IPV6双栈）获取该域名的解析数据*如果缓存中存在解析结果且缓存没过期则将缓存里的解析结果返回给用户*如果缓存没有或缓存过期则先通过同步网络请求向服务端获取域名的...
物模型数据解析使用示例
本文以解析上、下行属性数据的脚本为例，介绍为数据格式为透传/自定义的产品下的物模型数据解析脚本编写方法。步骤一：编辑脚本 在 生活物联网平台，创建产品。创建产品操作指导，请参见 创建产品。说明 数据格式 选择为 透传/自定义。为该...
配置目标节点
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
创建数据解析任务
后续步骤 创建数据解析任务后，在数据解析列表下，找到创建的数据解析，单击 查看，您可进入数据解析工作台，配置数据解析任务。具体操作，请参见 配置数据解析。配置解析任务前，请先了解数据解析工作台功能，更多信息，请参见 数据解析...
UDTF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
2023-07-31
数据解析脚本支持Python和PHP 数据服务的数据解析功能在配置自定义节点的解析脚本时，新增支持Python 2.7和PHP 7.2两种语言版本。数据解析支持数据透传模式 数据服务的数据解析功能支持数据透传模式，选择数据透传后，可以仅做数据格式转换...
mysqlclient 连接 OceanBase 数据库
db.py 代码介绍 db.py 文件是一个 Python 语言编写的封装数据库操作的模块，主要用于实现数据库的增删改查操作。该文件中主要包括以下几个部分：导入 MySQLdb 模块和导入数据库连接参数。代码如下：import MySQLdb from config import ...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。Python 3 ...
网络连通解决方案
DNS无法正常解析数据源链接地址中的域名，请确认可以正常解析域名访问。数据源所在的网络防火墙禁止Dataphin访问，请添加Dataphin的IP地址（VPC网络下Dataphin的出网IP地址、公网下Dataphin的出网IP地址）至数据源的白名单列表中。添加...
连接方式概述
本节主要介绍 连接和访问 OceanBase 数据库 MySQL 模式租户的方法。当前主要支持通过客户端、驱动或 ORM 框架连接到 OceanBase 数据库。客户端 在连接 OceanBase 数据库的 MySQL 租户时，支持的客户端如下：MySQL 客户端 MySQL 数据库的...
什么是消息解析
数据解析流程图：设备上报透传格式的属性或事件（上行数据）全流程图：调用设备服务或设置属性（下行数据）全流程图：物模型数据解析脚本编写示例，请参见：提交物模型消息解析脚本 JavaScript脚本示例 Python脚本示例 PHP脚本示例 若您的...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
概述
文本搜索解析器和模板是从低层 C 函数构建而来，因此它要求 C 编程能力来开发新的解析器和模板，并且还需要超级用户权限来把它们安装到一个数据库中（在本数据库中发布的 contrib/区域中有一些附加的解析器和模板的例子）。由于词典和配置...
手工触发同步
概述 手动触发同步：可以实现辅助DNS主动...注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 控制台 点击 连接主DNS 按钮
手动触发同步
注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 云解析DNS产品控制台。左侧导航栏选择 辅助DNS 菜单，再选择 内网域名...
加工数据
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
云产品流转概述
数据转发到云数据库RDS Tablestore 数据转发到表格存储（Tablestore）宽表模型 数据转发到表格存储（Tablestore）时序模型 TSDB 数据转发到时序数据库（TSDB）Lindorm 将设备数据转发到云产品中进行存储。数据转发到云原生多模数据库...
- 产品推荐
- 这些文档可能帮助您