JSON_TUPLE
STRING类型，用于描述在JSON中的 path，一次可输入多个，不能以美元符号（$）开头。MaxCompute支持用.或['']这两种字符解析JSON，当JSON的Key本身包含.时，可以用['']来替代。返回值说明 返回STRING类型。说明 如果JSON为空或者为非法的...
启动数据解析任务
数据解析任务配置完成后，您需启动任务。数据解析任务启动后，便可实时地处理数据，然后输出到目标Topic、IoT孪生引擎 或数据存储表，以进一步分析、处理和使用数据。本文介绍如何启动和查看数据解析任务。前提条件 已配置数据解析任务，...
如何平滑迁移域名解析至阿里云解析DNS
在48小时内DNS解析仍有可能向旧DNS厂商发起DNS查询，所以原DNS服务商中的解析记录数据不要马上删除，建议保留一周。在修改DNS服务器48小时内，如需做解析记录变更，请务必同时在新旧DNS服务商进行变更，以保持新旧DNS服务商的解析记录数据...
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
日期
间距 12 数据 绑定实体字段 放置到绑定数据表的DATA数据容器中 日期组件需要配置数据源。通常将其绑定数据实体的一个字段，字段类型需为 DATETIME。关于 此部分属性的更多信息，请 参见 数据。事件 内容变化事件 日期组件中时间发生变化时...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
管理数据
通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。应用场景 企业中有较多的数据资产，分别属于不同的部门，需要按部门划分资产以便数据管理员...
2021年
30 全部地域 MaxCompute湖仓一体 MaxCompute支持渐进式计算 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的...
全文检索
人们通常选择数据库或数据仓库存储文本数据，但是将文本数据中有价值的信息提取出来并进行高效分析，往往需要涉及多个数据处理系统配合来实现，用户的使用门槛通常较高、维护成本较大。通常在使用数据仓库进行文本数据的加工和分析时，离不...
Logtail发布历史
修复ProcessorParseDelimiterNative解析携带下一行数据的问题 修复在反压情况下可能出现的文件无法读完的问题 修复plugin_export panic导致插件崩溃的问题 修复解析Apsara格式日志导致的崩溃问题 修复解析Apsara格式日志解析数据黏连问题 1...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
OSS数据源
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性的直接上传到OSS。但是这些存储在OSS的文件缺少元数据管理，导致难以分析和计算。元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张...
功能更新动态（2024年）
通过表映射创建离线视图 通过SQL加工创建离线视图 通过表单加工创建离线视图 标签资产市场概述 创建及管理标签离线服务任务 分析平台 Notebook和SQL查询支持访问MySQL、Oracle数据库中的数据；支持运行SQL脚本。SQL查询概述 Notebook概述 ...
文档更新动态（2024年）
通过SQL加工创建离线视图 通过表单加工创建离线视图 标签资产市场概述 创建及管理标签离线服务任务 分析平台-基于分析平台创建SQL查询/基于分析平台创建NoteBook Notebook和SQL查询支持访问MySQL、Oracle数据库中的数据；支持运行SQL脚本。...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
物模型数据解析使用示例
说明 平台会自动生成数据解析脚本的草稿，可以自行定义脚本中的函数。目前支持三种脚本语言：JavaScript（ECMAScript 5）、Python 2.7和PHP 7.2。脚本中需定义调用以下两个函数，分别用于解析上、下行物模型数据。将Alink JSON格式数据转为...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
概述
目前冷数据归档功能支持将分区表中的部分数据以OSS外表的形式归档至OSS，同时也支持将分区表中的部分分区直接转存至OSS。归档后的数据格式会转变为CSV或ORC格式并分成多个文件存储在OSS上，PolarStore中的这部分数据会被自动删除，存储费用...
数据方案概览
DMS的数据方案提供数据变更、数据导出、数据追踪、环境构建的功能，通过本文您可以了解数据方案的各项功能详情。一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计，保障多套环境（例如开发环境...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
数据解析工作台说明
本文介绍数据解析工作台的导航栏、画布、操作栏功能。背景信息 您可以使用数据解析工作台，配置数据解析任务分析处理接入数据服务的数据源。更多信息，请参见 使用说明。进入数据解析工作台 在 物联网平台控制台 的 实例概览 页面，单击...
提交物模型消息解析脚本
说明 本示例中的属性为默认模块属性，若使用自定义模块，标识符（identifier）的格式为${模块标识符}:${属性标识符}。例如，model1:prop_int16。步骤一：编辑脚本 创建产品：在 物联网平台控制台，创建产品，数据格式 选择为 透传/自定义。...
脚本和输出语法
或mapping配置源数据解析中payload的key1","iotId":"孪生节点id1","identifier":"孪生节点物模型的标识符1","name":"孪生节点id1对应的孪生节点名称"},{"key":"脚本输出中的key2；或mapping配置源Topic中payload的key2；或mapping配置源API...
配置数据计算和数据过滤
完成数据解析的源节点配置后，您可根据源节点的数据，配置字段和表达式，添加数据过滤的筛选器。通过解析生成多样化的数据，可用于后续分析或输出。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请...
多选框
图表样式 多选框是高级控件组件的一种，可以作为多选表单在可视化应用中使用，将用户选择的数据提交到后端进行处理。或者通过交互配置，在其他组件上显示用户选择的内容。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
添加宜搭数据源
在宜搭应用的 应用设置 中的 应用数据 页签获取应用编码，如下图所示。应用密钥（必填）宜搭应用平台中已创建表单的应用密钥。在宜搭应用的 应用设置 中的 应用数据 页签获取应用密钥，如下图所示。表单ID（非必填）宜搭应用平台中已创建...
Excel导入
批量提交按钮会触发文件上传，并按Excel导入组件数据源对应实体字段解析上传的文件，将文件中的每一条数据添加到数据库中的对应实体表中。属性配置 Excel导入组件属性由以下部分组成：分类 参数 示例 说明 样式 宽度 Excel导入组件 宽度、...
添加宜搭数据源
在宜搭应用的 应用设置 中的 应用数据 页签获取应用编码，如下图所示。应用密钥（必填）宜搭应用平台中已创建表单的应用密钥。在宜搭应用的 应用设置 中的 应用数据 页签获取应用密钥，如下图所示。表单ID（非必填）宜搭应用平台中已创建...
云产品流转概述
例如在一个解析器中，可以配置多个Topic作为数据源，通过脚本加工后流转到其他Topic或云产品中。支持流转的数据目的如下：数据目的 说明 相关文档 Topic 将数据转发到另一个设备的Topic中，实现设备间的M2M通信 数据转发到其他Topic AMQP...
概述
使用说明 数据映射由以下3部分组成：配置项 说明 数据源类型 数据源类型包含：Topic数据：设备自定义Topic、物模型属性上报Topic和数据服务中数据解析后的数据。数据源作为脚本文件或输出文件的输入数据，其中：自定义Topic数据是设备上报...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
创建数据解析任务
后续步骤 创建数据解析任务后，在数据解析列表下，找到创建的数据解析，单击 查看，您可进入数据解析工作台，配置数据解析任务。具体操作，请参见 配置数据解析。配置解析任务前，请先了解数据解析工作台功能，更多信息，请参见 数据解析...
什么是PrivateZone
系统架构 云解析PrivateZone是由管控层和解析层两部分组成：管控层：管控层通过控制台和OpenAPI对外提供服务，主要实现了域名解析数据、配置数据、日志数据等的增删改查功能和存储功能。管控层位于【中国内地-华北3（张家口）】。解析层：...
解析请求来源分析
概述 当您将域名迁移至阿里云解析DNS时，您可以通过解析请求来源分析功能来观察大致哪些地域的解析请求已经在逐步接入阿里云解析公网权威DNS，对于一些没有流量的地域运营商，可能是当地运营商DNS的缓存依然未失效，导致当地网络解析请求...
数据转发到云原生多模数据库Lindorm
您可以配置数据流转的解析规则，将处理过的数据转发到云原生多模数据库Lindorm中。本文以物模型数据上报Topic为例，介绍流转消息数据的完整流程。前提条件 已创建数据源 DataSource，并添加 物模型数据上报 Topic。具体步骤，请参见 添加待...
批量操作
1~1000条/次 每次最多可以导入1000条解析记录，超出部分不会导入。2MB/次 每次导入文件大小不能超过2MB.批量删除解析记录 1~100条 使用批量管理记录功能时，每次可以批量删除的记录数量。批量暂停/启用解析记录 1~100条 使用批量管理记录...
- 产品推荐
- 这些文档可能帮助您