创建数据源
JSON 数据：无需手动输入，系统会根据所选的 文件模板 自动匹配 JSON 数据。文件编码：文件编码类型，支持 UTF-8 和 GBK。文件协议：文件协议定义了文件的解析方式，目前支持 SP、DE 和 FUND 三种类型。详情请参见下表。协议类型 说明 适用...
文件分析
格式：strip_outer_array:true json_root 当导入数据格式为JSON时，可以通过 json_root 指定JSON数据的根节点。SelectDB将通过 json_root 抽取根节点的元素进行解析。默认为空。格式：json_root:$.RECORDS path_partition_keys 指定文件...
API调用节点说明
当返回是个json object，例如返回数据为{"a":1,"b":"cc"}，后方节点获取其中的数据a的表达式为${svcVars.Api_xxx.response.a} 当返回是个json array，例如返回数据为[{"a":1},{"a":3,"b":"cc"}]，后方节点获取其中的第一条数据a的表达式为$...
2023年
2023-08-01 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）按量付费闲时版 2023-06 功能名称 功能描述 发布时间 发布地域 相关文档 新增JSON数据类型 新增JSON数据类型，MaxCompute支持写入...
JSON数据列展开
JSON数据的展开方式灵活多变，本文通过详细的SQL示例，介绍如何展开JSON数据列。基本思路 使用 JSON函数，对JSON字符串进行解析和数据提取；提取、转换为ARRAY或者MAP的数据结构，也可以使用Lambda函数式表达式进行转换处理；使用UNNEST...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
SQL表达式
创建数据流转规则时，需编写SQL来解析和处理设备上报的JSON数据。二进制格式的数据不做解析，直接透传。本文主要介绍如何编写数据流转规则的SQL表达式。SQL表达式 重要 若物模型标识符以数字开头，不支持使用SQL表达式访问该物模型，即旧版...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
复杂类型函数
JSON_FORMAT 将JSON数据转换成STRING类型，默认不自动进行美化。JSON_PARSE 将STRING类型转成JSON类型，非JSON格式转换为字符串会报错。JSON_VALID 检查字符串是否为合法的JSON格式。CAST 支持基本类型与JSON类型的转换。说明 以下函数示例...
基于GitHub公开事件数据集的离线实时一体化实践
已开通对象存储OSS并在ECS中安装ossutil工具，用于存储 GH Archive 提供的JSON数据文件，详情请参见 开通OSS服务 和 安装ossutil。已开通大数据计算服务MaxCompute并创建Project，详情请参见 创建MaxCompute项目。已开通大数据开发治理平台...
配置VPC数据源
重要 如果您的RDS for MySQL数据库是从经典网络切换到专有网络VPC网络的，且通过以上方法无法连通数据源，那么可以通过以下方式解决：方法一：在获取到的 VPC ID 和 实例ID 后面添加-1，再重新测试连接。如果依然无法连通，可尝试方法二。...
添加数据源概述
API类 添加API数据源 您可以在组件配置页面的 数据 面板中选择一种GET或POST任意一种请求方式，并将API地址直接粘贴到 URL 字段中。添加Open API数据源 无。添加阿里云API网关数据源 无。其它 DataV数据代理服务 DataV数据代理服务提供了...
数据过滤器
过滤方法 过滤方法支持数据过滤脚本和数据表配置两种过滤方法：数据过滤脚本 基于JavaScript对接口返回的原始数据进行一定的加工，以适配图表或文字组件的展示需求。脚本写法：接口定义如下：脚本框架只支持传入一个变量data，过滤器返回...
最佳实践概览
轻量应用服务器提供了部分最佳实践，包括搭建环境、搭建网站、数据传输、迁移服务器以及高可用架构等。您可以根据实际需求，参考相应文档完成服务器的搭建。搭建环境 阿里云轻量应用服务器提供了多种镜像，您可以通过应用镜像快速部署应用...
机器组简介
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器。本文介绍机器组的概念和类型、配置机器组的步骤。背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些...
使用向导模式创建三方API
新增参数 和 通过JSON新增 任选一种方式即可，两种方式会互相覆盖已设置的参数。请求参数来源于注册的API提供商的URL的请求参数。过滤器（可选）打开 过滤器 开关，设置信息模块展示隐藏，更多信息，请参见 API结果过滤器。测试API：单击 ...
JSON&JSONB 数据类型操作
JSON 类型几乎已成为互联网及物联网（IoT）的基础数据类型，AnalyticDB PostgreSQL 数据库对JSON数据类型做了完善的支持。并且 AnalyticDB PostgreSQL 6.0版 支持JSONB类型。这部分介绍对JSON&JSONB数据类型的操作，包括：JSON&JSONB的异同...
Apache Nifi
在PROPERTIES选项卡中的 Input Directory 中填写JSON文件存放的地址，例如我们将JSON文件存放在Apache Nifi服务器的/opt/nifi/nifi-current/file_source 位置，文件名为 user_info.json 文件内容如下。{"id":1,"first_name":"Sig","last_...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
创建FTP数据源
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 FTP即文件传输协议。如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成...
Node.js
本文以Node.js语言为例，介绍如何通过Node.js代码在服务端先完成签名，并设置上传回调，然后通过表单直传数据到OSS。前提条件 应用服务器对应的域名可通过公网访问。应用服务器已经安装Node.js 8.0以上版本。您可以执行 node-v 命令验证...
CoAP连接通信
Content-Format 设备发送给物联网平台的上行数据的编码格式，目前，支持两种方式：application/json 和 application/cbor。payload 设备认证信息内容，JSON数据格式。具体参数，请参见下表Payload说明。表 3.Payload 说明 字段名称 是否...
半结构化分析
JSON/JSONB AnalyticDB PostgreSQL版 支持JSON数据格式。JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供...
Kafka数据源
Kafka数据源为您提供读取和写入Kafka的双向通道，本文为您介绍DataWorks的Kafka数据同步的能力支持情况。支持的版本 支持阿里云Kafka，以及=0.10.2且...数据列 如果您的数据是一个JSON，支持获取JSON的属性，例如["event_id"]。如果您的数据...
Kafka单表实时入湖OSS（HUDI）
OSS数据源支持 RAM角色授权模式 与 Access Key认证模式 两种方式：Access key模式 Endpoint：您在 OSS产品控制台 OSS Bucket信息页面概览处获取到的访问端口，请参见 获取OSS Bucket信息。AccessKey ID：访问密钥中的AccessKey ID，您可以...
基本概念
数据解析脚本 针对采用透传格式/自定义数据格式的设备，需要在云端编写数据解析脚本，将设备上报的二进制数据或自定义的JSON数据，转换为物联网平台支持的Alink JSON数据格式；将平台下发的Alink JSON格式数据，转换为设备支持的格式。设备...
前端SDK文档接入
allowCalleeEncryption 是否允许被叫号码加密传输（call方法的callee参数类型不做限制）defaultLastSelectedCallerNumber「version-workbench:2.12.2」是否记住上次选中的主叫号码（存储在浏览器缓存中，下次上线默认选中）imConfig im ...
JavaScript API预览高级功能配置
当使用JavaScript API预览方式时，您可以实现全屏预览、页码跳转控制、预览界面UI自定义、加密文档处理、签名刷新、重试、广告配置等功能以及获取到预览文档渲染的相关信息，方便查看相关数据。重要 此文档已不再维护，建议您使用新版智能...
网关辅助类使用说明
另一种入参为 Object 转成的 JSON string，该方法可以改变传入的 JSON 数据并返回。一旦返回值不为空，那么网关认定拦截成功，后续的拦截器将被忽略。方法出现异常：即 throwsInvoke 方法。该方法没有返回值，所有拦截器的该方法都会被执行...
基于GitHub公开事件数据集的离线实时一体化实践
已开通对象存储OSS并在ECS中安装ossutil工具，用于存储 GH Archive 提供的JSON数据文件，详情请参见 开通OSS服务 和 安装ossutil。已开通大数据计算服务MaxCompute并创建Project，详情请参见 创建MaxCompute项目。已开通大数据开发治理平台...
逻辑解码（wal2json）
注意事项 由于采用的replication方式为 REPLICA_IDENTITY_FULL，所以在更新和删除时显示的数据为整行数据，并不是默认的只涉及更新和删除前后的列。要想修改只涉及更新前后的列，需要关闭 polar_create_table_with_full_replica_identity ...
ST_RPCRectify
string 与原Raster一致 仅支持如下几种方式：bip：Band interleaved by pixel bil：Band interleaved by line bsq：Band Sequential endian 字节序。string 与原Raster一致 仅支持如下几种：NDR：Little endian XDR：Big endian 示例 ...
逻辑解码（wal2json）
注意事项 由于 PolarDB PostgreSQL版（兼容Oracle）采用的replication方式为 REPLICA_IDENTITY_FULL，所以在更新和删除时显示的数据为整行数据，并不是默认的只涉及更新和删除前后的列。要想修改只涉及更新前后的列，需要关闭 polar_create...
ST_RPCRectify
string 与原Raster一致 仅支持如下几种方式：bip：Band interleaved by pixel bil：Band interleaved by line bsq：Band Sequential endian 字节序。string 与原Raster一致 仅支持如下几种：NDR：Little endian XDR：Big endian 示例 ...
ST_RPCRectify
string 与原Raster一致 仅支持如下几种方式：bip：Band interleaved by pixel bil：Band interleaved by line bsq：Band Sequential endian 字节序。string 与原Raster一致 仅支持如下几种：NDR：Little endian XDR：Big endian 示例 ...
配置连接器
Auth 身份验证，可选择以下三种方式：无 BASIC：用于对阿里云以外的页面访问认证，需填写Username和Password。阿里云（POP）：用于对阿里云相关的页面访问认证，需填写AccessKey ID和AccessKey Sectet，此处参数值可在 自定义配置 中提前...
JSON函数和操作符
本文描述了用于处理和创建JSON数据的函数和运算器，以及SQL/JSON路径语言。处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较...
Routine Load
json_root-H"json_root:$.RECORDS"当导入数据格式为JSON时，可以通过 json_root 指定JSON数据的根节点。SelectDB将通过 json_root 抽取根节点的元素进行解析。默认为空。send_batch_parallelism 无 指定设置发送批处理数据的并行度，如果...
通过HTTP接口清除实例数据
如果目标实例下存在只读实例，清除目标实例数据的同时，只读实例的数据会被同步清除，建议您先确保目标实例和只读实例中的数据均不需要使用，然后进行清除数据操作。清除数据大约耗时5s（数据量越多，耗时时间越长），在清除数据过程中建议...
使用Kafka（离线与实时）
本文介绍消息队列Kafka版和自建Kafka数据的写入流程，以及自建Kafka数据的写入示例。Kafka数据写入MaxCompute流程：阿里云全托管Kafka MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，...
- 产品推荐
- 这些文档可能帮助您