管理服务
对于JSON数据会全量覆盖调用方传递过来的数据，默认为 importRequest=exportRequest。在 响应脚本 中，目前仅支持JSON，数据会全量覆盖源服务的响应数据，默认为 exportResponse=importResponse。脚本映射的结果会作为界面映射的输入，建议...
云函数支持固定出网IP
背景信息 云函数的出网IP是变化的，但 一些三方系统，要求配置固定IP白名单，例如微信公众号开发get-access-token接口，此时需要提供在云函数中固定出网IP地址的能力。实现原理 云函数入参 ctx 提供对象 httpProxyClient，通过该对象发起的...
ElasticSearch
spark.conf spark.jars.packages org.elasticsearch:elasticsearch-spark-30_2.12:8.2.0 读取JSON数据，并将数据写入到ElasticSearch。spark/读取oss数据 val path="oss:/your bucket/data/es_case.json"val data=spark.read.option(...
脚本语法
重要 待处理的数据源必须转换为JSON格式数据，即数组或者嵌套的JSON数据。定义字段，然后筛选设备上报的字段数据，并赋值给定义的字段。定义字段标识符和数据类型的规则，请参见本文下方的“标识符”和“数据类型”。脚本文件中支持使用...
复杂JSON数据加工
本文档主要为您介绍如何使用日志服务数据加工功能对复杂的JSON数据进行加工。多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟...
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请...
JSON数据从OSS迁移至MaxCompute
本文为您介绍如何通过DataWorks数据集成，将JSON数据从OSS迁移至MaxCompute，并使用MaxCompute内置字符串函数GET_JSON_OBJECT提取JSON信息。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。...
SelectObject
输出JSON的格式参数（可选）子节点：RecordDelimiter Type 枚举 指定输入JSON的类型：DOCUMENT、LINES OutputRawData bool，默认false 指定输出数据为纯数据（可选）子节点：None 父节点：OutputSerialization 说明 您在请求中指定...
什么是消息解析
对于低配置且资源受限或者对网络流量有要求的设备，不适合直接构造JSON数据与物联网平台通信，可将原数据透传到物联网平台。物联网平台提供消息解析功能，可以根据您提交的脚本，将消息数据在设备自定义格式和JSON格式之间转换。背景信息 ...
自定义函数（邀测中）
数据发送和返回的数据格式 数据发送的格式 {"rowCount":3,"compressed":true,"data":[[1,"a","2023-08-22 11:30:00"],[2,"b","2023-08-22 12:30:00"],[3,"c",null]]} JSON数据结构说明：rowCount：数据的行数。compressed：传输的数据是否...
内置函数
通用操作 format length regexMatchString split 数组操作 arrayContains arrayUnique toArray Map操作 mapKeys mapValues mapValuesPartition 数据编码与解码 toBase64 fromBase64 哈希计算与UUID生成 hash uuid JSON数据操作 ...
22.8版本新特性概览
本文介绍 云数据库ClickHouse 22.8版本推出的新特性。日期和时间类型扩展 扩展 Date32 和 DateTime64 类型，将日期支持范围从之前版本的1925年~2283年，扩展到1900年~2299年。日期类型数据精度最大为8位，达到微秒级精度。超出最大时间精度...
从OSS导入JSON数据文件
背景信息 JSON数据是由文本、布尔、数值、数组（Array）和图（Map）构成的组合类型数据。JSON数据作为一种通用类型的数据类型，其自解析、灵活的特性，使其能够很好满足复杂场景下数据的记录需求。很多数据库的日志内容中往往都是以JSON的...
数字人卡片使用指南
从卡片详情生成数据里复制出云小蜜JSON数据，例如：[{"code":"card:1","data":{"recommend":["选择一","选择二","选择三"],"text":"下面有多个选择，请选择"},"endIndex":2,"beginIndex":0 }]将该段Data配置在对话机器人中的回复节点，数字...
Canal
在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息...
MySQL整库同步Kafka
本文为您介绍如何将MySQL整库同步Kafka，从而降低多个任务对MySQL数据库造成的压力。背景信息 MySQL CDC数据表主要用于获取MySQL数据，并可以实时同步数据表中的修改，经常用在复杂的计算场景。例如，作为一张维表和其他数据表做Join操作。...
服务编排功能介绍
然后，输出 {"user_id":"value"} 形式的JSON数据。单击 PYTHON1 节点后，从 选择函数 列表中选择注册的函数名称。单击 SWITCH1 节点后，在编辑对话框中，单击 设置分支条件。条件表达式考察上一个节点的输出，例如，${节点ID.输出值名}>1 ...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 使用MaxCompute内建函数过程中，需要注意的事项请参见 注意事项。MaxCompute预置的函数类型如下...
字段值提取函数
相关示例，请参见 复杂JSON数据加工。分隔符提取 e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。e_csv：默认分隔符为半角逗号（,）。e_psv：默认分隔符为竖线（|）。e_tsv：默认分隔符为\t。支持和...
简介
本文介绍集成管理的相关内容。集成管理概述 多端低...若 入参 和 出参 的数据结构匹配JSON类型，则自动将入参和出参对应的JSON数据转换为Structure结构体，存入 结构体管理。同时为这些结构体自动命名，命名规则为：{接口名}-{请求/响应}。
2023年
JSON_VALID JSON_PARSE JSON_FORMAT JSON_TYPE JSON_PRETTY JSON_EXTRACT JSON_ARRAY JSON_OBJECT JSON_EXISTS 2023-06-29 新增MaxCompute JSON类型使用指南（试用Beta版本）新说明 MaxCompute当前支持了JSON数据类型，提高了表中带有JSON...
创建数据表
数据库中的每条记录都是一个JSON格式的对象，一个数据库可以包含多个集合（相当于关系型数据库中的表）。您可以在控制台上创建数据表。前提条件 已创建服务空间，具体请参见 创建您的第一个服务空间。控制台操作 登录 EMAS管理控制台。查找...
通过开源Kafka客户端写入Lindorm流引擎数据
Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka API编写程序写入Lindorm流引擎数据，也可以通过开源的三方工具采集并写入Lindorm流引擎数据，例如FluentD、Debezium等。本文介绍通过开源Kafka客户端连接Lindorm流引擎并写入Lindorm...
CREATE INDEX
Lindorm提供了 三种 高效易用的索引：二级索引、搜索索引和列存索引，分别适用于非主键匹配场景、多维查询场景 和列存储数据查询场景。在使用CREATE INDEX语法创建索引时，您可以指定索引类型并添加索引属性。引擎与版本 CREATE INDEX语法...
基础版Spark全密态计算引擎使用示例
连接地址格式为：MySQL数据库：jdbc:mysql:/ip:port/database_name PostgreSQL数据库：jdbc:postgresql:/ip:port/database_name 本文示例为 jdbc:mysql:/rm-bp1487t8613zz*.mysql.rds.aliyuncs.com:3306/adb 。userName 数据库账号。...
Fn:Select
函数声明 获取列表（数组）中的数据 根据索引获取单个数据 JSON {"Fn:Select":["index",["value1","value2",.],"default_value"]} YAML 完整函数名的语法。Fn:Select:index-value1-value2-.-default_value 缩写形式语法。Select[index,...
JSON数据列展开
数据库中常常需要处理JSON数据，例如，将JSON数据中的某些属性字段进行展开转换，转成行、列的关系型形式。JSON数据的展开方式灵活多变，本文通过详细的SQL示例，介绍如何展开JSON数据列。基本思路 使用 JSON函数，对JSON字符串进行解析和...
数据迁移
背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...
JSON函数和操作符
本文描述了用于处理和创建JSON数据的函数和运算器，以及SQL/JSON路径语言。处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较...
JSON索引
参数说明 参数 说明 db_name 数据库名称。table_name 表名称。index_name JSON索引名称。重要 索引名称唯一，不能相同。column_name|column_name->'$.json_path' column_name：JSON索引的列。column_name->'$.json_path'：JSON索引的列及其...
TairDoc性能白皮书
文档作为二进制树存储，可以快速访问JSON数据的子元素。支持JSON到XML或YAML格式的转换。更多信息请参见 TairDoc。测试说明 数据库测试环境 测试环境信息 说明 地域和可用区 华北3（张家口）地域，可用区A。存储介质 内存型（兼容Redis 6.0...
数据共享
返回信息如下时，表示当前使用的数据库为db02：current_database-db02(1 row)订阅Share，并设置Share的本地别名。IMPORT DATASHARE s01 AS s01a FROM DATABASE";为步骤3中查询到的目标库db01的UUID。在目标库db02中查询源库db01共享的数据...
云数据库的导入与导出
本文介绍如何对云数据库进行导入与导出操作。数据导出 您可以将数据库中的内容导出为JSON或者CSV格式的文件，导出结果中的每行数据都对应数据库中的一条记录。导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 ...
GET_JSON_OBJECT
当前函数的入参支持两种类型：入参为JSON类型：基于最新支持的JSON数据类型，采用更为规范的JSON PATH。入参为STRING类型：原有的JSON PATH解析方式。入参类型不同时函数的使用方式和注意事项不同，本文为您展示入参分别为JSON和STRING类型...
CAST函数
输入值类型 DECIMAL(m,d)、FLOAT、INT/INTEGER、SMALLINT、TINYINT BIGINT DOUBLE VARCHAR JSON 转换规则 原数据类型 目标数据类型 转换规则 VARCHAR JSON BOOLEAN 原数据为true或1，会被转换成1。原数据为false或0，会被转换成0。原数据为...
各地域功能说明
华东2（上海）数据转发的目的云产品 数据格式 JSON 二进制 消息服务（MNS）支持 支持 消息队列RocketMQ 支持 支持 函数计算（Function Compute）支持 支持 表格存储（Tablestore）支持 不支持 时序数据库（TSDB）支持 不支持 云数据库RDS版...
GET_JSON_OBJECT
例如在某数据库的public Schema下创建了extension，则此数据库下其余的Schema不能再创建extension。可以将extension直接创建在pg_catalog系统Schema下，就会默认所有数据库的所有Schema都能使用该功能。需要Superuser创建extension。命令...
JSON
背景信息 JSON 格式能基于JSON结构读写JSON数据。当前，JSON结构是从表结构自动推导而得的。支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB 和 StarRocks 等。使用示例 利用Kafka以及...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
- 产品推荐
- 这些文档可能帮助您