22.8版本新特性概览
本文介绍 云数据库ClickHouse 22.8版本推出的新特性。日期和时间类型扩展 扩展 Date32 和 DateTime64 类型，将日期支持范围从之前版本的1925年~2283年，扩展到1900年~2299年。日期类型数据精度最大为8位，达到微秒级精度。超出最大时间精度...
调试实时任务
说明 Kafka中支持json、csv、canal-json、maxwell-json、debezium-json数据格式的自动抽样。Kafka自动抽样仅支持 无认证 和 用户名+密码认证 方式，不支持SSL。Kafka自动抽样时，支持选择读取数据范围，最大抽样条数为 100 条。完成所有...
服务编排功能介绍
然后，输出 {"user_id":"value"} 形式的JSON数据。单击 PYTHON1 节点后，从 选择函数 列表中选择注册的函数名称。单击 SWITCH1 节点后，在编辑对话框中，单击 设置分支条件。条件表达式考察上一个节点的输出，例如，${节点ID.输出值名}>1 ...
JSON函数
您可以通过如下方式构造JSON数据：直接使用JSON数据。例如 json '{"a":1,"b":{"c":30}}'。通过CAST函数将字符串进行显式转换为JSON数据。例如 CAST('{"a":1,"b":{"c":30}}' AS json)。返回值类型：JSON ARRAY。示例：返回$.b 路径下的所有...
特定格式文本数据加工
首先将dict数据转成JSON数据，再使用 e_json 函数进行展开即可。原始日志 content:{ 'referer':'-','request':'GET/phpMyAdmin','status':404,'data-1':{ 'aaa':'Mozilla','bbb':'asde' },'data-2':{ 'up_adde':'-','up_host':'-' } } LOG ...
数据库管理
本文介绍如何使用Terraform创建和删除RDS PostgreSQL数据库以及修改或添加数据库备注信息。前提条件 已创建RDS PostgreSQL实例，详情请参见 创建RDS PostgreSQL实例。实例状态为运行中，您可以通过如下两种方式查看：参见 查询实例详情 ...
Delta Lake 快速入门
此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建一个delta表，可以使用现有的Apache Spark SQL代码，也...
支持的文件格式
JSON EsriJsonSerDe DLA支持Esri ArcGIS的地理JSON数据文件的SerDe处理，关于这种地理JSON数据格式说明，可以参考：https://github.com/Esri/spatial-framework-for-hadoop/wiki/JSON-FormatsCREATE EXTERNAL TABLE IF NOT EXISTS ...
使用Kafka（离线与实时）
FLATTEN：消息格式为JSON数据类型的字符串，JSON中的Key和Value会被解析，写入到对应的MaxCompute表中，其中JSON数据中的Key和需要与MaxCompute的表列名对应。关于不同格式消息导入的案例，详情请参见 使用示例。mode 否 消息同步到...
RestAPI（HTTP形式）数据源
是 无 column 生成JSON数据对应的字段路径列表，type指定源数据的类型，name指定当前column数据放置的JSON路径。您可以指定column字段信息，配置如下。column":[{"type":"long","name":"a.b"/放置column数据到路径a.b},{"type":"string",...
JMES语法
JMES是一个增强型的JSON查询计算语言，不仅可以对JSON数据进行提取，还可以做计算与转换。关于JMES语法的详细介绍请参见 JMES Tutorial。数据加工中的 json_select、e_json、e_split 函数支持通过JMES提取字段或JSON表达式的值，或者通过...
JSON日志
本视频向您展示数据加工结构化数据JSON格式日志的解析。简单JSON解析 复杂JSON解析
管理服务
对于JSON数据会全量覆盖调用方传递过来的数据，默认为 importRequest=exportRequest。在 响应脚本 中，目前仅支持JSON，数据会全量覆盖源服务的响应数据，默认为 exportResponse=importResponse。脚本映射的结果会作为界面映射的输入，建议...
JSON类型
本数据库提供存储 JSON 数据的两种类型：json 和 jsonb。为了实现这些数据类型高效的查询机制，还提供了 jsonpath 数据类型描述。json 和 jsonb 数据类型接受 几乎 完全相同的值集合作为输入。主要的实际区别之一是效率。json 数据类型存储...
CAST
返回：+-+|_c0|+-+|NULL|+-+相关函数 CAST函数属于复杂类型函数，更多对复杂类型数据（例如ARRAY、MAP、STRUCT、JSON数据）的处理函数请参见 复杂类型函数。同时，CAST函数也属于其他函数，更多其他业务场景的函数请参见 其他函数。
JSON数据列展开
数据库中常常需要处理JSON数据，例如，将JSON数据中的某些属性字段进行展开转换，转成行、列的关系型形式。JSON数据的展开方式灵活多变，本文通过详细的SQL示例，介绍如何展开JSON数据列。基本思路 使用 JSON函数，对JSON字符串进行解析和...
云数据库的导入与导出
本文介绍如何对云数据库进行导入与导出操作。数据导出 您可以将数据库中的内容导出为JSON或者CSV格式的文件，导出结果中的每行数据都对应数据库中的一条记录。导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 ...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
离线同步读取MongoDB数据
本实践使用阿里云云数据库MongoDB作为示例。以下为准备MongoDB数据集合的主要代码示例。创建一个名称为 di_mongodb_conf_test 的数据集合。db.createCollection('di_mongodb_conf_test')向数据集合中插入本实践的示例数据。db.di_mongodb_...
JSON函数和操作符
本文描述了用于处理和创建JSON数据的函数和运算器，以及SQL/JSON路径语言。处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较...
脚本语法
重要 待处理的数据源必须转换为JSON格式数据，即数组或者嵌套的JSON数据。定义字段，然后筛选设备上报的字段数据，并赋值给定义的字段。定义字段标识符和数据类型的规则，请参见本文下方的“标识符”和“数据类型”。脚本文件中支持使用...
UDAF和UDTF动态参数说明
返回值中的第一个返回值是解析JSON过程中的出错信息，如果没有出错，则会根据输入的Key依次输出从JSON中解析出来的内容。使用示例如下。根据输入参数的个数定制输出别名个数。SELECT my_json_tuple(json,'a','b')as exceptions,a,b FROM ...
Tracer 日志配置项
JSON 格式输出日志 true，如果期望较少日志空间占用，可以使用非 JSON 格式输出（日志顺序与 JSON 格式顺序一致）非 Spring Boot 工程配置 在非 Spring Boot 工程中，可以通过在 classpath 下新建一个 sofa.tracer.properties 配置文件，...
逻辑解码（wal2json）
PolarDB PostgreSQL版（兼容Oracle）提供wal2json插件，可以将逻辑日志文件输出为JSON格式。背景信息 wal2json是逻辑解码插件，具体功能如下：可以访问由 INSERT 和 UPDATE 生成的元组。根据配置的副本身份，可以访问 UPDATE 和 DELETE 旧...
逻辑解码（wal2json）
PolarDB PostgreSQL版（兼容Oracle）提供wal2json插件，可以将逻辑日志文件输出为JSON格式。背景信息 wal2json是逻辑解码插件，具体功能如下：可以访问由 INSERT 和 UPDATE 生成的元组。根据配置的副本身份，可以访问 UPDATE 和 DELETE 旧...
列式JSONB
原因在于底层已经将JSONB数据转成了列式存储，所以当需要查询出完整JSON数据的时候，就需要将那些已经列式存储的数据再重新拼装成原来的JSONB格式：这个步骤就会产生大量的IO以及转换开销，如果涉及到的数据量很大，列数又很多，甚至可能...
逻辑解码（wal2json）
PolarDB PostgreSQL版 提供wal2json插件，可以将逻辑日志文件输出为JSON格式。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.29及以上）说明 您可通过如下...
自定义函数（邀测中）
数据发送和返回的数据格式 数据发送的格式 {"rowCount":3,"compressed":true,"data":[[1,"a","2023-08-22 11:30:00"],[2,"b","2023-08-22 12:30:00"],[3,"c",null]]} JSON数据结构说明：rowCount：数据的行数。compressed：传输的数据是否...
复杂JSON数据加工
本文档主要为您介绍如何使用日志服务数据加工功能对复杂的JSON数据进行加工。多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟...
各地域功能说明
华东2（上海）数据转发的目的云产品 数据格式 JSON 二进制 消息服务（MNS）支持 支持 消息队列RocketMQ 支持 支持 函数计算（Function Compute）支持 支持 表格存储（Tablestore）支持 不支持 时序数据库（TSDB）支持 不支持 云数据库RDS版...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
TairDoc性能白皮书
文档作为二进制树存储，可以快速访问JSON数据的子元素。支持JSON到XML或YAML格式的转换。更多信息请参见 TairDoc。测试说明 数据库测试环境 测试环境信息 说明 地域和可用区 华北3（张家口）地域，可用区A。存储介质 内存型（兼容Redis 6.0...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
Kafka集群的数据存储格式
Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时，数据存储格式为Shareplex Json。Canal Json：Canal 解析数据库增量日志，并将增量数据传输至Kafka集群，数据存储格式为Canal Json。DTS Avro DTS Avro...
Kafka集群的数据存储格式
Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时，数据存储格式为Shareplex Json。Canal Json：Canal 解析数据库增量日志，并将增量数据传输至Kafka集群，数据存储格式为Canal Json。DTS Avro DTS Avro...
ModifyDatabase
调用ModifyDatabase修改数据库信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
Python 3 UDTF读取MaxCompute资源示例
返回值中的第一个返回值是解析JSON过程中的出错信息，如果没有出错，则会根据输入的Key依次输出从JSON中解析出来的内容，使用示例如下。根据输入参数的个数定制输出别名个数。SELECT my_json_tuple(json,'a','b')as(exceptions,a,b)FROM ...
关联MySQL数据源
本文介绍如何创建外部存储，建立日志服务与MySQL数据库的关联。前提条件 已采集数据到日志服务。具体操作，请参见 数据采集。已存储数据到MySQL数据库。MySQL数据库在阿里云VPC内网域内。背景信息 日志服务外部存储功能支持日志服务与阿里...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
- 产品推荐
- 这些文档可能帮助您