什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
2022-03-04版本
新特性 特性 详情 相关文档 Hologres自适应JSON Schema结构变化 JSON作为流式数据处理中最为常见的Event格式之一，其Schema的变化对于实时流作业及其后端的存储引擎中的表而言，都希望是一个透明的过程。在本次新版本中，我们对于该需求...
JSON函数和操作符
处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较操作符遵循jsonb索引中的B树操作概要的排序规则。json 和 jsonb 操作符 json->...
JSON函数
返回结果如下：+-+|json_extract('[10,20,[30,40]]','$.1')|+-+|20|+-+JSON_SIZE json_size(json,json_path)命令说明：从JSON中返回 json_path 指定JSON对象或JSON数组的大小。说明 若 json_path 指向的不是JSON对象或者JSON数组时，返回0...
云数据库的导入与导出
数据导出 您可以将数据库中的内容导出为JSON或者CSV格式的文件，导出结果中的每行数据都对应数据库中的一条记录。导出格式 是否必须指定导出字段 默认导出内容 建议使用场景 JSON格式 不必须 默认导出全部内容，指定字段时仍会导出_id字段 ...
2024-04-01版本
对Kafka的写入，支持了对JSON格式中某一列为空数据时不写入NULL的能力，优化了对Kafka存储容量的占用，同时支持了根据Header进行等值过滤的能力，帮您进行数据分流处理；另外，对于Hive Catalog支持了OSS-HDFS作为Hive写入端的存储；对于...
使用ROS模板选择和设置对象
资源编排支持通过新增对象数组、元素数组和参数对象对JSON数据进行扩展，增强JSON对象的校验逻辑。对象数组 对象数组为单一对象，数组元素支持所有的ROS模板参数类型。模板示例 ROSTemplateFormatVersion:'2015-09-01' Parameters:...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用...
私有部署使用说明
例如，您企业内网中有一个数据库，只能在企业内网中访问，公网是无法访问的，那么线上的页面就无法连接到您的数据库，这种情况下私有部署就能很好地解决您的问题。私有部署对服务器的配置要求 系统和硬件要求如下：CentOS 7.0 64位Linux...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。在MongoDB上准备测试数据 ...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。JEOJEON API：单击链接右侧的 图标，即可复制JEOJEON数据的API...
外部表常见问题
在MaxCompute中使用OSS外部表读取JSON数据的操作，请参见 在MaxCompute中使用OSS外部表读取JSON数据。如何通过OSS外部表将多个小文件输出为一个文件？通过Logview日志，查看SQL的执行计划中最后一个是Reducer还是Joiner。如果是Reducer，则...
SelectObject
输出JSON的格式参数（可选）子节点：RecordDelimiter Type 枚举 指定输入JSON的类型：DOCUMENT、LINES OutputRawData bool，默认false 指定输出数据为纯数据（可选）子节点：None 父节点：OutputSerialization 说明 您在请求中指定...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。GeoJSON API：单击链接右侧的 图标，即可复制GeoJSON数据的API...
创建数据源
本文为您介绍如何创建数据源，您可以添加文件类数据源，也可以针对 DB 类创建数据源。创建文件类数据源 登录资金安全监控控制台，在左侧导航栏单击 数据源。在 数据源 页面上，单击 新建数据源。在 新建数据源 页面上，输入以下配置信息：...
将时空数据写入宽表引擎
写入流引擎数据 json.put("id",i);json.put("g","POINT(119.073544"+(25+i*10)+")");json.put("t",System.currentTimeMillis()-1000*i);json.put("ship_name","ship007");Future<RecordMetadata>future=producer.send(new ProducerRecord,...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
低成本历史库
云原生多模数据库Lindorm提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析需求...
内建函数概述
复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务处理能力。加密函数 支持处理STRING、BINARY类型的表数据，实现加密、解密等业务处理能力。其他函数 除上述函数之外，提供支持...
结果字段说明
智能异常分析的结果数据保存在名为internal-ml-log的Logstore中。本文介绍结果数据中的字段详情。通用的tag结构说明 各类任务的结果数据中都包含如下通用字段。说明 您可以通过_tag_:_job_name_和_tag_:_schedule_id_字段，查询对应任务的...
通过流引擎实现地理围栏监控
写入流引擎数据 json.put("car_id","车牌号码");json.put("route_id","路线"+i);json.put("location","POINT(119.073544"+(25+i*10)+")");Future<RecordMetadata>future=producer.send(new ProducerRecord,String>(topic,json.getString(...
支持的文件格式
JSON:org.apache.hive.hcatalog.data.JsonSerDe CREATE external TABLE json_table_1(docid string,user_1 struct,username:string,name:string,shippingaddress:struct,address2:string,city:string,state:string>,orders:array,...
查询文件
1+_2>100 对于JSON文件，如果在SQL中未指定cast函数，则其类型根据JSON数据的实际类型而定，标准JSON内建的数据类型包括null、bool、int64、double、string等类型。常见的SQL用例 常见的SQL用例包括CSV及JSON两种。CSV 应用场景 SQL语句 ...
低成本RDS历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本RDS历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
应用场景：低成本历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
自定义函数（邀测中）
数据发送和返回的数据格式 数据发送的格式 {"rowCount":3,"compressed":true,"data":[[1,"a","2023-08-22 11:30:00"],[2,"b","2023-08-22 12:30:00"],[3,"c",null]]} JSON数据结构说明：rowCount：数据的行数。compressed：传输的数据是否...
Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
JMES语法
JMES是一个增强型的JSON查询计算语言，不仅可以对JSON数据进行提取，还可以做计算与转换。关于JMES语法的详细介绍请参见 JMES Tutorial。数据加工中的 json_select、e_json、e_split 函数支持通过JMES提取字段或JSON表达式的值，或者通过...
2021年
2021-03-16 全部地域 支持压缩格式数据 MaxCompute SQL支持FROM_JSON/TO_JSON函数 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数...
通过DataX导入数据
本文介绍使用DataX Doris Writer同步数据至 云数据库 SelectDB 版。概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的...
Flag参数列表
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.type.json.enable JSON数据类型使用开关。关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。MaxCompute JSON数据类型 SQL Session/...
SET
关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。odps.ext.oss.orc.native 读表时是否使用Native ORC Reader。True：使用。False：不使用。odps.sql.job.max.time.hours 单作业最大执行时间。...
新增数据
AADB1F0EBD0411B9 应用id properties Struct 是 {"name":"xxx","age":18} 模型对应的字段名称以及字段值的json数据 logicalModelIsoId String 否 oxs_iso_id 逻辑模型隔离id modelInstanceId String 否 跟模型绑定的实例id dataInstanceId ...
管理Kafka JSON Catalog
本文将从以下方面为您介绍如何管理Kafka JSON Catalog：创建Kafka JSON Catalog 查看Kafka JSON Catalog 使用Kafka JSON Catalog 删除Kafka JSON Catalog 使用限制 Kafka JSON Catalog仅支持消息格式为JSON的Topic，暂不支持其他格式。...
设置 AP 数据
setAPDataStorage 接口用于保存一个字符串到客户端统一存储，字符串长度不得超过 200×1024。说明 底层存储服务组件在 iOS 和 Android 中实现不一致。Android 统一存储组件不支持 type=user 属性，为了与前端接口一致，当设置 type=user 时...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
数据膨胀诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据膨胀功能，可以定期自动诊断数据库内的所有表，并生成诊断信息表。您可以通过诊断信息表，查看表的膨胀情况并获得相应的处理建议（如执行VACUUM或VACUUM FULL操作）。注意事项 智能诊断数据膨胀...
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
复杂JSON数据加工
本文档主要为您介绍如何使用日志服务数据加工功能对复杂的JSON数据进行加工。多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟...
- 产品推荐
- 这些文档可能帮助您