修改表 ALTER TABLE 的不兼容点
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，MySQL 数据库执行的 ALTER TABLE DDL 支持被数据传输的 DDL 同步组件转换，但 OceanBase 数据库 MySQL 租户不支持执行的场景。行内 CHECK 表达式中引用了其它列 ...
查看敏感数据识别结果
敏感数据识别任务扫描完成后，您可以查看敏感数据识别结果。数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 ...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
主键列自增
设置非分区键的主键列为自增列后，在写入数据时，无需为自增列设置具体值，表格存储 会自动生成自增列的值。该值在分区键级别唯一且严格递增。重要 表格存储 从Java SDK 4.2.0版本开始支持主键列自增功能。注意事项 写入数据到带有自增主键...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
最佳实践
Delta-Lake根据列值自动布局文件中的数据，并在查询时使用布局信息跳过不相关的数据。有关详细信息，请参见 Z-Ordering（多维集群）。选择正确的分区列 您可以按列对Delta表进行分区。最常用的分区列是date。遵循以下两个经验法则来确定要...
JSON数据类型
Lindorm宽表引擎支持在建表、插入数据和更新数据时使用JSON数据类型。JSON（JavaScriptObject Notation）是一种可以在多种语言之间进行数据格式交换的数据类型。JSON数据的格式为键值对，结构清晰，语法易读，同时也方便前后端的数据传输。...
过滤器
示例 使用SingleColumnCondition过滤数据 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据以及根据name列值过滤数据。def get_row_with_condition(client):#设置要读取行的主键。primary_key=[('uid',1),('gid',101)]#设置...
通用限制
操作限制 操作 限制值 说明 一次请求写入的属性列的个数 1024列 使用PutRow、UpdateRow或BatchWriteRow接口操作时，单行写入的属性列的个数不能超过1024列。读请求中columns_to_get参数的列的个数 0~128个 读请求一行数据中获取的列的最大...
Default值
a b 1 \N 2 2023-11-17 10:11:33.276+08 示例3：使用 INSERT ON DO NOTHING 语句，未指定a列（PK列）的值，系统会将待写入的b列数据视为新增数据写入，并自动为a列填充Default值。INSERT ON DO NOTHING，未指定a列（PK列）的值，系统会将其...
插入数据
它从使用给出的值从左开始填充列，有多少个给出的列值就填充多少个列，其他列的将使用缺省值。为了保持清晰，你也可以显式地要求缺省值，用于单个的列或者用于整个行：INSERT INTO products(product_no,name,price)VALUES(1,'Cheese',...
CREATE FOREIGN TABLE
默认值表达式的数据类型必须匹配列的数据类型。默认值表达式将被用在任何没有指定列值的插入操作中。如果一列没有默认值，则默认值为空值。GENERATED ALWAYS AS(generation_expr)STORED 该子句创建一个生成列。此列不能写入，只能在读取时...
CREATE FOREIGN TABLE
默认值表达式的数据类型必须匹配列的数据类型。默认值表达式将被用在任何没有指定列值的插入操作中。如果一列没有默认值，则默认值为空值。GENERATED ALWAYS AS(generation_expr)STORED 该子句创建一个生成列。此列不能写入，只能在读取时...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
交叉表
可选：在右侧 属性 页签，选中 合计行/列 右侧复选框，根据 合计方式（总和、平均值、最大值、最小值、计数）展示行或列数据项的汇总数据。说明 只有当组件数据源类型为 数据表资源 时，才支持该功能。如果展示合计列数据后，使表格展示的...
概述
当 INSERT 语句显式为自增列插入值时，PolarDB-X 会使用指定的显式值，并自动跟随插入的显式值，使后续自动填充的值大于已插入的显式值；在AUTO模式数据库中，默认的自增列行为，在各方面（唯一性、单调性、连续性等）与MySQL已经一致。...
概述
脱敏方案 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后...
表存储格式定义
您可以根据使用场景，在建表时选行存表（适合数据更新较频繁或采用INSERT方式的实时写入的场景）或列存表（适合少量列的数据查询、聚集等数据仓库应用场景）。行存表 默认情况下，AnalyticDB PostgreSQL版 创建的是行存表（Heap Table），...
LOADING_NCI状态说明及其影响
本文介绍了列存节点上的LOADING_NCI状态及其对列存读一致性的影响。重启列存节点之后，在一段时间内，您可能会通过 information_schema.imci_indexes 表看到有一部分列存索引处于LOADING_NCI状态，该状态表示当前索引正在重建列存索引与行...
创建表
这个值可以是任意表达式（但不允许使用子查询和当前表中对其他列的引用）。默认表达式的数据类型必须匹配列的数据类型。当在插入操作中没有为列指定值的时候，您可以使用默认表达式。如果没有为列指定默认值。那么默认值为空。CONSTRAINT ...
修改表
利用这些命令，我们可以进行以下操作：增加列 移除列 增加约束 移除约束 修改默认值 修改列数据类型 重命名列 重命名表 增加列 执行以下命令，增加一个列：ALTER TABLE products ADD COLUMN description text;新列将被默认值所填充（如果...
监测数据质量
您可使用数据管理DMS的数据质量功能来自定义表或列维度的数据质量规则，并结合任务编排的稽核任务自动检查数据质量，保证数据的一致性、唯一性、充分性等，从而提升二次数据分析与开发的质量。前提条件 目标实例的管控模式为安全协同。更多...
分区分桶
数据->分区*1,Beijing->p1_city*1,Shanghai->p1_city*2,Shanghai->p2_city*3,Beijing->p3_city*1,Tianjin->无法导入*4,Beijing->无法导入 分桶 根据分桶列的Hash值，数据将被划分进不同的桶（Bucket）进行存储。如果使用了分区（Partition...
表数据格式
Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，bucket数量可通过配置表属性 write.bucket.num 指定，因此对同一张表或分区的数据，写入数据会按PK列值对数据进行切分，相同PK值的记录会...
Hologres结果表
Hologres与实时计算Blink独享模式（原产品线）深度融合，支持使用Connector的方式写入数据至Hologres结果表，您可以立即查询写入的数据。本文为您介绍实时计算Blink独享模式（原产品线）如何写入数据至Hologres结果表。使用限制 不同Blink...
前端监控实时大屏
通过ARMS前端监控实时大屏，您可以一次性查看被监控应用的所有关键实时监控数据。功能入口 登录 ARMS控制台，在左侧导航栏选择 前端监控>前端列表。在 前端列表 页面顶部选择目标地域，然后单击目标应用名称。在应用的 总览 页面上，单击右...
使用INSERT ON CONFLICT覆盖写入数据
本文介绍在AnalyticDB PostgreSQL版数据库中，如何使用INSERT ON CONFLICT语法覆盖写入数据。针对数据写入时有主键冲突的情况，INSERT ON CONFLICT语法可以将冲突主键的INSERT行为转换为UPDATE行为，从而实现冲突主键的覆盖写入。该特性又...
过滤器
使用SingleColumnValueFilter过滤数据 以下示例用于读取数据表中的一行数据，设置读取最新版本的数据以及根据Col0列的值过滤数据。private static void getRow(SyncClient client,String pkValue){/构造主键。PrimaryKeyBuilder ...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
实时同步常见问题
本文为您介绍实时同步的相关问题。文档概述 问题分类 相关文档 实时同步任务配置须知 实时同步任务支持哪些数据源？为什么实时同步任务延迟较大？实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时...
MySQL数据源
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
BLOB数据类型（邀测中）
Lindorm宽表SQL支持BLOB数据类型，使用时可以直接将Lindorm宽表中的一个非主键列的数据类型定义为BLOB类型。本文介绍如何使用Lindorm宽表的BLOB数据类型。适用引擎 BLOB数据类型仅适用于宽表引擎。前提条件 宽表引擎为2.4.1及以上版本。...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
主键列自增
设置非分区键的主键列为自增列后，在写入数据时，无需为自增列设置具体值，表格存储 会自动生成自增列的值。该值在分区键级别唯一且严格递增。特点 主键列自增具有如下特点：自增列的值在分区键级别唯一且严格递增，但不保证连续。自增列的...
设置列索引的排序键
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
何时选择虚拟列分区
虚拟列分区可以对表达式进行分区，该表达式可能使用来自其他列的数据，并使用这些列进行计算。虚拟列分区支持所有分区类型。如果查询条件不是某一个列上的原始数据，而是经过计算过的，又不想添加一个单独的列来存储计算过的正确值，可以...
统计图（Pro版本）
简介 统计图Pro版本可包含一个或多个单值图，单值图可用于突出显示单个数值。例如下图中的每一个色块代表一个单值图。添加统计图的入口，请参见 添加统计图表（Pro版本）到仪表盘。产品试用 SLS Playground已内置统计图Demo，便于您快速...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
概述
日常工作中，企业通常会对实时日志数据进行开发。其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明...
- 产品推荐
- 这些文档可能帮助您