PutRow
如果指定条件检查为EXPECT_NOT_EXIST，则除了消耗本行的主键数据大小与要插入属性列数据大小之和除以4 KB向上取整的写CU，还需消耗该行主键数据大小除以4 KB向上取整的读CU。如果指定条件检查为EXPECT_EXIST，则本次插入失败并且消耗1单位...
UpdateRow
如果指定条件检查为IGNORE，则消耗写服务能力单元的数值为本行的主键数据大小与要更新的属性列数据大小之和除以4 KB向上取整。如果UpdateRow中包含有需要删除的属性列，只有其列名长度计入该属性列数据大小。如果指定条件检查为EXPECT_...
DeleteRow
如果指定条件检查为EXPECT_EXIST，除了消耗该行主键数据大小除以4 KB向上取整的写CU，还需消耗该行主键数据大小除以4 KB向上取整的读CU。关于数据大小的计算请参见 产品定价。如果请求超时，结果未定义，则服务能力单元有可能被消耗，也...
Kafka数据接入
云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更多信息，请参见 什么是云消息队列 Kafka 版？说明 基于Tablestore Sink Connector，您也可以将...
创建数据表
分区键相同的数据会存放在同一个分区内，所以相同分区键下的数据尽量不要超过10 GB，否则会导致单分区过大，无法分裂。另外，数据的读/写访问最好在不同的分区键上均匀分布，有利于负载均衡。definedColumns：预先定义一些非主键列以及其...
创建数据表
分区键相同的数据会存放在同一个分区内，所以相同分区键下的数据尽量不要超过10 GB，否则会导致单分区过大，无法分裂。另外，数据的读/写访问最好在不同的分区键上均匀分布，有利于负载均衡。defined_columns：预先定义一些非主键列以及其...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
数据配置
3、编辑数据 llm智能问答版支持在控制台直接编辑数据，可在id后的输入框里面填入需修改的数据主键ID，点击 编辑 按钮，可以对可编辑字段进行修改。注意事项 主键id是唯一键，如有重复后者数据会覆盖前者。结构化数据单次上传最大为2M。非...
多元索引最佳实践
主键设计对多元索引的同步速度有一定的影响，对数据表主键的要求是写入数据时要尽可能分散到数据表的不同分区，因此如果写入TPS较高时，需要尽可能分散在数据表的多个分区中，避免出现写单分区、写尾部分区等问题。目前仅支持从数据表中...
表操作篇
如果有一批数据要上传到表格存储中，同时这批数据是按主键排列顺序的，若按顺序写入数据，可能会导致写入压力集中在某个分区中，而其他的分区处于空闲状态，无法有效利用预留读/写吞吐量，影响数据导入速度。可以采取以下任一措施来提升...
外部表
MaxCompute 大数据计算服务MaxCompute为您提供快速且完全托管的数据仓库解决方案，并可以通过与OSS的结合，高效经济地分析处理海量数据。MaxCompute外部表 该功能基于MaxCompute新一代的V2.0计算框架，可以帮助您直接对OSS中的海量文件进行...
常见问题
为什么optimize后数据仍未主键合并？为什么optimize后数据TTL仍未生效？为什么optimize后更新删除操作没有生效？如何进行DDL增加列、删除列、修改列操作？为什么DDL执行慢，经常卡住？如何处理分布式DDL报错：longer than distributed_ddl_...
使用须知
慎用扫全表、OR、Join和子查询 虽然Phoenix支持各种Join操作，但是Phoenix主要还是定位为在线数据库，复杂Join，比如子查询返回数据量特别大或者大表Join大表，在实际计算过程中十分消耗系统资源，会严重影响在线业务，甚至导致OutOfMemory...
表结构设计
说明 尽量不要选择日期、时间和时间戳类型的字段作为分布键，写入时容易发生倾斜影响写入性能，且多数查询通常是限定了日期或者时间段，如：查询最近一天或者一个月的数据，可能会导致要查询的数据只存在于一个节点上，无法充分利用分布式...
如何批量删除数据
如果要删除指定主键范围内的数据，请调用 GetRange 接口，查询指定主键范围内的数据，并获取待删除数据的主键信息。具体操作，请参见 读取数据。如果要删除满足指定条件的数据，请创建多元索引后，使用多元索引查询满足指定条件的数据，并...
表设计优化建议
尽量充分利用二级分区，不要让每个二级分区的数据量过小。比如，您使用天做二级分区，但是每天数据量很小，这时可考虑改用月来做二级分区。选择合适的聚集索引 聚集索引会根据表的某个字段排序创建索引，适合的场景有：查询某个必选字段，...
数据倾斜诊断
智能诊断数据倾斜功能在系统后台以库为维度进行诊断，但不包括系统库（postgres、template0、template1、adbpgadmin和aurora 5个系统库），建议您将业务数据放在新建库中，不要将数据放在上述5个系统库中，否则无法诊断数据。智能诊断数据...
CREATE TABLE
尽量 不要选择日期、时间和时间戳类型的列作为分布键，写入时容易发生倾斜，影响写入性能，且多数查询通常是限定了日期或时间段，如：查询最近一天或一个月的数据，可能会导致要查询的数据只存在于一个节点上，无法充分利用分布式数据库中...
删除数据
如果要删除指定主键范围内的数据，请调用 GetRange 接口，查询指定主键范围内的数据，并获取待删除数据的主键信息。具体操作，请参见 范围读取数据。如果要删除满足指定条件的数据，请创建多元索引后，使用多元索引查询满足指定条件的数据...
表操作
如果在系统设计中存在要使用主键列自增的场景（例如电商网站的商品ID、大型网站的用户ID、论坛帖子的ID、聊天工具的消息ID等），请创建带自增主键列的数据表。更多信息，请参见 主键列自增。如果要落盘加密表中数据，请在创建数据表时配置...
按Key闪回
云数据库 MongoDB 版 分片集群实例支持了按Key闪回功能，您可以对指定的数据集合发起备份，便于后续因系统漏洞或故障而引起的小部分数据错乱或意外丢失时，根据数据的闪回Key（默认为_id）可对这部分数据进行回档，快速恢复数据。...
同步更新Oracle数据库（oracle_fdw）
RDS PostgreSQL提供oracle_fdw插件，可以连接到Oracle数据库，通过操作PostgreSQL表同步更新Oracle数据库中的表。前提条件 实例为RDS PostgreSQL 12（内核版本20200421及以上）。说明 您可以执行 SHOW rds_supported_extensions;查看是否...
CREATE TABLE AS（CTAS）语句
不要用CTAS方式创建Sink结果表进行数据同步，因为这种方式会无法走Fixed Plan，写入性能较差。流式数据湖仓Paimon×仅Flink计算引擎vvr-6.0.7-flink-1.15及以上版本支持Paimon结果表。功能特性 功能 详情 单表同步 支持实时同步源表的全量...
索引介绍
在实际业务中，主键查询常常不能满足使用需求，而使用Filter在数据规模大的情况下查询效率很低，那么要如何解决表引擎存在的数据查询问题？由于数据查询的效率与底层扫描的数据量正相关，而Filter模式慢在符合条件的数据太分散，必须扫描...
MySQL数据源
重要 如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS数据源 文档直接将其配置为DRDS数据源。使用限制 实时读 不支持同步MySQL只读库实例的数据。不支持同步含有Functional index的表。不支持XA ...
删除数据
如果要删除指定主键范围内的数据，请调用 GetRange 接口，查询指定主键范围内的数据，并获取待删除数据的主键信息。具体操作，请参见 范围读取数据。如果要删除满足指定条件的数据，请创建多元索引后，使用多元索引查询满足指定条件的数据...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
Tablestore Stream数据源
DataWorks数据集成支持使用Tablestore Stream Reader读取Tablestore的增量数据，本文为您介绍DataWorks的Tablestore Stream数据读取能力。数据同步前准备：Tablestore Stream环境准备 使用Tablestore Stream插件前，您必须确保Tablestore表...
MySQL
在读完chunk的数据之前，chunk的数据会先缓存在内存中，因此chunk 太大，可能导致内存OOM。chunk越小，故障恢复的粒度也越小，但也会降低吞吐。scan.snapshot.fetch.size 当读取表的全量数据时，每次最多拉取的记录数。否 INTEGER 1024 无...
删除数据
如果要删除指定主键范围内的数据，请调用 GetRange 接口，查询指定主键范围内的数据，并获取待删除数据的主键信息。具体操作，请参见 范围读取数据。如果要删除满足指定条件的数据，请创建多元索引后，使用多元索引查询满足指定条件的数据...
同步时源库为PostgreSQL的注意事项及限制
如果同步的源数据库类型为PostgreSQL，如RDS PostgreSQL、自建PostgreSQL，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
存储空间分析
说明 如果主键索引数据量较大，您可以在 表空间信息 中找到主键索引占比较大的表，并进行优化。表空间信息详情，请参见 查看表的数据量。其他 AnalyticDB for MySQL 集群中所有表热分区的元数据、临时数据等。冷数据量 说明 AnalyticDB for...
PolarDB MySQL版同步至阿里云消息队列Kafka版
在该场景下建议您不要同步该表，如果一定要同步，也只能同步部分列，即配置DTS任务时，过滤掉这些大字段的记录。如果已经是在同步中的任务，则需要修改同步对象，将该表移出，再次点击修改同步对象，加入该表，并将该表的大字段列过滤，不...
删除数据
如果要删除指定主键范围内的数据，请调用 GetRange 接口，查询指定主键范围内的数据，并获取待删除数据的主键信息。具体操作，请参见 范围读取数据。如果要删除满足指定条件的数据，请创建多元索引后，使用多元索引查询满足指定条件的数据...
删除数据
如果要删除指定主键范围内的数据，请调用 GetRange 接口，查询指定主键范围内的数据，并获取待删除数据的主键信息。具体操作，请参见 范围读取数据。如果要删除满足指定条件的数据，请创建多元索引后，使用多元索引查询满足指定条件的数据...
- 产品推荐
- 这些文档可能帮助您