宽表模型介绍
如果业务中有类似电商网站的商品ID、大型网站的用户ID、论坛帖子的ID、聊天工具的消息ID等使用主键列自增的场景，您可以配置主键列自增。5 基础数据操作 说明 合理的属性列设置能提升业务数据使用效率，建议您参考 数据操作最新实践 文档...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
索引选择
如果基于主键和主键范围查询的功能已经可以满足业务需求，则不需要建立索引。更多信息，请参见 读取数据。如果对某个范围内进行筛选，范围内数据量不大或者查询频率不高，则可以使用Filter功能，不需要建立索引。更多信息，请参见 过滤器。...
自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle）
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下，...
从Amazon RDS Oracle迁移至PolarDB PostgreSQL版...
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：...
查看数据探查报告及探查记录
若字段存在Null值或空字符串的情况，治理建议如下：若该字段为 主键（或不可为空值的字段）且是 数值型或文本型，探查结果存在Null值记录数，建议您为该字段配置 字段空值校验 的质量监控规则，避免阻断下游业务正常使用。若该字段为 主键...
查看数据探查报告及探查记录
若字段存在Null值或空字符串的情况，治理建议如下：若该字段为 主键（或不可为空值的字段）且是 数值型或文本型，探查结果存在Null值记录数，建议您为该字段配置 字段空值校验 的质量监控规则，避免阻断下游业务正常使用。若该字段为 主键...
自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle）
由于业务切换到目标端后，新写入的Sequence不会按照源库的Sequence最大值作为初始值去递增，您需要在业务切换前，在源库中查询对应Sequence的最大值，然后在目标库中将其作为对应Sequence的初始值。查询源库Sequence值的相关命令如下：...
全密态数据库性能测试报告
场景 说明 SQL示例 主键不加密，其他列加密 常见业务场景中，id 为自增字段并与业务无关，因此此场景不加密 id 列，将其他列作为敏感信息进行加密。CREATE TABLE test1(id INTEGER NOT NULL,k enc_int4 DEFAULT '\xa509008855508aade16ec...
表引擎
因此为了能够达到主键折叠（删除）的目的，需要业务层进行如下操作。记录原始状态行的值，或者在执行删除状态操作前先查询数据库获取原始状态行的值。具体原因：执行删除状态操作时需要写入取消行，而取消行中需要包含与原始状态行主键一样...
明细数据层（DWD）
在事实表中，通常通过业务描述来表述粒度并定义事实表主键，但对于聚集性事实表的粒度描述（例如存在下单、支付等多个事务），可以基于多个字段拼接，形成新的字段作为事实表主键，也可以不定义主键，这样一行记录即最小粒度。在同一个事实...
表操作篇
如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是最小的分区单位，相同的分区键值下的数据...
数据注册
字段结构 主键 唯一表示一个物品，在源数据中不能为空，也不能重复 分片字段 用于数据分片的字段，按照该值hash将索引分到不同的分片 调度策略 目前仅支持“依赖数据源产生新分区”，当用户的新分区以及对应的done分区产出后，系统会触发新...
功能特性
满足业务在使用分布式数据库下对主键或者唯一键以及特定场景的需求。数据库账号权限体系 数据访问代理支持类单机 MySQL 账号和权限体系，确保不同角色使用的账号操作安全。分布式事务 数据访问代理结合中间件分布式事务套件，可以支持分布...
数据采集2.0
该值为开放搜索应用中主表主键值 必须 12 item_type STRING doc的业务类型 可设置的值见下文【关于item_type定义】必须 13 bhv_type STRING 行为类型，例如曝光、停留、浏览、收藏、下载等 可设置的值见下文【常用行为类型】必须 14 bhv_...
CREATE TABLE
在数据写入量较大的场景中可以很好的实现数据均衡，搜索引擎默认按照主键进行HASH分区，同时也支持自定义的业务分区键。使用一级HASH分区时，如果自定义的HASH键存在热点问题，则可能导致大量数据写入同一个分区中，影响查询和写入性能，...
最佳实践
删除重复数据（根据业务需要，仅保留一条数据），删除数据操作可以通过 PolarDB-X 1.0 执行，也可以根据报错信息，直接连接到 PolarDB-X 1.0 后端的RDS物理库中操作：mysql>delete from test_pending where id=1 and age=20;Query OK,1 row...
内核增强版高级特性应用
单分片流量 不带主键写入流量最大为10 MB/s 带主键写入流量最大为5 MB/s 按照整体业务流量及写入索引分片总数评估单分片流量，可适当增加主分片数提高索引流量。执行 GET_cat/tasks?v 命令时可能会看到 apack/cube/metadata/sync 相关任务...
新建事实逻辑表
业务活动（过程）添加多个属性后生成事实逻辑表。事实逻辑表包含主键、度量和事实属性字段。主键用于定义事实逻辑表从来源表中的取数逻辑；度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表...
新建事实逻辑表
业务活动（过程）添加多个属性后生成事实逻辑表。事实逻辑表包含主键、度量和事实属性字段。主键用于定义事实逻辑表从来源表中的取数逻辑；度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表...
订单汇总表数据要求
user_id是表的主键，必选字段。其他用户ID请根据业务需要设置。ID类型支持使用 ID类型管理 中所有已启用的ID类型。同一ID类型仅支持保存一个字段。您可以保存用户ID原文，也可以保存加密后的用户ID，加密方式支持MD5、SHA256、AES。淘宝...
数据归档至专属存储
说明 建议源表中包含业务修改时间的字段，以便将业务修改时间作为归档的过滤条件。费用说明 公测阶段暂不收费。若使用此功能开始收费，则会提前通知。注意事项 数据归档至专属存储无存储量限制。如果待归档的源表中存在三个列联合主键（即...
新建普通维度逻辑表
前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 请参见 规范建模入口，进入规范建模页面。按照下图操作指引，进入 新建维度逻辑表 对话框。在 新建维度逻辑表 对话框，配置参数。参数 ...
新建普通维度逻辑表
前提条件 已完成业务实体的创建，具体操作请参见 创建并管理业务实体。步骤一：创建普通维度逻辑表 在Dataphin首页，单击顶部菜单栏的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建维度逻辑表 对话框。在 新建维度逻辑表 对话框...
数据归档至用户OSS
注意事项 如果待归档的源表中存在三个列联合主键（即三个相互关联的列共同构成该表的主键）或三个及以上的唯一键，可能会出现归档失败的情况。建议您在归档前对拥有三个列联合主键的源表进行充分测试，或者考虑使用DBS备份等其他归档方式。...
数据表管理
如果新表使用了自增主键，通过 rename 语句重命名完成后，需要手动修改该表的sequence的起始值，避免出现主键冲突，修改方法请参见 修改Sequence。在弹出的对话框中，等待预检结果显示成功后，单击 调整。单击右上角 图标，查看 拆分工具-...
新建层级维度逻辑表
步骤二：配置层级维度逻辑表计算逻辑 在 计算逻辑 页面，配置维度逻辑表的来源数据与主键间的映射关系。参数 描述 字段名称 默认为业务过程的名称，您也可以修改字段名称，命名规则如下：不能超过128个字符。支持任何字符。数据类型 根据...
新建层级维度逻辑表
步骤二：配置层级维度逻辑表计算逻辑 在 计算逻辑 页面，配置维度逻辑表的来源数据与主键间的映射关系。参数 描述 字段名称 默认为业务过程的名称，您也可以修改字段名称，命名规则如下：不能超过128个字符。支持任何字符。数据类型 根据...
写入数据
如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与实战。说明 本文示例中的pkValue均表示主键列值，使用时请根据实际填写具体数据。写入方式 表格存储 提供的数据写入接口包括PutRow、UpdateRow和BatchWriteRow。...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
名词解释
为贴合业务场景并进一步提升查询性能，您可以在创建时序表时指定标签列作为主键，显式指定数据在多个节点分片（Data Sharding）上的分片规则。FIELD ✖️ 〇 Field（量测列）是指时序表中标签列和时间戳列以外的列。TIME SERIES ✖️ 〇 ...
入湖基础操作
可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务低谷期执行此类任务，...
迁移
执行迁移前需评估源库和目标库的性能，因此建议在业务非高峰期执行迁移。迁移时会占用源和目标库一定读写资源，导致数据库的负载上升。在迁移期间，请勿对源实例和目标实例执行扩容、缩容、迁移热点表、变更拆分键和变更DDL等操作，否则会...
用户标签表数据要求
user_id是表的主键，必选字段，称为用户标识。其他用户ID请根据业务需要设置。ID类型支持使用 ID类型管理 中所有已启用的ID类型。同一ID类型仅支持保存一个字段。您可以保存用户ID原文，也可以保存加密后的用户ID，加密方式支持MD5、SHA256...
建表概述
一般情况下无需设置Table Group，使用默认Table Group即可，当实例规格较大（大于256 Core时），建议根据业务情况划分不同的Table Group和Shard数，带来更好的性能，使用详情请参见 Table Group与Shard Count操作指南。call set_table_...
上下游存储
读取kafka源表显示业务延迟，不符合预期，如何处理？如何解决字段命名冲突的问题？DataHub源表 分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的DataHub Topic吗？全量和增量MaxCompute源表 endPoint和...
服务介绍
与二级索引的区别 HBase增强版提供 高性能原生二级索引，可以低成本的解决非主键查询问题，适用于查询列比较固定的场景。如果业务场景需要复杂的多维组合查询，需要考虑使用Search服务。与开源Solr的区别 Search服务深度融合HBase和Solr，...
如何设计宽表主键
Lindorm宽表引擎是一款分布式数据引擎，宽表引擎中的数据均按照主键进行分布。在执行查询时，如果表中存在多列主键，系统会从最左边的主键开始匹配。如果主键设置不当，则可能导致主键无法被有效利用，进而产生热点问题，影响查询性能。...
- 产品推荐
- 这些文档可能帮助您