表分布定义
为保障数据可以均匀分布在各个节点上，建议您选择唯一键（例如主键）作为分布键。AnalyticDB PostgreSQL版 的默认分布策略为哈希分布，如果建表时未指定DISTRIBUTED子句，系统会选择主键或表的第一个合适的列作为分布键。如果表中没有合适...
数据分布策略
为保障数据可以均匀分布在各个节点上，建议您选择唯一键（例如主键）作为分布键。AnalyticDB PostgreSQL版 的默认分布策略为哈希分布，如果建表时未指定DISTRIBUTED子句，系统会选择主键或表的第一个合适的列作为分布键。如果表中没有合适...
何时选择HASH分区
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。使用HASH分区的目的如下：使分区间数据分布均匀，分区间可以并行访问；根据分区键...
数据拆分
一、组件说明 在联邦学习任务中，数据拆分是将一份原始数据集分成训练集和测试集两个部分的过程。拆分数据集的目的是为了在训练...随机数种子 随机拆分的方式为伪随机，随机数种子可以控制同一个数据集中，随机选择的数据都是同样的划分方式。
数据倾斜调优
MapReduce的具体工作流程示意图如下：数据倾斜 数据倾斜多发生在Reducer端，Mapper按Input files切分，一般相对均匀，数据倾斜指表中数据分布不均衡的情况分配给不同的Worker。数据不均匀的时候，导致有的Worker很快就计算完成了，但是有的...
数据探索函数
数据探索函数得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。函数 说明 均匀分布或指数分布的检验函数 检验数据分布是否满足均匀分布或指数分布。正态分布检验函数 检验数据分布是否满足正态分布。...
FineBI
选择数据分布均匀的一列做为分布键，数据类型为时间的一列做为分区键。更多详情，请参见 表结构设计。观察集团商品销售总表中的几列数据，按单据编号分布较随机，且购物篮分析中，会用到单据编号做JOIN，因此用单据编号做分区键；用日期做...
数据倾斜诊断
恰当的分布键 上图示例中，选择了主键id为分布键，数据均匀地分布到了四个计算节点上。不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，...
Quick BI
选择数据分布均匀的一列做为分布键，数据类型为时间的一列做为分区键。更多详情，请参见 表结构设计。观察集团商品销售总表中的几列数据，按订单编号分布较随机，因此用订单编号做分区键，用日期做二级分区，由于不再导入数据，在这里选择...
FineReport
在弹出的下拉列表中，选择 数据库查询。在弹出的数据库查询对话框中，找到AnalyticDB对应的数据源和对应表，写入数据查询语句，新建数据集ds1。如下示例，查询 select*from demo_sales，查询并取出demo_sales表中的所有数据。通过聚合查询...
FMT 模式参与者
配置数据源 您可以选择以下任一数据源配置方案：封装数据源 您可以选择使用自选的数据源，然后使用分布式事务数据源代理（com.alipay.sofa.dtx.datasource.WrappedDtxDataSource ）封装该数据源，配置示例如下：原代码：!自选的数据源，可...
使用MongoDB存储日志数据
按均匀分布的key分片：假设上述场景里 path 字段的分布是比较均匀的，而且很多查询都是按path维度去划分的，那么可以考虑按照path字段对日志数据进行分片，带来的好处如下：写请求会被均分到各个shard。针对path的查询请求会集中落到某个...
分区表常见问题
使用分区表数据量没有下限，空表也可建分区表，但数据量太少没必要分区，一般普通表大于500 MB可以选择使用分区表。当单分区数据量超过64 TB（与单个普通表一致），最大分区数超过8192时不适合使用分区表。建议单表数据量超过1 TB或者1亿行...
偏分析场景的实践和优化
选择合适的分区键 PolarDB-X 默认按照主键做分拆，主要为了降低分布式数据库的使用成本。同时我们也支持通过指定分区键建分区表，在分析场景中建议您根据如下依据选择分区键：尽可能选择参与JOIN的字段作为分区键，这样做的目的是为了关联...
基本概念
当 Worker 4 Failover后，假设 Worker 4 对应 Shard 7 和 Shard 8，那么 Shard 7 和 Shard 8 就会被快速分配给其他3个Worker，因为只有2个Shard，所以系统会随机选择2个Worker进行分配，尽量保证Worker的SE数量均匀。总结 Worker数量与...
列存索引如何实现高效数据过滤
优势与适用场景 PolarDB IMCI的多种查询剪枝技术是相辅相成的，可以结合使用，用户需要根据自己的数据特征以及查询场景，选择使用相应的方法。IMCI的查询剪枝技术都需要数据具有一定的分布特征，局部性越强，pruning效果越好，但现实场景...
分区分桶
分桶列的选择，是在 查询吞吐 和 查询并发 之间的一种权衡：如果选择多个分桶列，则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。这个...
表操作篇
可以采取以下任一措施来提升导入数据的速率：将原始数据顺序打乱后再进行导入，以保证写入数据均匀地分配在各个分区上。使用多个工作线程并行导入数据。把大的数据集合切分成很多个小集合，工作线程随机选取小集合进行数据导入。区分冷数据...
常见问题
需要重点关注的参数有：partitions：如果只有HASH分区，建议将分区数量 partitions 设置为较大的值，例如64、128等，可以使数据分布至更多的分区。数据查询时，如果查询语句通常会携带分区字段，那么系统只需要在某一个或某几个分区中查找...
PS-SMART回归
例如，data_sample_ratio 及 fea_sample_ratio 表示的数据和特征采样、算法使用的直方图近似优化及局部Sketch归并为全局Sketch的顺序随机性。虽然多个Worker分布式执行时，树结构不同，但是从理论上可以保证模型效果相近。如果您在训练过程...
数据建模诊断
分布字段合理性诊断 AnalyticDB MySQL版 在创建表（创建方法，请参见 CREATE TABLE）时可以通过 DISTRIBUTED BY HASH 指定分布键，来完成数据在各个存储节点的均匀分布。但是因为数据特征存在未知性或者随着业务特征变化会发生变化，所以...
PS-SMART多分类
例如，data_sample_ratio 及 fea_sample_ratio 表示的数据和特征采样、算法使用的直方图近似优化及局部Sketch归并为全局Sketch的顺序随机性。虽然多个Worker分布式执行时，树结构不同，但是从理论上可以保证模型效果相近。如果您在训练过程...
创建压测场景
PTS的JDBC压测功能支持对MySQL（MySQL 5.x、MySQL 8）、SQL Server、PostgreSQL、MariaDB数据库进行压测。本文介绍如何使用JDBC压测功能。背景信息 JDBC（Java Database Connectivity，Java数据库连接）通过Java API访问关系型数据库，并可...
分布键的选择策略
选择数据分布均匀的列或者多个列 若分布键数据分布不均匀，可能会导致数据倾斜。数据倾斜会导致部分计算节点存储的数据过多，查询负载大，查询耗时变长。因此请不要选择bool类型、时间日期类型的列作为分布键。选择经常需要JOIN的列作为...
版本及存储引擎
本文介绍云数据库MongoDB支持的版本、引擎及版本和引擎之间的适配关系，帮助您选择适合您的业务需求的实例。支持版本 云数据库MongoDB支持如下版本：说明 您可以在实例运行期间手动升级数据库版本，但版本升级后不支持降级。详情请参见 ...
限制说明
使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版作为数据库缓存的效果不明显。在选择缓存时，需要充分考虑到业务模式对数据访问的要求。数据删除...
创建压测场景
数据类型 Key的数据类型，包括：String List Hash Set 方法 对于不同数据类型，选择具体的使用方法。key 键。出参设置 在串联链路的 出参设置 页签设置出参。具体操作，请参见 接口出参。检查点设置 在串联链路的 检查点设置 页签设置检查...
创建压测场景
您可以使用WebSocket压测功能在PTS控制台快速构建压测场景，实现压测。本文介绍如何对WebSocket进行压测。背景信息 WebSocket实现了客户端与服务端之间的双向数据传输，在消息推送、在线聊天等实时通信场景下均有广泛应用。目前常用的...
影响查询性能的因素
如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；如果数据分布不均匀，那么子任务在处理数据时会存在时间上的长尾，从而影响最终的查询效果。数据量...
调优集群性能
如下图所示，某张表是根据a字段进行分布，因为a字段本身比较均匀，所以数据均匀地分布在不同的存储节点上，当您使用了b字段进行分组（group by b），那么存储节点1会将b字段值为b1的数据行分发到计算节点1，为确保计算节点1具有所有b字段值...
产品功能
阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB Automl）支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...
数据导入性能优化
当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择分布键，请参见 选择分布键。判断分布键合理性：导入前，根据导入数据所选分布键的业务意义判断是否合理。以表...
数据导入性能优化
当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择分布键，请参见 选择分布键。判断分布键合理性：导入前，根据导入数据所选分布键的业务意义判断是否合理。以表...
管理敏感数据
说明 开通免费试用后，系统会根据您提供的用户名和密码抽取目标数据库中的元数据和少量随机数据用于敏感数据分析，这些数据不会被存储和修改。您可以在页面中查看到数据库相关信息和数据库中敏感数据的扫描结果。如需对扫描出来的敏感数据...
通过LOCALITY指定存储位置（DRDS模式）
PolarDB-X 支持通过LOCALITY关键字来指定数据库或单表的存储位置，以实现数据隔离或数据的均匀分布。本文介绍了DRDS模式数据库中使用LOCALITY的方法。本语法仅适用于DRDS模式数据库。前提条件 实例版本需为5.4.10或以上。关于如何查看实例...
使用数据实验室
异常点 在 分布模型 中所确定的数据量的基础上，随机选择某些周期，在这些周期内的数据量会出现异常变化，您可以指定出现异常点的概率和异常点数据量变化的倍率。您可以配置多个异常选项，每个数据周期最多出现一个异常点，优先模拟排在...
产品整体介绍
数据模型 将表数据均匀的分布到各个节点中，是发挥集群整体IO性能，提升存储容量，优化计算与网络传输效率的关键。除了默认的哈希分布策略，AnalyticDB PostgreSQL版 还支持复制分布和随机分布。复制分布是指在每个存储节点上都存放该表的...
索引优化
AnalyticDB PostgreSQL版 会将数据尽量均匀地分布在所有的计算节点上，因此，在节点足够多的情况下，每一个计算节点只会扫描属于自己的一小部分数据。并且对于BI报表类查询，通常会返回很大的数据集，使用索引在这种场景并不一定有加速查询...
数据洞察
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 工作空间列表，找到目标工作空间后，单击 操作 列的 快速进入，选择 数据分析。在 数据分析 页面左侧导航栏单击 数据洞察，进入数据洞察列表页。说明 数据洞察列表页仅保留7天内...
如何处理Tair集群数据倾斜
通常情况下，各数据分片节点的Key数量是均匀分布的，同时内存使用率、CPU使用率等性能指标也是相近的。但在使用数据库的过程中，可能会由于前期规划不足、不规范的数据写入及突发的访问量，造成数据量倾斜或数据访问倾斜，最终引起数据倾斜...
- 产品推荐
- 这些文档可能帮助您