HybridDB for MySQL设计和实践优化建议
当用户在使用HybridDB for MySQL进行数据库设计和实践的过程中，我们有如下建议：分区键的选择 分区键是数据库控制数据分布的维度，以该条件进行等值查询，查询范围只会限制在一个存储分区上，通常选择查询最频繁的列，或数据分布最均匀的...
全域分析
选择受众后，单击 交叉分析 页签，选择行变量标签、列变量标签，页面将展示两个标签在当前受众的交叉分布。单击 图标可以行/列互换，单击 图标可以仅筛选部分标签值加入分析。存为洞察报告 进行分析后，单击右上角 存为洞察报告，可将分析...
分钟统计/多 Key
列值筛选 提供 白名单 或 黑名单 两种方式进行列值关键字筛选，所有 Key 需统一规则时，列值筛选填写*。白名单 相当于 SQL 里的［Where Field=?语义。黑名单 相当于 SQL 里的［Where Field< >?语义。单击 新增触发条件，配置取值方式（即告...
事务执行状态说明
分布式事务使用两阶段提交协议（Two-Phase Commit Protocol，简称 2PC）来保证事务执行的原子性。2PC 包含两个阶段：第一阶段，也称准备阶段。由事务发起者向各参与者发送请求，询问参与者是否准备好执行事务。第二阶段，也称提交阶段。在...
索引介绍
解决此问题有如下两种思路：让符合条件的数据不再分散分布 使用二级索引，将某列或某几列作为二级索引的主键。相当于通过数据冗余，直接把符合条件的数据预先排在一起，查询时直接精确定位和扫描，效率极高。加快筛选的速度 使用多元索引，...
表的创建和使用
聚集索引定义 clustering key col5_col6_cls_index(col5,col6)定义了 col5 col6 的聚集索引，需要注意的是，聚集索引实际是排序索引，索引的类型和列的顺序关系严格相关。因此 col5 col6 和 col6 col5 是不同的排序索引。聚集索引有助于...
网商银行
网商银行之所以能够顺利完成分布式的云计算架构建设，主要依托三方面的优势：承袭了蚂蚁集团的两项核心技术——分布式事务框架 XTS 和 OceanBase 数据库。完善的分布式架构辅助支撑平台。高度互联网化的研发运维体系。这三方面共同构筑了...
电子表格支持函数说明
GAMMA.DIST 计算伽玛分布（两参数连续概率分布）。GAMMA.INV 指定概率以及 alpha 和 beta 两个参数，返回伽玛累积分布函数的反函数的值。GAMMALN 返回指定伽玛函数的以 e（欧拉数）为底的对数。GAUSS 标准正常变量处于平均值的 z 标准差内...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
如何设计宽表主键
最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为[reverse(userid)][orderid]。设计取模，主键设计为[bucket][timestamp][hostname][log-event];long bucket=timestamp%...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
如何优化高并发IM系统架构
主键顺序 主键名称 主键值 说明 1 partition_key md5（receive_id）前4位 分区键保证数据均匀分布 2 receive_id receive_id 接收方的用户ID 3 message_id message_id 消息ID 表格存储表结构包括主键列和属性列两部分。主键列 最多支持4个...
索引优化
说明 只有索引键的列与 AnalyticDB PostgreSQL版 分布键相同（或者是其超集）时，AnalyticDB PostgreSQL版 数据库才允许唯一索引。在追加优化表上不支持唯一索引。在分区表上，唯一索引无法在一个分区表的所有子表分区之间被实施。唯一索引...
批量数据合并
计算逻辑原理 内连接：使用两个数据中索引列的交集，类似于SQL内部连接。外连接：使用两个数据中索引列的并集（外连接合并时可能会产生空值（值为NaN）），类似于SQL外部连接。参数说明 IN1端口-输入参数 参数名 参数描述 是否必填 输入...
概述
PolarDB-X 列存索引，基于分布式事务的Binlog日志实时同步，实现行转列（M:N）的异构转换，同时可以定义列存索引特有的分布式分区键、排序键等，结合分布式的并行技术，提供列存查询的线性扩展能力。同时行存和列存存储介质相互隔离，存储...
优化内部表的性能
例如，Hologres需要收集数据的采样统计信息，包括数据的分布和特征、表的统计信息、列的统计信息、行数、列数、字段宽度、基数、频度、最大值、最小值、长键值、分桶分布特征等信息。这些信息将为优化器更新算子执行预估COST、搜索空间裁剪...
数学统计函数
返回的值越大表示两列的相关性越高。语法 corr(x,y)参数说明 参数 说明 x 参数值为double类型。y 参数值为double类型。返回值类型 double类型，取值范围[0,1]。示例 计算 request_length 字段值与 request_time 字段值的相关度。查询和分析...
参与者接入模式
使用分布式事务涉及两个核心角色：发起方：指的是开启分布式事务的应用系统。参与者：指的是提供分支事务的应用系统。同一个应用系统可能兼具发起方和参与方两个角色。分布式事务目前提供了三种参与者接入模式：TCC 模式、FMT 模式 与 Saga...
数据倾斜诊断
不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，从而导致了数据的倾斜。查看数据倾斜 智能诊断功能的诊断信息存储在 adbpg_toolkit.diag...
分析数据
数据探查通过列分析的方法，探查每列数据的类型和值的分布。您可以选中需要分析的数据，单击菜单栏中的 数据探查，即可在电子表格顶部，以图形和富文本的形式，为您展示每列数据的类型、值分布的概览情况。数据探查简单模式的说明如下：...
用户洞察
可同时对比着洞察分析两个人群的画像分布情况。可点击进行对比人群的删除。5)若觉得某些所洞察的标签不再需要，可点击进行删除。6)点击右上角【存为洞察报告】，可将当前洞察结果进行保存。保存的报告将添加到【报告管理】列表中。特征交叉...
一键导入MaxCompute数据
分布列 Hologres会按照分布列指定的列将数据shuffle到各个Shard，同样的数值会在同样的Shard中。以分布列做过滤条件时，可以大大提高执行效率。分段列 您可以指定部分列作为分段键Segment_key。当查询条件包含分段列时，您可以通过分段键...
产品整体介绍
另外也支持随机分布策略，主要场景是当前表字段中无合适字段作为hash分布列（比如会引起各个节点数据倾斜），同时该表也不小（不适合复制策略），随机分布可以让该表数据被均匀摆放到各节点。在将表数据分布到各个存储节点后，在单个节点上...
大盘
样式如下：具体的配置方法如下：隐藏左侧 方法 列：在 Key 隐藏 中设定，填写需要隐藏列的序号，如：隐藏第一列则填写“0”，隐藏第二列则填写“1”，隐藏第一列和第三列则填写“0,2”。将 方法 列名配置到报表上方：通过 数值列 配置页面...
查看应用拓扑图
单击 实时链路 列的 查询，即可跳转至分布式链路的 链路查询 页。其他操作 您可以通过拓扑页面右上角的各个按钮对拓扑图进行如下相关操作。操作 说明 搜索拓扑图中的应用 从下拉列表中选择目标应用，将打开应用详情面板，您可以查看目标...
查询性能优化指导
segments:3)(cost=0.00.431.00 rows=1 width=16)Hash Key:t2.a->Table Scan on t2(cost=0.00.431.00 rows=1 width=16)Settings:optimizer=on Optimizer status:PQO version 1.609(10 rows)如果t2表的分布列是t2.a，则无需重分布就可以直接...
配置自定义业务监控
配置自定义监控主要包括如下的步骤：选择监控产品 填写基本信息 配置日志筛选 设置列值分组 选择统计方式 配置报警 日志筛选 提供 新增白名单筛选 或 新增黑名单筛选 两种方式进行日志关键字筛选：白名单 相当于 SQL 里的［Where Field=?...
创建大盘
样式如下：具体的配置方法如下：隐藏左侧 方法 列：在 Key 隐藏 中设定，填写需要隐藏列的序号，比如：隐藏第一列则填写 0，隐藏第二列则填写 1，隐藏第一列和第三列则填写 0,2。将 方法 列名配置到报表上方：通过数值列配置页面中的 Key ...
CO_HASH分区
适用场景 在电商场景，业务订单表常常会出现以下现象：业务订单表的两个列或多个列之间的值存在一种协同关系，比如，常见的订单表的order_id与buyer_id的后N位数字总是相同的。由于业务订单表的数据量一般偏大，用户考虑在对订单表进行水平...
排序优化
AnalyticDB PostgreSQL版 支持通过组合排序（适用于：查询SQL的等值条件或范围条件包含几个固定列）或多维排序（适用于：查询SQL包含的过滤条件不是固定的列）加速查询。背景信息 您在创建表时，可以定义一个或多个列为排序键，当有数据...
创建数据表
该表包含pk1（String类型）和pk2（Integer类型）两列主键且包含defcol1（String类型）和defcol2（Integer类型）两个预定义列，属性列值只保留最新版本数据以及数据永不过期。该全局二级索引的主键列为defcol1、pk1和pk2，属性列为defcol2。...
正态检验
正态性检验通过观测值判断总体是否服从正态分布，是统计判决中重要的一种特殊的拟合优度假设检验。本文为您介绍 Designer 提供的正态检验。正态检验组件由 Anderson-Darling Test、Kolmogorov-Smirnov Test 和 QQ图 检验方法组成，您可以...
表结构设计
语法 DISTRIBUTED BY HASH(column_name,.)注意事项 尽可能选择值分布均匀的字段作为分布键，例如交易ID、设备ID、用户ID或者自增列作为分布键。说明 尽量不要选择日期、时间和时间戳类型的字段作为分布键，写入时容易发生倾斜影响写入性能...
Join优化
Shuffle方式 网络开销 物理算子 适用场景 BroadCast N*T(R)Hash Join/Nest Loop Join 通用 Shuffle T(S)+T(R)Hash Join 通用 Bucket Shuffle T(R)Hash Join Join条件中存在左表的分布式列，且左表在执行时只使用单分区的数据 Colocation 0 ...
控制台总览
应用监控指标分布图 应用监控指标 TOP5 排行 收藏的应用与链路 应用监控指标分布图 在 应用监控指标分布图 区域，您可以查看到在统计时间段内运行的所有应用的总体监控指标数据。如下图所示，一个圈代表一个应用，X 轴对应该应用的响应时间...
设置优化器的Join Reorder
为了提高列存索引（IMCI）处理复杂查询的能力，列存索引优化器通过结合变换规则与表中各个列的统计信息，基于代价生成高效的执行计划，以此来增强自身的优化器能力。本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。...
概览
创建表 集群管理系统共支持创建两种表：SQL表和HBase表。创建SQL表 单击 创建SQL表。在面板中填写以下信息：参数 是否必填 说明 命名空间 是 表所属命名空间。表名 是 表的名称。版本数 是 数据保留版本数。TTL 是 数据保存有效期。超过...
常见问题
本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟机、物理机上？可以，SOFAStack 部署支持物理机、虚机机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK？SOFAStack 部署支持多云异构、目前支持华为云、开源 ...
基本概念
一个应用的一个逻辑 Zone 就需要用两个维度来描述（App+Zone）。监控对象实际上是监控数据的归属。框架配置 基于 SOFA/SOFABOOT 框架开发的应用，PV、Service、SAL、SQL、Cal、CE Thread 等监控项会自动基于默认框架下的日志路径采集指标，...
列存索引技术架构介绍
IBM在2013年发布的10.5版本（Kepler）中，增加了DB2 BLU Acceleration组件，通过列式数据存储配合内存计算以及DataSkipping技术，大幅提升分析场景的性能。三家领先的商用数据库厂商，均同时采用了行列混合存储结合内存计算的技术路线。列...
- 产品推荐
- 这些文档可能帮助您