DISTRIBUTED MAPJOIN
shard_count=<n>：设置小表数据的分片数，小表数据分片会分布至各个计算节点处理。n 即为分片数，一般按奇数设置。说明 shard_count 值建议手动指定，shard_count 值可以根据小表数据量来大致估算，预估一个分片节点处理的数据量范围是[200...
概览
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
DISTRIBUTED MAPJOIN
shard_count=<n>：设置小表数据的分片数，小表数据分片会分布至各个计算节点处理。n 即为分片数，一般按奇数设置。说明 shard_count 值建议手动指定，shard_count 值可以根据小表数据量来大致估算，预估一个分片节点处理的数据量范围是[200...
分箱
否 全表 inputBinTableName 输入的分箱表。否 无 selectedBinColNames 分箱表选择的列。否 空 positiveLabel 输出正样本的分类。否 1 nDivide 分箱的个数，取值为正整数。否 10 colsNDivide 自定义列的分箱个数，例如 col0:3,col2:5。如果 ...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续的表加工和使用做基础。本文介绍如何手动新建逻辑表。前提条件 已新建目录，具体操作，请参见 新建模型目录。操作步骤 登录 数据资源平台...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续的表加工和使用做基础。本文介绍如何手动新建逻辑表。前提条件 已新建目录，具体操作，请参见 新建模型目录。操作步骤 登录企业数据智能...
Dataphin新建治理项展示字段含义
life_cycle Integer 生命周期 物理表的生命周期 pangu_file_size Integer 存储大小 物理表的物理存储大小 health_score Double 健康分 本系统计算的物理表健康分 owner_name string 负责人 物理表在dataphin资产目录中对应的负责人名称 biz...
扫描全部/部分分库分表
语法#SCAN HINT#将SQL语句下发到所有分库的所有分表上执行 SCAN()#将SQL语句下发到指定分库的所有分表上执行 SCAN(NODE="node_list")#指定分库#将SQL语句下发到指定分库分表上执行，根据条件计算物理表名称 SCAN([TABLE=]"table_name_list...
拆分函数概述
当一张逻辑表的分库拆分方式与分表拆分方式不一致时，若SQL查询没有同时带上分库条件与分表条件，则 PolarDB-X 1.0 在查询过程会进行全分库扫描或全分表扫描操作。拆分函数对分库、分表的支持情况 拆分函数 说明 是否支持用于分库 是否支持...
MySQL分库分表同步至MaxCompute
步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，...
MySQL分库分表同步至MaxCompute
步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，...
扫描全部/部分分库分表
语法#SCAN HINT#将SQL语句下发到所有分库的所有分表上执行 SCAN()#将SQL语句下发到指定分库的所有分表上执行 SCAN(NODE="node_list")#指定分库#将SQL语句下发到指定分库分表上执行，根据条件计算物理表名称 SCAN([TABLE=]"table_name_list...
扩缩容
表的数据存储方式 表之间数据存储和查询共享数据节点资源（CPU、内存、磁盘）：上图中展示的就是两张向量表，一个是4分片，一个是1分片，4分片的会根据产出的索引进行均分数据到每个分片中，而1分片的向量表则会形成广播表在每个数据节点中...
Colocation Join
基本原理 Colocation Join功能，是将一组拥有相同CGS的Table组成一个CG，并保证这些Table对应的数据分片会落在同一个BE节点上，使得当CG内的表进行分桶列上的Join操作时，可以通过直接进行本地数据Join，减少数据在节点间的传输耗时。...
概述
查询优化器 支持Partial Partition Wise join 无 支持Partition动态剪枝 支持Partition Index Pruning 支持分区粒度的统计信息（Hyperloglog）分区表支持分区间的并行扫描 支持全局索引优化器选择和并行扫描 支持分区与MPP相结合 分区粒度...
深度解析PolarDB数据库并行查询技术
对于方案二，需要并行创建共享的HASH build表，当build表创建成功后，每个线程读取Probe表的一个分片，分别执行HASH JOIN，这里的分片并不需要按照HASH key进行分片，每个线程分别读取互不相交的分片即可。分析统计的复杂算子的并行 对于...
SKEWJOIN HINT
当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据...
Sharding 功能介绍
语法 CREATE[TEMPORARY]TABLE tbl_name[(create_definition,.)][table_options][dbshard by hash([id,str])shards N][tbshard by hash([id,str])shards N]使用限制 单库单表：在单库单表中执行 Sharding 语句创建分库分表时，会被拦截。...
主键与唯一键（DRDS模式）
沿用示例3中的order_tbl表，该表使用city作为分库拆分键，且只分库不分表，因此每个分库都只有1张分表。向order_tbl插入一条数据，执行成功。INSERT INTO order_tbl(order_id,city,name)VALUES(10001,"Beijing","phone");Query OK,1 row ...
SKEWJOIN HINT
当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据...
评分卡训练
如果该表指定，则先自动根据该表的分箱规则对原始特征进行离散化，再进行训练。否 无 featureColNames 输入表选择的特征列。否 选择全部，自动排除Label列。labelColName 目标列。是 无 outputTableName 输出模型表。是 无 ...
分区表常见问题
是的，分区表把数据切分成小的分片独立管理，从而使得拥有大数据量的表仍然拥有高性能和高可用。分区表的更多介绍请参见 分区表概述。业务上估算单张表的数据量为2 TB，选择使用 PolarDB MySQL版 还是PolarDB-X？PolarDB MySQL版 单表最大...
数据集成侧同步任务能力说明
数据同步场景 全增量同步任务支持单表数据同步至目标端单表、分库分表数据同步至目标端单表、整库（多表）数据同步至目标端多表。DataWorks为您提供多种类型的全增量同步任务。包括整库离线同步（一次性全量同步、周期性全量同步、离线全...
CREATE TABLE（DRDS模式）
使用哈希函数做拆分 建一张表，既分库又分表，每个库含有3张物理表，分库拆分方式为按照ID列进行哈希，分表拆分方式为按照bid列进行哈希。您可以先根据ID列的值进行哈希运算，将表中数据分布在多个子库中，每个子库中的数据再根据bid列值的...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
画像分析-BSI优化方案（Beta）
表DDL语句如下：Roaring Bitmap表示的用户属性标签表并分桶 CREATE TABLE rb_tag(tag_name text,tag_val text,bucket int,bitmap roaringbitmap)WITH(distribution_key='bucket'-将分桶编号作为distribution_key);BSI表示的用户行为标签表...
V5.1.x系列实例版本说明
新增拆分函数UNI_HASH能让分库数一样的两张表的JOIN保持为非跨库JOIN，不再受到分表数目的影响。增加支持ISNULL()函数。支持只读库因同步延迟过大自动切断流量并回流主库的功能。性能优化 优化权限相关的SQL错误提示，与MySQL保持一致。...
如何使用HINT（5.2及以下版本适用）
说明 使用该自定义HINT时，PolarDB-X 1.0 会将SQL直接下发到分库上执行，所以在SQL语句中，表名必须是该分库中已经存在的表名。TDDL:table_name.partition_key=value[and table_name1.partition_key=value1]*/在这个 PolarDB-X 1.0 自定义...
分区表命令列表
ALTER TABLE…SPLIT SUBPARTITION 将一个子分区划分为两个子分区，并重新分配子分区的内容。ALTER TABLE…MERGE PARTITION 将两个分区合并为一个新分区，新分区中包含原有两个分区的内容。ALTER TABLE.MERGE SUBPARTITION 将两个子分区合并...
DDL语句
目录 创建表 修改表属性-增加列 修改表属性-删除列 修改表属性-表重命名 修改表属性-手动合并碎表 删除表 删除表-彻底删除 清空表数据 创建单值分区表 创建单值分区 删除单值分区 清空单值分区 创建分桶表 创建索引 添加索引 删除索引 重建...
创建并使用MaxCompute表
您可通过MaxCompute的SQL语句及DataWorks提供的可视化方式，创建与管理MaxCompute表。相比SQL方式，可视化方式操作更加便捷。本文为您介绍如何使用可视化方式创建及管理MaxCompute表。前提条件 在 工作空间配置 页面绑定MaxCompute引擎后，...
创建并使用MaxCompute表
您可通过MaxCompute的SQL语句及DataWorks提供的可视化方式，创建与管理MaxCompute表。相比SQL方式，可视化方式操作更加便捷。本文为您介绍如何使用可视化方式创建及管理MaxCompute表。前提条件 在 工作空间配置 页面绑定MaxCompute引擎后，...
常见问题
搜索索引是宽表引擎与搜索引擎深度融合的特性，需要单独开通购买，核心功能为倒排索引和列存，适合较为复杂的多维查询场景，一个宽表只能创建一个搜索索引表，索引列个数最多1000个（默认）。二级索引是Lindorm宽表内置的特性，无需开通...
将DRDS模式数据库转换为AUTO模式数据库
返回信息如下：+-+|RESULT|+-+|ALL SUCCESS|+-+1 row in set(8 min 12.05 sec)不做转换，仅查看源DRDS库db_drds的表tb1，tb2的表结构以及它们在AUTO模式下的表结构。CREATE DATABASE db_auto like db_drds dry_run=true include=tb1,tb2;...
创建逻辑模型：维度表
您可以通过 快捷模式 或 代码模式 为表添加字段，其中 快捷模式 支持 从表/视图导入，即从计算引擎已存在的物理表或视图导入字段，即在 查找已有表/视图 下拉列表搜索并选择已存在的物理表或视图进行字段导入。说明 当前仅支持从MaxCompute...
库表数太多导致实例卡顿或异常
shard tag管理方式稍微复杂一些，需要一些额外的运维操作（sh.addShardTag 和 sh.addTagRange），但所有的表依然由同一个MongoDB实例管理，业务上基本不需要改造，只需要将连接串替换为新的分片集群实例的连接串即可。假如您的实例中有10万...
MaxCompute SQL中的关联操作
LEFT SEMI JOIN 对于左表中的一条数据，如果右表存在符合关联条件的行，则输出左表。LEFT ANTI JOIN 对于左表中的一条数据，如果右表中不存在符合关联条件的数据，则输出左表。SQL语句中，同时存在JOIN和WHERE子句时，如下所示。(SELECT*...
表设计
这种情况下，单分区的写入能力就是整个表的写入能力上限，更重要的是，一旦发生热点，无法通过分片分裂来平衡负载，因为写入压力总是在写尾部。解决方法一：合理设置分区键 针对上面例子中的热点问题，可以把MachineIp放到主键列的第一列，...
topRegion分析
本文介绍如何通过集群管理系统查看热点分片分析结果。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。背景信息 在实际使用数据库的过程中，会存在文件数过多导致请求时延变长的情况。同时，流量分布不均匀的...
导入与导出
无主键表的主键选择可能会导致热点行更新，而热点行更新速度很慢，可以向 AnalyticDB MySQL 提工单解决该问题。当 AnalyticDB MySQL 集群的写入性能已达到瓶颈，需要升级 AnalyticDB MySQL 规格。DataWorks导入数据至AnalyticDB MySQL集群...
- 产品推荐
- 这些文档可能帮助您