AUTO模式核心特性及典型场景

ALTER TABLEGROUP#tgName MOVE PARTITIONS#hotPartitionName TO#dn 如果热点数据突破了机器的单点性能,在 PolarDB-X 中可以对其采用第二种处理方法,通过以下命令将热点数据散列,更好的支持业务的线性扩展:ALTER TABLEGROUP#tgName ...

2021年

2021-11-29 华北2(北京)华东2(上海)华北3(张家口)华东1(杭州)华南1(深圳)网络开通流程 MaxCompute支持清空分区中指定分区的数据 MaxCompute支持用户手动清空分区中指定的一个或者多个分区的数据,但不会删除分区或者分区...

PolarDB MySQL版8.0.2版本发布日志

新增参数 innodb_polar_import_tablespace_strict_mode,默认值为 ON,即执行库表恢复操作结构中包含full-text index会报错。2023-07-23 问题修复 修复CTE中包含嵌套CTE,且有多处引用的情况下,JPPD优化功能崩溃的问题。修复对混合...

使用须知

用户可以通过Phoenix创建视图或者映射已经存在的HBase,如果使用的方式映射HBase,在Phoenix中执行DROP TABLE语句同样也会删除HBase。另外,由于column family和名是大小写敏感的,必须一一对应才能映射成功。Phoenix的字段...

开发运维建议

对于线性顺序存储的数据(如流式数据、时间字段或自增字段),通常查询使用范围查询,建议使用 BRIN 索引,减少索引的大小,加快数据插入速度。CREATE INDEX idx ON tbl using BRIN(id);建议避免全扫描(大数据量扫描的数据分析除外)...

设计

主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题,散列的目的是让数据分布更均匀,避免热点。假设数据分布不均匀,会出现以下问题:数据写入和读取能力受限于单个分区的能力,或者是单机能力,存在...

CREATE TABLE

创建非分区、分区、外部或聚簇。限制条件 分区的分区层级不能超过6级。例如某张以日期为分区,分区层级为 年/月/周/日//分。一张允许的分区个数支持按照具体的项目配置,默认为6万个。更多的限制条件,请参见 SQL使用...

CREATE TABLE

使用范围或哈希分区,分区键可以包含多个或表达式(最多 32 个,但在构建 PolarDB可以更改此限制),但对于列表分区,分区键必须由单个或表达式组成。范围和列表分区需要 btree 运算符类,而哈希分区需要哈希运算符类。如果没有...

存索引如何实现高效数据过滤

存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝,以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝(pruning or data skipping)技术。背景与作用 在HTAP场景中,PolarDB IMCI...

迁移HBase至Hologres

本文为您介绍如何迁移HBase的语法和数据至Hologres上进行数据开发。背景信息 Hologres支持行存模式,在该模式下,提供高性能基于主键的点查能力,广泛应用在Flink维度、ID-Mapping、标签获取、订单明细查询等场景中。相比传统的HBase等...

通过文件管理优化性能

举一个简单的例子,假设一张包含10个文件,对于表中的x,它的取值为[1,10],如果每个文件的x的分布均为[1,10],则对于查询条件:where x,无法跳过任何一个文件,因此,也无法实现性能提升,而如果每个文件的min-max均为0,...

版本发布说明

修复AUTO模式数据库中分区的分区包含反引号字符,创建报错的问题。修复在扩缩容或者UGSI创建过程中,insert ignore(returning)可能导致数据校验不通过的问题。修复GSI和Local Index索引名重复的问题。修复创建UGSI,如果索引名...

评分卡训练

使用限制 使用评分卡训练组件生成的临时模型仅支持使用MaxCompute临时表进行存储,该临时表在Studio中的默认生命周期为369天,在Designer中的默认生命周期为当前所在工作空间配置的临时表保存长,具体配置方法请参见 管理工作空间。...

2021年

新说明 HASH:对输入的参数进行散列运算,返回一个HASH值。COMPRESS:对输入的字符串,按照GZIP算法进行压缩。DECOMPRESS:对于BINARY类型的输入,使用GZIP算法进行解压缩。NULLIF:如果expr1和expr2的值相等,返回NULL;否则返回expr1。...

PolarDB MySQL版8.0.1版本发布日志

修复对KEY分区表进行剪枝,因未考虑生成(STORED GENERAGED COLUMN),导致在KEY分区表中执行插入操作报错"ERROR 1748(HY000)Found a row not matching the given partition set"的问题。修复将冷数据归档为IBD格式的文件,由于...

使用教程(时序模型)

本文以表格存储Tablestore中的宽作为上游数据源为例介绍如何使用实时计算Flink写数据到Tablestore的时序中。背景信息 Tablestore的时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景...

组件参考:所有组件汇总

增加序号 该组件是提供的增加序号组件,您可以在数据的第一追加ID。拆分 该组件是对数据进行随机拆分,用于生成训练和测试集。缺失值填充 您可以通过可视化或PAI命令的方式,配置该组件参数。归一化 该组件支持将稠密数据或稀疏...

PolarDB MySQL版迁移至DataHub

若迁移对象为级别,且需进行编辑(如表列名映射),则单次迁移任务待迁移的数量超过1000,建议您拆分待迁移的,分批配置为多个任务,或者配置整库的迁移任务,否则任务提交后可能会显示请求报错。如需进行增量迁移,需开启Binlog...

PolarDB-X 1.0同步至DataHub

如同步对象为级别,且需进行编辑(如表列名映射),单次同步任务的数量超过5000,建议您拆分待同步的,分批配置多个任务,或者配置整库的同步任务,否则任务提交后可能会显示请求报错。PolarDB-X 1.0 下面挂载的 RDS MySQL 的...

参考:Proxima CE全量参数说明

当 pk 的数据内容不是 INT64 类型(例如 STRING 类型),Proxima CE内部处理时会建立临时输入,将 pk 映射为 tmp_pk INT64 类型),后续再通过MaxCompute的 JOIN 操作得到最终结果,这种情况下在一亿个doc预计增加约半小时...

CREATE TABLE(AUTO模式)

PolarDB-X 支持创建表时通过指定关键字 SINGLE 来创建单(不进行任何分区的),示例如下:CREATE TABLE single_tbl(id bigint not null auto_increment,bid int,name varchar(30),primary key(id))SINGLE;广播 PolarDB-X 支持...

RDS MySQL与PolarDB MySQL版间的双向同步

目前DTS支持进行检测的冲突类型包括:INSERT导致的唯一性冲突 同步INSERT语句违背了唯一性约束,例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录,那么同步到对端,会因为已经存在相同主键值的记录,导致...

MySQL实例间的双向同步

目前DTS支持进行检测的冲突类型包括:INSERT导致的唯一性冲突 同步INSERT语句违背了唯一性约束,例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录,那么同步到对端,会因为已经存在相同主键值的记录,导致...

MySQL实例间的双向同步

目前DTS支持进行检测的冲突类型包括:INSERT导致的唯一性冲突 同步INSERT语句违背了唯一性约束,例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录,那么同步到对端,会因为已经存在相同主键值的记录,导致...

数据脱敏

脱敏源为 RDS/PolarDB-X/MaxCompute/PolarDB/OceanBase/ADB-MySQL 配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括:RDS、PolarDB-X、MaxCompute、...

任务列表

本文介绍 PolarDB 任务列表的功能和操作方法。概述 为了便于用户管理 PolarDB 集群的任务,及时感知集群备份恢复等长任务的进度,提高集群运维效率,PolarDB 支持在 任务列表 查看当前任务进度和历史任务详情。版本要求 当前任务列表仅...

PolarDB PostgreSQL版:ePQ架构详解

PolarDB PostgreSQL版 实现了弹性跨机并行查询(ePQ)特性,能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下:PostgreSQL 11(内核小版本1.1.28及以上)...

时序分析存储概述

低成本数据存储 冷热数据分层存储,采用不同的存储介质 对于时序的热数据采用 表格存储 行列混合的宽表存储对于时序全量历史数据采用存储。高数据压缩率存储 存储能更好地利用数据重复性,结合RLE、DICTIONARY、DELTA、BIT-PACKING等...

存索引中GroupJoin算子的实现

3.使用memoizing的方式解决并发查哈希表做聚合运算冲突 举个极端的例子:hash probe的过程中,所有数据都命中hash table的同一个entry,因此要在此entry进行聚合运算(比如SUM(2*col)),因此需要使用同一个“aggr context”运行aggr...

实例选型和集群规划

如果OLAP的需求偏多,有批处理ETL场景,其数据一般较少被更新(UPDATE/DELETE),数据为批量入库,同时查询以少量的全数据聚合关联为主,需要经常对数据进行统计,建议采用列存储;需要比较高的压缩比,也可以选择存。列存储支持...

一站式HTAP服务

专业的数据仓库通常会把每个的数据以连续的形式保存在存储介质上,并提供向量化模型的执行器:存储能够方便地对数据进行压缩,大幅提升I/O效率。向量化执行模型能够批量化处理元组,降低表达式计算过程中的解释开销,并且使编译器...

HASH

把数据按照哈希规则打散到不同的分区上,支持表达式来对分区的值进行处理。CREATE TABLE.PARTITION BY[LINEAR]HASH(expr)[PARTITIONS number](PARTITION partition_name1,PARTITION partition_name2,.);参数 参数名称 参数说明 expr 分区...

Blink和Flink常见问题及诊断

Blink、Flink(VVP)、开源Flink支持情况 产品形态 数据存储类型 描述 源 结果 Binlog Hologres Catalog Flink全托管 支持行存储列存储。支持行存储列存储。建议使用行存储。支持 支持 无 Blink独享 支持行存储列存储。支持...

分布定义

语句 CREATE TABLE 支持如下三个分布策略的子句:分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布哈希值将各个行分布到指定计算节点上,相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...

删除,更新和合并

在这个部分:写入Delta表时的重复数据删除 缓慢将数据(SCD)类型2操作更改为Delta 将更改数据写入Delta 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到中来将日志收集到...

Range Clustering

背景信息 哈希聚簇(Hash Clustering)有以下优点:对于等值的条件查询,可以利用Hash算法直接定位到对应的哈希桶(Bucket Pruning),如果桶内数据排序存储,还可以进一步利用索引定位,从而减少数据扫描量,提高查询效率。...

DBMS_UTILITY

DBMS_UTILITY包支持以下各种实用程序:函数/存储过程 类型 返回类型 说明 ANALYZE_DATABASE(method[,estimate_rows[,estimate_percent[,method_opt]]])存储过程 N/A 分析数据库。ANALYZE_PART_OBJECT(schema,object_name[,object_type[,...

历史版本常见问题

Java的HashCode计算 Java的Interger/Long/String等类型的hashcode算法的混淆性不好,当分区的取值空间比较小时(例如原始数值出现连续的数字,且取值是1000以内),容易产生比较多的哈希冲突;UNI_HASH/RANGE_HASH/STR_HASH/RIGHT_HASH分...

数据节点

当核对的数据量较大,可选择参与核对字段的某个字段,针对某几位进行散列,读取到的数据就会按照散列后的值散列到不同分片中,支持后续并发排序和核对,从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数:自定义的散列...

通过日志服务迁移日志数据至MaxCompute

说明 日志服务数据的一个字段最多允许映射到一个MaxCompute(数据或分区),不支持字段冗余,同一个字段名第二次使用其投递的值为null,如果null出现在分区会导致数据无法被投递。MaxCompute分区 按顺序左边填写与...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库Cassandra版 云监控 应用高可用服务 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用