控制台发布记录
2024-3-7 开启冷数据归档 数据与缓存一站式 PolarDB MySQL版 支持数据与缓存一站式功能，在保证数据强一致性的同时，面向在线业务场景构建一套完整的数据库+缓存的解决方案。2024-3-12 灰度发布中 PolarDB MySQL推出数据与缓存一站式功能 ...
数据压缩与编码
本文主要介绍Hbase在数据压缩与编码中的实际应用。压缩算法 目前阿里云平台支持压缩算法有：LZO、ZSTD、GZ、LZ4、SNAPPY NONE，其中NONE就代表不开启压缩。不同压缩算法在不同场景的压缩比，及解压速度对比如下，都是来自线上真实场景。...
Logview诊断实践
解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，如果相同的数据都排布在一起，就可以获得很高的压缩率。写表的数据分布情况主要取决于写...
设置预分区
COMPRESSION HBase表的数据压缩格式，具体请参见 数据压缩与编码。NUMREGIONS 表示地域的个数，一般按照每个地域使用6~8 GB的存储量来计算地域数量。如果集群规模大，地域数量可以设置多。SPLITALGO 表示Rowkey分割的算法。云数据库HBase...
功能特性
时序协议支持 搜索引擎 单点查询 用主键或唯一索引来进行查询，可以用来快速查询或更新某个数据项。单点查询 多维检索 面向复杂的多维查询场景，Lindorm内部会自动为Tag建立索引，支持根据Tag来进行多维检索查询。多维检索 自定义词典 搜索...
基本概念
通常这种压缩属于有损数据压缩。也可以指通过特定的压缩技术，将某个视频格式转换成另一种视频格式。常见的编码方式有：H.26X系列：由ITU（国际电信联盟）主导，包括H.261、H.262、H.263、H.264、H.265。H.261：主要应用于老的视频会议和...
X-Engine如何支撑钉钉跃居AppStore第一
数据压缩是以计算资源换存储空间的技术，因此选用一个压缩率小及压缩/解压速度快的压缩算法也非常关键，经过大量对比测试，X-Engine默认选用ZSTD压缩算法，但同时也支持其他算法。除了使用压缩之外，Compaction操作会对无效记录进行删除，...
X-Engine引擎常见问题
X-Engine是阿里巴巴自研的基于LSM-tree架构的存储引擎，提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree（Log-Structured Merge-Tree）层次化架构和Zstandard（ZSTD）压缩算法实现了更高的数据压缩率，对比使用...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
COPY
反斜线字符（\）可以被用在 COPY 数据中来引用被用作行或者列定界符的字符。特别地，如果下列字符作为一个列值的一部分出现，它们 必须 被前置一个反斜线：反斜线本身、新行、回车以及当前的定界符字符。COPY TO 会不加任何反斜线返回指定...
GIN和GiST索引类型
有两种索引可以用来加速全文搜索：GIN和GiST。全文搜索并非一定需要索引，但是在一个定期会被搜索的列上，通常需要有一个索引。可以通过以下任意一种方式创建索引：创建基于 GIN（通用倒排索引）的索引。CREATE INDEX name ON table USING ...
RDS SQL Server空间不足问题
数据压缩会增加CPU开销，因此需要根据实际业务情况进行评估，建议只在大表上启用数据压缩。整理索引碎片 索引碎片率较高会导致实际占用的数据存储空间过大，因此对索引执行碎片整理可以降低数据空间大小。您可以在控制台的 自治服务>性能...
X-Engine简介
X-Engine是阿里云数据库产品事业部自研的联机...X-Engine作为存储引擎，核心的价值还在于性价比，持续提升性能降低成本，是一个长期的根本目标，X-Engine还在Compaction调度、缓存管理与优化、数据压缩、事务处理等方向上进行深层次的探索。
按扫描量付费
压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据，从而节省扫描费用。数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描...
高压缩引擎（X-Engine）介绍
200 TB的存储空间加上X-Engine数据压缩能力，可提供500 TB以上的原始数据存储容量，同时存储空间采用Serverless方式，购买时无需选择容量，随着数据增长而在线自动扩容，只按实际数据量大小收费。PolarDB 高压缩引擎（X-Engine）与官方...
版本及存储引擎
基于BTree结构组织数据，相比MongoDB早期的MMAPv1存储引擎性能提升明显，且支持数据压缩，存储成本更低。RocksDB（已下线）适用于大量写且少读的场景。基于LSM tree结构组织数据，针对性优化数据写入，将随机写入转换成了顺序写入，能保证...
实例选型和集群规划
列存储支持较高的数据压缩率，可以达到2~5倍的压缩比，即对于1 TB原始数据，入库后若采用了列存储压缩设置，数据在0.5 TB以内，那么可以按1 TB的用户数据存储空间来规划集群实例规格。云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可...
识别任务说明
识别任务用来扫描资产中的敏感数据，对数据进行分类分级。数据安全中心提供两种识别任务模式：系统默认任务和自定义识别任务。完成资产授权后，数据安全中心会为每一个数据库或Bucket自动创建敏感数据识别任务，即系统默认任务；您可以根据...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 的数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
RDS SQL Server迁移至RDS MySQL
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS SQL Server实例间数据迁移
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS SQL Server同步至RDS MySQL
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS SQL Server迁移至PolarDB MySQL版
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 已创建源 RDS SQL Server 实例，支持的版本，请参见 同步方案...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 已创建源 RDS SQL Server 实例，支持的版本，请参见 同步方案...
自建SQL Server同步至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
自建SQL Server迁移至AnalyticDB for PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 该迁移任务仅支持在新版控制台配置。自建SQL Server数据库支持...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
使用float2类型压缩存储向量
本节将通过具体示例，为您介绍半浮点数压缩数据列的定义和相关的操作。当前向量检索系统中，会将图片、声音、文本转化成高维浮点数数组进行存储，将占用大量的存储空间。为降低存储成本，压缩存储空间，为您提供了float2压缩存储模式。...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
X-Engine性价比优势
背景信息 RDS MySQL提供阿里云自研存储引擎X-Engine，相比InnoDB，X-Engine在磁盘空间占用和数据库整体成本上有比较明显的优势，X-Engine使用了层次化的存储结构，并结合ZSTD压缩算法实现了更高的数据压缩率。下文将详细对比X-Engine、...
CREATE TYPE
main 策略虽然允许压缩，但不鼓励将数据移出主表行，只有在没有其他方式能使行大小合适的情况下，带有这种存储策略的数据才会被移出，而它会优先于 extended 和 external 策略的数据保留在行内。除了 plain 之外，所有的 storage 选项都...
CREATE TYPE
main 策略虽然允许压缩，但不鼓励将数据移出主表行，只有在没有其他方式能使行大小合适的情况下，带有这种存储策略的数据才会被移出，而它会优先于 extended 和 external 策略的数据保留在行内。除了 plain 之外，所有的 storage 选项都...
功能特性
RDS MySQL备份策略 RDS SQL Server备份策略 RDS PostgreSQL备份策略 PolarDB MySQL备份策略 通用压缩 支持备份数据的通用压缩能力，在备份时开启数据压缩，减少存储的空间。备份设置 数据能力 下载备份 支持下载备份数据，可用于长期保留...
HBase Shell使用介绍
云数据库HBase的数据压缩详情介绍请参见 数据压缩与编码。alter 'test',NAME=>'cf',COMPRESSION=>'SNAPPY' 为指定表的列族设置Block Encoding类型。将test表列族的Block Encoding类型设置为DATA_BLOCK_ENCODING。alter 'test',NAME=>'cf',...
Presto FAQ
为什么同一个SQL从HDFS同步数据到OSS，在DLA中查询是11万数据量，自建的集群查询是19万数据量？性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit ...
- 产品推荐
- 这些文档可能帮助您