X-Engine引擎常见问题
X-Engine引擎支持通过采样信息来估算压缩比，您可以结合外部信息（如数据导入前的数据大小）自行计算准确的压缩率。假设需要查询的表在数据库 test 中，表名为 test1，来查询表数据估算后的压缩比。SQL语句如下：SELECT TABLE_NAME,...
实时存储引擎
实时存储引擎内存高频换入换出，Cache Miss高的同时，大量的压缩、解压缩带来CPU瓶颈。针对以上两类问题，AnalyticDB MySQL版 设计了新一代的实时存储引擎。存储格式上，在确定的I/O单位上设计行列混存格式，使得单行的I/O大小可控。内存...
X-Engine性价比优势
TokuDB采用分形树（Fractal Tree），较InnoDB使用的B+tree而言拥有更多充满数据的叶子节点及相应的数据块，能够实现比InnoDB更高的压缩率。但TokuDB没有X-Engine的分层存储设计，而X-Engine同样拥有充满记录的数据块这一优势，结合其它空间...
PAI-TF数据转换方法
max_id 是 类型INT64稀疏矩阵的最大列数，用于设定输出中的dense_shape值。如果实际ID大于或等于dense_shape值，则报错。id_as_value 否 类型BOOL，默认为True，将Index编号作为稀疏矩阵中有效点的值，类型为INT64。无特殊情况不建议更改为...
实例选型和集群规划
列存储支持较高的数据压缩率，可以达到2~5倍的压缩比，即对于1 TB原始数据，入库后若采用了列存储压缩设置，数据在0.5 TB以内，那么可以按1 TB的用户数据存储空间来规划集群实例规格。云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可...
使用索引压缩插件beta版本（codec-compression）
codec-compression是阿里云...在 Console 中，分别执行如下命令，为索引指定不同的压缩算法。brotli压缩算法 PUT index-1 {"settings":{"index":{"codec":"brotli"} } } zstd压缩算法 PUT index-1 {"settings":{"index":{"codec":"zstd"} } }
索引简介
每个Document都是由多个field组成，每个field中包含一系列的词语，构建索引...由于summary过大，引擎在存储summary时提供压缩的机制，在schema中配置summary压缩，那么引擎在存储时会用zlib压缩后再存储，读取时引擎会先解压，再返回给用户。
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
某新能源汽车造车新势力
客户感言 阿里 云原生多模数据库 Lindorm 相比于其他存储引擎和HBase开源版本，提供了更高效的压缩率和同规格下的更大吞吐量，能稳定的支撑高并发、海量数据存储的业务需求。同时提供了成熟的冷热分离方案，大大降低了存储和运维成本，对于...
X-Engine如何支撑钉钉跃居AppStore第一
数据压缩是以计算资源换存储空间的技术，因此选用一个压缩率小及压缩/解压速度快的压缩算法也非常关键，经过大量对比测试，X-Engine默认选用ZSTD压缩算法，但同时也支持其他算法。除了使用压缩之外，Compaction操作会对无效记录进行删除，...
点云压缩
点云是海量点的集合，存储点云不仅会消耗大量的存储空间，而且传输不经过压缩的点云文件需要消耗大量的带宽，传输成本很高，因此需要对点云进行压缩。使用场景 自动驾驶：压缩自动驾驶场景中雷达扫描产生的点云数据。数字文博：为文物数字...
将HBase数据同步到表格存储
使用DataX将HBase数据库中的全量数据同步到表格存储（Tablestore）中。准备工作 开通表格存储服务，并创建实例和数据表。具体操作，请参见 通过控制台使用宽表模型 或者 通过命令行工具使用宽表模型。说明 创建数据表时建议使用HBase原主键...
使用aliyun-codec插件
适用于写入量大、索引存储成本高的场景，例如日志场景、时序分析场景等，可以大幅降低索引的存储成本。背景信息 aliyun-codec插件支持多种压缩算法，同时支持source_reuse_doc_values特性。本文介绍如何使用aliyun-codec插件，包括：使用...
使用函数计算实现多个文件的打包下载
同时登录 对象存储控制台，在相应的Bucket下的 output 目录也可以看到下载的压缩文件。实验数据 场景 文件数 压缩前总大小 压缩后总大小 执行时间 1 7 1.2 MB 1.16 MB 0.4s 2 57 1.06 GB 0.91 GB 63s 您可以通过以上表格获取以下两个信息：...
数据处理费用
如果您使用 图片处理、高级图片压缩、视频截帧 等功能时，OSS会收取数据处理费用。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。计费项 重要 如果您希望通过请求者支付 图片处理、视频截帧、低频访问...
Trajectory最佳实践
采用优化压缩模式 lz4 压缩算法是一种优秀的压缩算法，具有更高的压缩率和更快的执行速度。如果要启用lz4压缩算法，设置方法如下：设置使用lz4 压缩 Set toast_compression_use_lz4=true;使用pg默认压缩算法 Set toast_compression_use_lz4...
Trajectory最佳实践
采用优化压缩模式 lz4 压缩算法是一种优秀的压缩算法，具有更高的压缩率和更快的执行速度。如果要启用lz4压缩算法，设置方法如下：设置使用lz4 压缩 Set toast_compression_use_lz4=true;使用pg默认压缩算法 Set toast_compression_use_lz4...
Trajectory最佳实践
采用优化压缩模式 lz4 压缩算法是一种优秀的压缩算法，具有更高的压缩率和更快的执行速度。如果要启用lz4压缩算法，设置方法如下：设置使用lz4 压缩 Set toast_compression_use_lz4=true;使用pg默认压缩算法 Set toast_compression_use_lz4...
Trajectory最佳实践
采用优化压缩模式 lz4 压缩算法是一种优秀的压缩算法，具有更高的压缩率和更快的执行速度。如果要启用lz4压缩算法，设置方法如下：设置使用lz4 压缩 Set toast_compression_use_lz4=true;使用pg默认压缩算法 Set toast_compression_use_lz4...
Spark应用开发介绍
archives 否"archives":["oss:/<testBucketName>/path/to/archives","oss:/<testBucketName>/path/to/archives"]Spark应用依赖的压缩包资源，目前支持.TAR.GZ后缀。压缩包会被解压到当前Spark进程的当前目录下。支持配置文件别名，例如 oss...
oss_fdw
archive_file_list/_t4_oss_741147680906121|148894 archive_file_list/_t4_oss_741147680965631|148894 archive_file_list/_t4_oss_741147681201236|148894(3 rows)OSS存储压缩 通过参数 compressiontype 可以指定写入OSS文件时的压缩算法...
oss_fdw
archive_file_list/_t4_oss_741147680906121|148894 archive_file_list/_t4_oss_741147680965631|148894 archive_file_list/_t4_oss_741147681201236|148894(3 rows)OSS存储压缩 通过参数 compressiontype 可以指定写入OSS文件时的压缩算法...
oss_fdw
archive_file_list/_t4_oss_741147680906121|148894 archive_file_list/_t4_oss_741147680965631|148894 archive_file_list/_t4_oss_741147681201236|148894(3 rows)OSS存储压缩 通过参数 compressiontype 可以指定写入OSS文件时的压缩算法...
oss_fdw
archive_file_list/_t4_oss_741147680906121|148894 archive_file_list/_t4_oss_741147680965631|148894 archive_file_list/_t4_oss_741147681201236|148894(3 rows)OSS存储压缩 通过参数 compressiontype 可以指定写入OSS文件时的压缩算法...
OSS小时数据
取值如下：standard：标准存储-本地冗余 IA：低频访问-本地冗余 archive：归档存储-本地冗余 coldarchive：冷归档存储 deepcoldarchive：深度冷归档存储 standard-zrs：标准存储-同城冗余 IA-zrs：低频访问-同城冗余 archive-zrs：归档存储...
使用函数计算实现OSS压缩文件的自动解压
向Bucket上传的压缩文件中，单个文件大小不要超过1 GB，否则可能导致解压失败。解压单个压缩包的最大时间为2小时，超过2小时未完成的任务会解压失败。默认设置的函数执行时长为2小时，您可以调整函数的执行超时时间来满足业务需求。操作...
2023-06-29
查看使用文档 数据压缩/解压缩在标准型实例中放开 设备上下行数据压缩和解压缩的功能在标准型实例中放开，可大幅降低广域网设备的流量消耗。查看使用文档 AMQP服务端订阅支持STS Token鉴权 AMQP服务端订阅新增支持同账号/跨账号下的RAM角色...
迁移HDFS数据到OSS
说明 如果您需要在开源Hadoop集群环境中使用lzo的压缩方式，请确保已安装gplcompression的native库和hadoop-lzo包。如果缺少相关环境，建议使用其他压缩方式进行压缩。codec gz-policy 指定拷贝到OSS后的文件类型。取值：ia：低频访问 ...
基本概念
MPEG-4第二部分：可以使用在网络传输、广播和媒体存储上，比起MPEG-2和第一版的H.263，它的压缩性能有所提高。MPEG-4第十部分：技术上和ITU-TH.264是相同的标准，二者合作，诞生了H.264/AVC标准，ITU-T将其命名为H.264，而ISO/IEC称它为...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
是否支持压缩消息？
云消息队列 Kafka 版 服务端支持收发压缩消息。如需使用压缩消息，您需要在 云消息队列 Kafka 版 的客户端进行设置。在 云消息队列 Kafka 版 客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的...
音频转码
视频制作与后期处理：视频编辑时，原始音频素材可能需要根据项目要求进行转码，比如调整采样率、位深度以匹配影片的音轨规格，或者转换成适合于网络传播的压缩格式。注意事项 音频转码仅支持异步处理（x-oss-async-process处理方式）。使用...
索引结构
由于summary过大，引擎在存储summary时提供压缩的机制，在schema中配置summary压缩，那么引擎在存储时会用zlib压缩后再存储，读取时引擎会先解压，再返回给用户。说明 有关索引表配置的详细介绍的文章可参考 索引表配置。索引schema示例：{...
API概览
在打包时支持对文件进行重命名操作，您可以自定义文件打包规则以及输出的压缩包名称。CreateArchiveFileInspectionTask 创建压缩包预览解析任务 创建压缩包预览解析任务支持获取压缩包内的文件列表信息。该功能无需解压压缩包，就可以获取...
索引结构
由于summary过大，引擎在存储summary时提供压缩的机制，在schema中配置summary压缩，那么引擎在存储时会用zlib压缩后再存储，读取时引擎会先解压，再返回给用户。说明 有关索引表配置的详细介绍的文章可参考 索引表配置。索引schema示例：{...
将Oracle数据同步到表格存储
Oracle 12c（多租户模式）重要 在Oracle 12c的多租户模式下创建用户时，必须在cdb中创建并且命名格式约定为 c#name。ALTER SESSION SET CONTAINER=cdb$root;CREATE USER username IDENTIFIED BY password CONTAINER=all;GRANT create ...
CSV格式
日志服务将日志投递到OSS后，支持存储为不同的文件格式。本文介绍CSV格式。参数配置 在 创建OSS投递任务（新版）时，选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。...
使用函数计算打包下载OSS文件
本文介绍如何使用函数计算将对象存储OSS上多个文件（Object）打包下载到本地。前提条件 已开通函数计算。您可以在 函数计算产品详情页 开通函数计算。已授权函数计算访问OSS。具体步骤，请参见 授予函数计算访问其他云服务的权限。已在某个...
CSV格式
日志服务将日志投递到OSS后，支持存储为不同的文件格式。本文介绍CSV格式。参数配置 在 配置投递规则 时，如果选择 存储格式 为 csv，对应的参数配置如下所示。参数说明如下所示。更多信息，请参见 CSV标准 和 postgresql CSV说明。参数 ...
混合云存储阵列与阿里云存储集成的同时，如何保证客户...
混合云存储阵列通过专门的高速通道与阿里云OSS相连，提供去重和压缩的数据处理机制，同时支持云缓存和云分层模式。通过云缓存模式，客户的数据全集保存在云端，本地存储空间作为热数据的缓存，提供数据的本地高效访问，保证对上层应用的...
- 产品推荐
- 这些文档可能帮助您