通过缓存优化性能
每个节点为缓存的元数据保留的磁盘空间（以字节为单位）spark.databricks.io.cache.compression.enabled-缓存的数据是否应以压缩格式存储 INI spark.databricks.io.cache.maxDiskUsage 50g spark.databricks.io.cache.maxMetaDataCache 1g ...
常见问题
可以指定压缩格式和存储格式吗？MaxCompute的表格类型有几种，分别是什么？如果想使用MaxCompute的自定义函数（UDF）或MapReduce功能需要依赖什么资源来完成？MaxCompute常见错误信息如何理解，怎么定位问题？使用MaxCompute需要具备什么...
基于gzip压缩格式的堆分析
简介 除了正常的二进制堆转储文件（Heap dump）之外，ATP也支持gzip压缩格式的堆转储文件。用户可以生成gzip压缩格式的堆转储文件，然后上传到ATP直接分析。使用gzip压缩格式使得堆转储文件更小，上传更快，但是另一方面会使得分析过程轻微...
是否支持压缩消息？
在 云消息队列 Kafka 版 客户端进行消息压缩的说明如下：压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的消耗较高，因此不建议您选择GZIP，建议您选择Snappy或LZ4。适用场景：一般来说，CPU的价格比流量和存储要高。对于...
创建OSS-HDFS投递任务
文件后缀 如果您未设置文件后缀，则日志服务会根据存储格式和压缩类型自动生成后缀。例如.suffix。分区格式 按照投递时间动态生成OSS Bucket的目录，不能以正斜线（/）开头，默认值为%Y/m/d/H/M，相关示例请参见 分区格式，参数详情请参见 ...
存储压缩
目前支持三种压缩格式：zstd、zlib和lz4。用户可以通过指定COMPRESSLEVEL字段来决定压缩等级，数值越大压缩率越高，取值范围为1-19，通常建议选取9做为压缩等级。CREATE TABLE LINEITEM(.)WITH(APPENDONLY=TRUE,ORIENTATION=COLUMN,...
什么是备份数据量
与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（OSS）。综上所述，您可通过调整...
创建OSS投递任务（新版）
文件后缀 如果您未设置文件后缀，则日志服务会根据存储格式和压缩类型自动生成后缀。例如.suffix。分区格式 按照投递时间动态生成OSS Bucket的目录，不能以正斜线（/）开头，默认值为%Y/m/d/H/M，相关示例请参见 分区格式，参数详情请参见 ...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
配置同步任务
压缩格式 选择文件的压缩格式为 Text 时，支持的压缩格式包括：gzip、bzip2 或 无。加载策略 向目标数据源（HDFS数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖数据、追加数据、文件名冲突报错，适用场景说明如下：覆盖数据：...
时序分析存储概述
分析存储不仅支持高效的数据压缩存储，还具备强大的查询和分析功能，非常适合大规模的数据分析和查询任务。分析存储与时序表的数据存储相互独立，允许用户自定义数据的生命周期（TTL），对分析存储的查询操作不会对时序表的读写性能产生...
数据湖投递概述
大规模实时数据分析 数据湖投递可以实时（每2分钟）投递增量的 表格存储 数据到OSS，投递的数据支持按系统时间分区、Parquet列存格式存储；再利用OSS的高读带宽和列存面向扫描场景优化实现高效实时数据分析。功能特性 数据湖投递的主要功能...
数据量
存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小：数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（内置存储）。
通过SLS完成日志数据入湖OSS
日志服务集成了数据投递到OSS的功能，以Serverless的方式助力日志数据入湖，支持丰富的日志数据源，一站式的分析查询，多种投递格式，压缩类型，无需运维。步骤一：选择投递的数据源 登录 OSS管理控制台。在左侧导航栏，选择 数据服务>数据...
如何开启存储压缩功能
PolarDB 支持存储层存储压缩功能。存储层对用户数据按块进行压缩存储，通过高压缩比，节省用户数据，降低存储成本。本文介绍如何开启存储压缩功能，以及查看开启该功能后存储空间大小的方法。前提条件 产品版本需为 PolarDB PostgreSQL版 ...
如何开启存储压缩功能
PolarDB 支持存储层存储压缩功能。存储层对用户数据按块进行压缩存储，通过高压缩比，节省用户数据，降低存储成本。本文介绍如何开启存储压缩功能，以及查看开启该功能后存储空间大小的方法。前提条件 PolarDB 产品版本需为 企业版，您可以...
如何开启存储压缩功能
PolarDB 支持存储层存储压缩功能。存储层对用户数据按块进行压缩存储，通过高压缩比，节省用户数据，降低存储成本。本文介绍如何开启存储压缩功能，以及查看开启该功能后存储空间大小的方法。前提条件 PolarDB 产品版本需为 企业版，您可以...
配置OSS输入组件
压缩格式 支持 zip、gzip、bzip2、lzo、lzo_deflate 压缩格式。空值转换 可指定将任意字符串转换为 Null 值。单击 确认，完成OSS输入组件的属性配置。后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 ...
配置OSS输入组件
压缩格式 支持 zip、gzip、bzip2、lzo、lzo_deflate 压缩格式。空值转换 可指定将任意字符串转换为 Null 值。单击 确认，完成OSS输入组件的属性配置。后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 ...
PSL4发布说明
简介 PSL4是 PolarDB 全新推出的存储类型，采用阿里巴巴自研的 硬件压缩盘（Smart-SSD）技术，在物理SSD磁盘层面压缩、解压缩存储的数据，使单位数据容量价格更低。发布时间 2022年06月07日 存储价格 存储类型 中国内地 中国香港及海外 按...
PSL4发布说明
简介 PSL4是 PolarDB 全新推出的存储类型，采用阿里巴巴自研的 硬件压缩盘（Smart-SSD）技术，在物理SSD磁盘层面压缩、解压缩存储的数据，使单位数据容量价格更低。发布时间 2022年08月27日 存储价格 存储类型 中国内地 中国香港及海外 按...
PSL4发布说明
简介 PSL4是 PolarDB 全新推出的存储类型，采用阿里巴巴自研的 硬件压缩盘（Smart-SSD）技术，在物理SSD磁盘层面压缩、解压缩存储的数据，使单位数据容量价格更低。发布时间 2022年08月27日 存储价格 存储类型 中国内地 中国香港及海外 按...
按扫描量付费
压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据，从而节省扫描费用。数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描...
数据压缩
format 压缩格式，目前仅支持.gzip。返回结果 接入方式 Topic 标准MQTT方式接入/sys/${productKey}/${deviceName}/codec/topic/update_reply 云网关MQTT方式接入$iot/things/codec/topic/update_reply {"id":1,"version":1.0,"code":200,...
配置FTP输入组件
压缩格式 如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行解压处理。更多配置 输入读取数据的其他控制配置项。例如使用textReaderConfig控制text文件的读取，配置示例如下。{"textReaderConfig":{"useTextQualifier":false,/是否...
配置FTP输入组件
压缩格式 如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行解压处理。更多配置 输入读取数据的其他控制配置项。例如使用textReaderConfig控制text文件的读取，配置示例如下。{"textReaderConfig":{"useTextQualifier":false,/是否...
配置FTP输出组件
导出压缩文件 可选择 zip、gzip 压缩格式或 不压缩，直接以所选文件类型导出，选择压缩格式后以相应压缩格式将压缩文件合并写入FTP或直接以所选文件类型导出。导出列头 选择是否导出列头：选择导出，会在每一个文件中的第一行输出字段名。...
配置FTP输出组件
导出压缩文件 可选择 zip、gzip 压缩格式或 不压缩，直接以所选文件类型导出，选择压缩格式后以相应压缩格式将压缩文件合并写入FTP或直接以所选文件类型导出。导出列头 选择是否导出列头：选择导出，会在每一个文件中的第一行输出字段名。...
导入Amazon S3文件
确认S3文件的真实格式，然后调整 数据格式、压缩格式 或 编码格式 等配置项。如果需要修复已有的乱码数据，请创建新的Logstore和导入配置。日志服务中显示的数据时间和数据本身的时间不一致。设置导入配置时，没有指定日志时间字段或者设置...
通过整库迁移配置集成任务
压缩格式：ORC存储格式 支持 zlib、hadoop-snappy、lz4、none；PARQUET存储格式 支持 gzip、hadoop-snappy。性能配置：Hive的存储格式为ORC，支持配置性能配置。输出表格式为ORC且字段较多的场景下，内存足够时可尝试调大该配置提高写入...
使用OSS外表高速导出数据到OSS
功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext架构图如下。TEXT和CSV格式说明 下列几个参数可以在外表DDL参数中指定，用于规定读写OSS的文件格式：TEXT和CSV行分割符号是，也就是换行符。...
音频转码
视频制作与后期处理：视频编辑时，原始音频素材可能需要根据项目要求进行转码，比如调整采样率、位深度以匹配影片的音轨规格，或者转换成适合于网络传播的压缩格式。注意事项 音频转码仅支持异步处理（x-oss-async-process处理方式）。使用...
Tomcat设置gzip压缩的方法
配置方法 Tomcat5.0以后的版本是支持对输出内容进行压缩的，使用的是gzip压缩格式。请您修改%TOMCAT_HOME%conf/server.xml 文件，在文件中的以下段落添加注释部分的条目。打开压缩功能 compressionMinSize="50"#启用压缩的输出内容大小，...
UNLOAD
使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 unload 命令将MaxCompute的数据导出至 OSS、Hologres 外部存储，OSS支持以CSV格式或其他开源格式存储数据。其中：...
UNLOAD
使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 unload 命令将MaxCompute的数据导出至 OSS、Hologres 外部存储，OSS支持以CSV格式或其他开源格式存储数据。其中：...
产品架构
投递的数据兼容开源生态标准，按照Parquet列存格式存储，兼容Hive命名规范。您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎，包括Flink、Spark、Presto等。与阿里大数据平台生态组件...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
正排索引特性
单值正排和多值正排(offset)等值压缩 可以在schema配置中，将单值正排字段或者多值正排字段配置为等值压缩索引个数，引擎会将N个(2^n)连续文档的单值value（或者多值offset）进行等值压缩存储，即N个文档全相同则只存储一份，如果N个文档...
正排索引特性
单值正排和多值正排(offset)等值压缩 可以在schema配置中，将单值正排字段或者多值正排字段配置为等值压缩索引个数，引擎会将N个(2^n)连续文档的单值value（或者多值offset）进行等值压缩存储，即N个文档全相同则只存储一份，如果N个文档...
数据压缩
接收压缩数据 日志服务的PullLogs接口可返回lz4压缩格式数据。使用方法：通过在请求头中设置 Accept-Encoding:lz4，服务端将会返回lz4压缩数据。返回的请求头中 x-log-bodyrawsize 标识了请求体的压缩前的原始大小，可作为解压参数使用。...
- 产品推荐
- 这些文档可能帮助您