为什么设置表生命周期TTL后，表大小变大了？
表格存储的每行数据都占用一定的存储空间。...如果开启多版本或者设置数据表生命周期，则每个版本的数据需要包括版本号（占用8字节）、列名和数据值，因此表大小会变大。关于数据版本和生命周期的更多信息，请参见 数据版本和生命周期。
实时计算场景优化
如果该文件实际大小很小，例如仅为8 MB，则当文件调用close方法关闭输入流时只会占用8 MB的磁盘空间。通常实时计算框架会打开较多的HDFS文件写入流，如果同时打开很多文件，则HDFS会预先保留较多的磁盘空间。如果磁盘剩余空间不够，则会...
常见问题
导入文档只是通过对文档内容解析-分块-embedding向量化得到文档的向量数据库，然后在问答过程中先根据用户query进行向量检索，然后将检索结果和问题组成prompt，由大模型返回最终答案。模型训练中心」可以进行sft训练。2.通义千问升级后，...
查看集群日报与分析
Hive文件大小分布Top信息提供以下数据：Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题，大量的小文件会严重拖累计算流程，...
小文件优化及作业诊断常见问题
产生场景：MaxCompute使用盘古分布式文件系统是按块（Block）存放的，通常文件大小比块大小小的文件（默认块大小为64MB），被称为小文件。以下场景会产生小文件：Reduce计算过程会产生大量小文件。Tunnel数据采集过程中会生成小文件。Job...
SmartData 3.1.x版本简介
Jindo DistCp目前支持的大文件最大不能超过78 GB。JindoFS Block模式虽然支持checksum功能，但Jindo DistCp暂不支持checksum功能。功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 ...
数据重排
说明 重排前请查看表中数值的分布情况，对列值占比大的列进行重排效果会比较好（customer 表中 c_email_address 字段列值占比较大）。使用 DISTRIBUTE BY+SORT BY 方式进行数据重排：SET odps.namespace.schema=true;insert overwrite ...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
SparkSQL合并小文件功能使用说明
本文为您介绍如何开启SparkSQL合并小文件功能，以及支持的SQL语句。开启小文件合并功能 开启小文件合并功能后，SparkSQL的写入操作（例如insert、create table等）将自动合并生成的输出文件，但功能只作用于当前写入操作生成的文件，不会对...
数据库采集器问题
将大文件拷贝到一个临时目录下，使用 split-b 10m eoa_tmp_objects_ext.csv 命令将大文件切分成小文件分别查看（内容与大文件一致）即可。其中，小文件以 xaa/xab 等文件名存在同级目录下。终端提示“transaction log is not configured,...
基本概念
批次大小 批次大小代表模型训练过程中，模型更新模型参数的数据步长，可理解为模型每看多少数据即更新一次模型参数，一般建议的批次大小为16/32，表示模型每看16或32条数据即更新一次参数。学习率 学习率代表每次更新数据的增量参数权重，...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
录音指导
音量、语速不一致 此问题主要是拼接多段不同来源的音频导致，如下图所示：音量过大或过小 音量过大，会产生音频截幅现象，会导致声音信息不完整，具体表现为波形图中波峰信息被截断：造成音量过大的可能原因有：离麦克风过近 录制时发音过...
性能优化建议
控制小程序资源包大小 当用户访问一个小程序时，支付宝客户端会首先从 CDN 下载小程序资源包，所以资源包的大小会影响小程序启动性能。优化建议：及时删除无用图片资源，因为所有图片资源都会默认打包进去。控制图片大小，避免使用大图，大...
横向逻辑回归二分类
参数名称 参数英文名称 参数说明 全局迭代轮数 epochs 全局模型的最大迭代次数 隐私开销 epsilon 联邦学习中，差分隐私的隐私开销，数值越大，添加的噪声越小，隐私保护越弱，则越精确，训练效果越好；数值越小，隐私保护强度越强，则单...
常见问题
造成服务不稳定的情况可能有很多，最常见的情况是znode数量过大或者snapshot过大，由于ZooKeeper将所有的znode维护在内存中，并且需要在节点间进行数据同步，因此过大的znode数量或者容量会对服务稳定性造成影响。ZooKeeper的定位是一个...
SET
如果输出的表中的复杂数据类型过多或输出表中含有的某个单独的复杂类型变量大小过大，可以设置该参数。如果输出的表有3个列的Schema是复杂数据类型，例如列类型为（STRING、MAP、STRUCT、ARRAY或BINARY），则默认情况下MaxCompute将会为写...
外部表常见问题
建议您在OSS对应的外部表路径下，将OSS大文件拆分为小文件，从而增加读取外部表生成的Mapper数量，提升读取速度。使用SDK搜索MaxCompute外部表数据速度慢 问题现象 使用SDK搜索MaxCompute外部表数据速度慢。解决措施 外部表仅支持全量搜索...
升级内核小版本
内核小版本过低可能会导致业务中断、数据丢失等损失。云数据库ClickHouse 支持升级内核小版本。内核小版本的升级涉及性能提升、新功能或问题修复等。注意事项 当目标集群为...集群状态由 小版本升级中 转变为 运行中，内核小版本升级成功。
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
SQL使用限制项
MaxCompute SQL是专门为大规模数据集设计的SQL语言，在服务大规模数据场景的同时，也需要遵循一定的限制来确保系统的稳定性和运行效率，本文为您介绍MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 ...
应用场景
CDN具有广泛的应用场景，可实现图片小文件、大文件下载和视音频点播业务类型的加速，本文介绍阿里云CDN产品的应用场景。场景概述 阿里云CDN的应用场景如下表所示。应用场景 场景概述 图片小文件 适用于各类网站或应用中小文件的加速分发，...
SQL调优
解决方案：使用如下命令调小单个并发处理的数据大小。set odps.stage.mapper.split.size=;set odps.stage.reducer.num=<并发数>;每次读取 256 MB 数据太少，导致Instance的执行时间太短，而由于输入数据很大，反而导致了并行度过大，使...
小查询自动识别与加速
AnalyticDB MySQL版 混合负载的查询背景下，大小查询混合排队，在大查询未执行结束并释放执行Quota前，小查询往往会被大查询阻塞。即使小查询自身执行时间不长，也会由于排队时间增长导致响应时间（RT）增长。本文介绍的小查询自动识别与...
样式配置
在电子表格编辑页面的 样式 页签，您可以进行电子表格的 展示型配置 和 总/小计配置。本文为您介绍如何配置电子表格的样式。展示型配置 用于配置电子表格的样式。自定义区块名 称 支持自定义区块名称。方便设置筛选条件、全局参数或跳转时...
YARN资源配置
组件名 配置文件 配置项 生效范围 备注 ResourceManager yarn-env.sh YARN_RESOURCEMANAGER_HEAPSIZE 集群 最小1024，如果小作业较多则需要继续调大该参数值，调整后需要重启ResourceManager组件生效。NodeManager yarn-env.sh YARN_...
视频双流规格配置说明
双流规格默认对应关系 RTC SDK会根据大流视频的规格自动设置小流视频的默认规格，对应关系如下所示：大流宽高比（宽∶高）小流 分辨率（宽×高）码率（单位：Kbps）帧率（单位：fps）1∶1 160×160 100 10 3∶4 120×160 100 10 4∶3 160×...
引擎版本介绍
缺陷 如果您使用的不是最新版本，由于兼容性的服务承诺，阿里云Flink建议您通过升级同一个大版本中的小版本实现相关缺陷的修复。例如，如果您作业使用的是VVR 6.0.5版本，而目前VVR 6.x版本的最新版是VVR 6.0.7，则我们建议您通过升级引擎...
THP reclaim功能
背景信息 Linux操作系统的内存采用分页管理模式，其中的THP是指内核中2 MiB或1 GiB大小的大页面（普通的小页面大小为4 KiB），一般被称为透明大页。基于应用程序使用到的内存范围越来越大，地址转换产生的开销变得不可忽视。因此，当服务器...
录音指导
音量、语速不一致 此问题主要是拼接多段不同来源的音频导致，如下图所示：音量过大或过小 音量过大，会产生音频截幅现象，会导致声音信息不完整，具体表现为波形图中波峰信息被截断：造成音量过大的可能原因有：离麦克风过近 录制时发音过...
MaxCompute UDF（Java）常见问题
解决措施：如果实际计算量很大，可以在MaxCompute UDF的实现Java类的方法中调用 ExecutionContext.claimAlive 来重置计时器。重点优化MaxCompute UDF代码逻辑。后续调用MaxCompute UDF时，可同时在Session级别配置如下参数辅助调节...
医疗
流畅 App 性能大幅度提升，小程序即开即用。轻松地将 App 新版本、H5 离线包、小程序包以及开关配置进行下发。提供正式发布和灰度发布。提供白名单、机型、系统版本等多维度发布能力，实现整体应用动态化管理。发布包大小极致优化，节省...
升级实例版本
升级大版本和小版本持续时间取决于实例规模，正常规模的实例（alikafka.hr.30xlarge或alikafka.hw.30xlarge及以下规格）预计大版本升级持续约25分钟、小版本升级持续约15分钟，一般情况下，实例规格越大，持续时间越长。在升级过程中，会...
代码大页
透明大页可以自动将小页面（通常为4 KB）合并成大页面（通常为2 MB或更大），可以减少内存访问页表项PTE（Page Table Entries）大小和访问次数，从而减轻TLB缓存的压力提升程序性能。更多信息，请参见 Alibaba Cloud Linux系统中与透明大页...
Logview诊断实践
子查询多阶段执行 类似，Merge作业也是作为一个单独的 tab 页显示，自动合并小文件多出来的Merge Task，虽然会增加当前作业整体执行时间，但是会让结果表在合并后产生的文件数和文件大小更合理，从而避免对文件系统产生过大压力，也使得表...
- 产品推荐
- 这些文档可能帮助您