HDFS使用优化
背景信息 本文为您介绍一些HDFS使用的优化建议：控制小文件个数 配置HDFS单目录文件数量 配置可容忍的磁盘坏卷 使用Balancer进行容量均衡 控制小文件个数 背景：HDFS NameNode将所有文件元数据加载在内存中，在集群磁盘容量一定的情况下，...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
为什么文件系统容量和快照大小不一致
正常格式化：不但完成快速格式化工作，还逐扇区扫描分区以确定和标记坏扇区，填充磁盘空块，相当于写了磁盘全盘的数据量。此时，第一份全量快照会近似于磁盘容量。Linux系统格式化：格式化磁盘后，在实例没有写入业务数据前，第一份快照的...
扩容磁盘
例如，如果只对 CORE（核心实例组）的节点做了磁盘扩容，则只重启 CORE（核心实例组）下的ECS实例。清除 只重启变配节点 复选框：重启所有节点，即集群下的所有ECS实例均会重启。完成上述配置后，单击 确认，确认重启集群。说明 扩容完成后...
如何查看Linux系统I/O负载情况？
4K对齐可以使簇与扇区相对应，保证了磁盘读写效率，以提高I/O性能。本操作介绍如何通过以下脚本对磁盘进行格式化并自动配置4K对齐。警告 运行此脚本会自动格式化所有数据盘，如果非新购数据盘，请在操作前，确认已对相关数据盘进行数据备份...
常见报错及解决方案
出现如下报错：Error:The location 500GiB is outside of the device/dev/vdb.A：为磁盘超出配额，k8s 管控数据盘默认其实 400 就够了，但是磁盘一共 500G 的话，留给业务应用的存储就只剩下 100G。Q：出现如下报错：InstanceOverQuota A：...
PostgreSQL数据库磁盘空间占用剧增后的解决方法
问题原因 原因一：大量更新导致日志剧增，来不及归档和删除，占用了磁盘空间。原因二：查询操作含有大数据量的排序、连接等操作，处理过程中产生临时表并溢出到磁盘，短时间内造成大量空间占用。解决方案 原因一的解决方法：提高实例的磁盘...
PostgreSQL数据库磁盘空间占用剧增后的解决方法
问题原因 原因一：大量更新导致日志剧增，来不及归档和删除，占用了磁盘空间。原因二：查询操作含有大数据量的排序、连接等操作，处理过程中产生临时表并溢出到磁盘，短时间内造成大量空间占用。解决方案 原因一的解决方法：提高实例的磁盘...
使用ossfs上传大文件时提示“There is no enough disk...
此时ossfs判断上传的文件就是 100 GB*5=500 GB，超过了磁盘安全空间。解决方案 当您使用ossfs上传文件出现本地磁盘可用空间不足的报错时，请根据问题原因进行以下处理：场景一：增大磁盘可用空间。场景二：分片大小正常单位是MB，最大数量...
创建逻辑卷
逻辑卷管理LVM（Logical Volume Manager）是Linux系统下的一种管理硬盘分区机制，在磁盘和分区之上建立一个逻辑层，可以灵活、高效地管理磁盘分区，简化了磁盘管理操作。逻辑卷的大小可以动态调整，而且不会丢失现有数据；即使新增了磁盘，...
系统表说明
系统表存储于System数据库中，仅提供数据读取功能，不能被删除或更改，但可以对其进行分离（detach）操作。大多数系统表将其数据存储在RAM中，一个ClickHouse服务在刚启动时便会创建此类系统表。本文为您介绍E-MapReduce（简称EMR）中常用...
CLUSTER
如果你从一个表中要求一个范围的被索引值或者多行都匹配的一个单一值，CLUSTER 就会有所帮助，因为一旦该索引标识出了第一个匹配行所在的表页，所有其他匹配行很可能就在同一个表页中，并且因此节省了磁盘访问并且提高了查询速度。...
AttachDisk-为实例挂载数据盘或系统盘
指定的设备已经挂载了磁盘。403 IncorrectDiskStatus%s-403 DiskNotPortable The specified disk is not a portable disk.指定的磁盘不是可卸载的磁盘，Portable 为 false 的磁盘无法卸载。403 InstanceLockedForSecurity The instance is ...
创建RAID阵列（Linux）
如果条带太小：可能会导致文件在磁盘上的碎片化，从而浪费了磁盘空间。可能会导致磁盘IOPS（每秒读写次数）能力先于吞吐带宽被打满。较大的条带大小可以在顺序读取工作负载中提供更高的数据吞吐量。云盘快照使用限制 如果要使用快照备份...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
存储空间的常见问题
具体操作，请参见：数据文件导致实例空间满的解决办法 日志文件导致实例空间满的解决办法 临时文件导致实例空间满的解决办法 系统文件导致实例空间满的解决办法 为什么新建的数据库没有任何数据，就已经产生了磁盘使用量？数据库初始化时，...
如何基于LSM-tree架构实现一写多读
LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的特点，将所有更新操作都转化为追加写方式，提升写入吞吐。LSM-tree类的存储...
诊断指标与诊断结果条目说明
Instance.Disk.Full 该实例的磁盘于某一时间段内出现了磁盘空间使用率达到100%的情况，可能导致实例无法正常使用。根据需要选择以下合适的方案进行操作，确保系统的正常运行。如果实例当前处于运行中，请通过VNC方式访问实例，查看实例的...
基本概念
策略 定义了登录方式、安全组、访问域名权限、客户端访问IP白名单、策略生效IP等规则，同时提供了磁盘、剪贴板、水印和防截屏等安全策略，用于提高用户终端与云电脑之间数据传输的安全性。镜像 提供了云电脑所需的信息，包括操作系统、初始...
ADP底座/本地运维控制台
修复了磁盘初始化分区概率性出错的bug；v1.0.5 新特性 新增本地单副本镜像仓库，镜像使用了新的打包解包模式，实现7分钟内完成部署（1.1.7之前版本为14分钟），实现2分钟完成任意数量节点扩容（1.1.7之前版本为10分钟）；新增支持使用API扩...
ModifyScalingConfiguration
第二个N表示第N块数据盘的第N种磁盘类型，取值范围：1~4，即一个伸缩配置内最多可以为数据盘指定4种磁盘类型。N越小，优先级越高。当无法使用高优先级的磁盘类型时，弹性伸缩自动尝试下一优先级的磁盘类型创建数据盘。取值范围：cloud：...
CreateScalingConfiguration
SystemDisk.Category String 否 cloud_ssd 系统盘的磁盘种类。取值范围：cloud：普通云盘。cloud_efficiency：高效云盘。cloud_ssd：SSD云盘。ephemeral_ssd：本地SSD盘。cloud_essd：ESSD云盘。cloud_auto：ESSD AutoPL云盘。该参数不能与...
RunInstances-创建一台或多台按量付费或者包年包月ECS...
如果创建实例时返回 QuotaExceed.DiskCapacity 错误，表示您当前选择的磁盘类型所要创建的总容量超出指定可用区的系统限额，您可以前往 配额中心 查询和申请提高磁盘容量配额。最佳实践：单次大批量创建 ECS 实例（大于 100 台）遇到库存...
使用DMS连接RDS时报“running with the-rds-deny-...
问题描述 本文主要介绍 使用DMS连接RDS实例时报如下错误的解决方法。The MYSQL server is running with...如果由于RDS实例磁盘满被锁定，需要升级磁盘解锁该实例。解锁RDS实例后，尝试重新使用DMS连接RDS实例。适用于 数据管理DMS 云数据库RDS
变更流程问题排查指南
说明机器的磁盘满了，一般是应用的业务日志将磁盘打满了，此时需要用户清理应用日志。处理方法 ECS集群应用需要登录ECS清理磁盘上的日志。Swarm集群下的Docker应用则需要 重置应用。重置后，容器会被停止、删掉，然后重建。这样磁盘空间就...
ECS合规管理最佳实践
ECS数据磁盘开启加密 ECS数据磁盘已开启加密，视为“合规”。不存在闲置的ECS数据磁盘 ECS磁盘均已挂载到ECS实例，视为“合规”。安全组入网设置有效 安全组入方向授权策略为允许，当端口范围-1/-1和授权对象0.0.0.0/0未同时出现，或者被...
主机部署
ECS上确认下云助手是否正常，重启下云助手，具体可以参考：查看执行结果及修复常见问题 如果是云助手正常，确认下ECS的磁盘情况是不是磁盘满了，清理下磁盘。如何解决自有主机显示离线？服务器上确认下agent是否在线，如果是离线，则需要...
使用du与df命令查看磁盘容量不一致
问题描述 在Linux系统的ECS实例中，执行 du 与 df 命令查看磁盘容量，出现不一致的现象，以下为出现不一致的5种现象：执行 df-h 命令查看文件系统的使用率，可以看到/dev/xvdb1 磁盘占用了约27G，挂载目录为/opt。进入/opt 目录执行 du-sh ...
块存储事件通知
块存储支持设置的事件通知包括系统事件、挂载或者卸载数据盘、保留云盘、欠费...本地盘受本地磁盘出现损坏（ErrorDetected）本地磁盘出现损坏告警开始：Disk:ErrorDetected:Executing 本地磁盘出现损坏告警结束：Disk:ErrorDetected:Executed
RMiT金融标准检查合规包
ECS磁盘设置自动快照策略 ECS磁盘设置了自动快照策略，视为“合规”。ECS数据磁盘开启加密 ECS数据磁盘已开启加密，视为“合规”。ECS实例禁止绑定公网地址 ECS实例没有直接绑定IPv4公网IP或弹性公网IP，视为“合规”。使用专有网络类型的...
更换集群损坏的本地盘
例如，本文示例中坏掉的磁盘是 dev/vdd，所以需要删除该磁盘对应的记录。启动已停止的应用。在坏盘所在集群的 集群服务 页签找到 步骤二 中停止的EMR服务，选择目标服务区域的>启动 来启动目标服务。步骤三：换盘操作 在 ECS控制台 上修复...
测试分析及调优
磁盘I/O 磁盘I/O一个最显著的指标是繁忙率，可以通过减少日志输出、异步或换速度快的硬盘来降低繁忙率。网络I/O 网络I/O主要考虑传输内容大小，不能超过硬件网络传输的最大值70%，可以通过压缩减少内容大小、在本地设置缓存以及分多次传输...
变更磁盘存储类型
AnalyticDB PostgreSQL版 提供了多种磁盘存储类型，满足不同场景的存储性能和价格需求，您可以根据业务需求变更磁盘存储类型。前提条件 实例资源类型为 存储弹性模式。背景信息 AnalyticDB PostgreSQL版 目前提供了如下磁盘类型，关于云盘...
测试环境
表格存储实例 本次测试使用了两个表格存储实例：高性能实例：位于华东1区域 容量型实例：位于华东1区域 说明 高性能实例与容量型实例的区别在于其磁盘类型不同，高性能实例使用了SSD磁盘，而容量型实例则混合使用了SSD磁盘和SATA磁盘。...
解决Linux实例磁盘空间满问题
在Linux系统的云服务器ECS实例内创建文件或者应用时出现 No space left on device 报错提示，即表示您的磁盘空间不足。如果磁盘满不符合您的预期使用，可根据本文判断磁盘满的原因并相应解决。说明 如果磁盘满是符合您的预期使用，您可以...
Linux实例磁盘空间满和Inode满的问题排查方法
在Linux系统的轻量应用服务器内创建文件或者应用时出现 No space left on device 报错提示，即表示您的磁盘空间不足。如果磁盘满不符合您的预期使用，可根据本文判断磁盘满的原因并相应解决。说明 如果磁盘满是符合您预期的使用，则通过升...
使用弹性供应组API批量创建ECS实例
如果您指定了多种磁盘规格，弹性供应组将按照指定顺序作为各磁盘类型的优先级顺序，当某一种磁盘不可用时，自动更换磁盘类型。说明 当所有磁盘类型都不可用时，系统将会自动更换其它创建方式，不再尝试该种创建方式。支持多种创建实例的...
- 产品推荐
- 这些文档可能帮助您