安装文件系统SDK
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息 本文以hadoop...
在文件存储 HDFS 版上使用Apache Tez
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。已根据集群Hadoop版本对Tez重新编译。具体操作，...
文件存储 HDFS 版和对象存储OSS双向数据迁移
文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 ...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
基本概念
每个挂载点都对应一个域名，您需要修改 core-site.xml 中的配置来访问 文件存储 HDFS 版 中的文件。权限组 权限组是若干访问文件系统的权限规则的集合。包括授权地址、读写权限、用户权限等。说明 每个挂载点都必须与一个权限组绑定。权限...
管理权限组
在 文件存储 HDFS 版 中，权限组是一个白名单机制。您可以创建权限组和规则，允许指定的IP地址或网段访问文件系统，并给不同的IP地址或网段授予不同的访问权限。背景信息 初始情况下，每个阿里云账号会自动生成一个默认权限组，默认权限组...
文件存储HDFS的审计事件
文件存储HDFS已与操作审计服务集成，您可以在操作审计中查询用户操作文件存储HDFS产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
ES实例节点配置说明
数据单节点存储空间 数据单节点存储空间与数据节点存储类型有关：ESSD云盘：最大支持6 TiB存储空间。高效云盘：6.7、7.7及以上版本实例最大支持20 TiB存储空间，其他版本最大支持5 TiB。SSD云盘：6.7、7.7及以上版本实例最大支持6 TiB存储...
使用须知
节点资源 边缘节点存储支持本地盘和高效云盘，不同节点存在差异。本地盘来自单台宿主机，数据可靠性取决于宿主机的可靠性，存在单点故障风险和数据丢失风险。如果您对数据可靠性要求高，建议在应用层做数据冗余保证数据的可靠性。用户具备...
Logstash计费项
假设您在华东1（杭州）地域下创建了一台规格为1个节点2核4 GB，存储类型为高效云盘，存储空间为20 GB的阿里云Logstash实例。在不同计费模式下，费用计算过程如下：包年包月模式下，假设购买时长为3个月，则收费情况为：实例规格费用=217元/...
磁盘锁定逻辑
计算节点的存储容量决定了 AnalyticDB PostgreSQL版 实例的锁定逻辑，具体锁定逻辑如下：单个计算节点存储容量小于600 GB：实例中任一计算节点存储使用量超过90%则触发锁定。您可以在控制台查看当前实例的最大存储水位，当 实例最大存储...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
变更节点配置
您希望不同节点有不同的规格，存储类型和空间也可以根据业务变化调整，以提高实例的灵活性与性价比，可以参考本文变更RDS MySQL集群系列实例节点配置，包括独立变更各节点规格、统一变更各节点存储类型和存储空间。前提条件 实例为RDS ...
文件存储HDFS版
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
快速入门
文件存储 HDFS 版 兼容了标准的HadoopFS协议接口，使您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约...
概览
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
阿里云ES计费
节点存储空间 包年包月：费用=单节点存储空间×节点个数×云盘单价×购买时长。按量付费：费用=单节点存储空间×节点个数×云盘单价×计费时长。内核增强版高级特性费用 仅内核增强版7.10版本支持Indexing Service索引构建服务、Openstore...
计算节点变配
节点存储容量（segment）根据需求选择合适的计算节点存储容量。警告 计算节点规格变配过程中数据库只支持读，请您合理安排变配任务。计算节点存储容量变更时实例可正常读写。勾选服务协议，单击 立即购买。返回 实例列表 页面，待目标实例...
计费项
存储资源费用=存储空间单价×单节点存储空间大小×Segment节点数量×时长 按量付费 华北2（北京）地域，某个存储弹性模式高可用版实例，存储类型为ESSD云盘 PL1，单节点存储空间大小为100 GB，计算Segment节点数量为4个，实际使用时长为...
使用Fuse-DFS挂载文件存储 HDFS 版
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
系统架构
如下架构图：有两个DC，DC1有4个节点组成，DC2有4个节点组成。基本架构：Cassandra实例由1到3个DC组成，每个DC由1到500个节点组成。每个节点部署一个 cassandra进程。Cassandra没有Master节点或Proxy节点，所有节点是对等的（逻辑上系统会...
PutBucket-创建Bucket
请求参数 名称 类型 必填 描述 示例值 LogicalBucketType string 否 单节点存储，取值：sink sink Comment string 否 备注。⻓度为 0-128 个字符或汉字。numb BucketAcl string 否 Bucket 权限类型：private：私有（默认值）public-read-...
事件监控
本文介绍如何通过云监控控制台查看边缘节点服务 ENS事件监控。通过事件监控，您可以知晓ENS服务的使用状态，当您的业务出现问题时，也可以通过事件监控快速分析、定位问题。说明 所有事件类报警均按照实例触发，即同一个事件，如果影响三台...
创建和管理云盘
存储 节点：要创建云盘边缘节点（在控制台可同时创建多个边缘节点的云盘）。云盘类型：高效云盘或全闪云盘。云盘容量：云盘存储空间大小，最小值为20 GB。云盘数量：在边缘节点创建的云盘个数。单击 确认订单。挂载云盘 说明 挂载云盘前，...
变更实例节点
云盘实例减少引擎节点数量时，至少需要保留 两个 节点，确保实例在运维变更时至少有一个节点可以提供服务，避免业务中断。本地盘默认以三副本的方式进行数据冗余。为确保在有一个节点异常的情况下仍能以三副本方式进行数据冗余，本地盘实例...
数据节点管理
背景介绍 PolarDB-X 的数据节点管理功能支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，以适应多样化业务场景需求，进而有效提升整体资源使用率。存储资源池，即将DN存储节点划分为互不交叉的池，支持在单个...
节点监控
节点监控 页面分为以下三个部分：节点运行状态 区域 用于查看实例当前的运行状态，包括 协调节点健康状态、计算节点连接健康状态、协调节点连接健康状态、计算节点存储状态。不同资源类型的实例可查看的监控项不一致，具体信息，请参见 ...
功能相关
同一个节点的ENS实例之间的内网是否互通？内网互通。不同节点的ENS实例之间的内网是否互通？内网不互通。目前ENS的流量安全方案有哪些？黑洞 黑洞是指服务器受攻击流量超过本机房黑洞阈值时，阿里云屏蔽服务器的外网访问。当服务器进入黑洞...
概述
文件存储NAS 阿里云文件存储NAS（Network Attached Storage）是一款面向阿里云ECS实例、E-HPC和容器服务等计算节点的高可靠、高性能的分布式文件系统，可共享访问、弹性扩展。NAS基于POSIX文件接口，天然适配原生操作系统。文件存储CPFS ...
ListBuckets-查询存储空间列表
2022-10-12T05:45:00Z LogicalBucketType string 单节点存储，取值：sink sink ModifyTime string Bucket 修改时间。按照 ISO8601 标准表示，并需要使用 UTC 时间，格式为 yyyy-MM-ddTHH:mm:ssZ。2022-10-12T06:45:00Z EnsRegionId string ...
实例运维常见问题
假设当前业务已使用存储空间为10 TB，共有10个节点，此时需要缩容2个节点，则预估的迁移时间为：10 TB/10/30MB/s=34952秒=9.7小时。重要 该时间仅为预估时间，实际缩容耗时受业务负载和存储介质差异的影响。如果实例缩容后任一存储介质的...
使用RAM授权访问文件存储 HDFS 版
示例一：授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统...
如何选择实例规格
建议的选择逻辑：分布式数据库由多个节点组成，会有类似的木桶效应，比如突发流量导致个别节点达到资源瓶颈，会引起整体实例出现部分慢SQL的现象。因此，节点规格推荐独享型，建议生产环境8核64 GB起步，默认存储空间有3072 GB（3 TB）。...
在文件存储 HDFS 版上使用Presto
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK，JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop...
变更磁盘存储类型
ESSD云盘 PL0 ESSD云盘 PL1 ESSD云盘 PL2 说明 仅单个节点存储容量大于500 GB时支持ESSD云盘 PL2。高效云盘 说明 高效云盘已停止新购，但不影响现有实例的使用。注意事项 ESSD云盘 不支持变更为 高效云盘。目前仅支持将ESSD云盘 PL0升级至...
实例指标
实例相关）指标项 含义 procCpu 数据节点CPU使用率 procMemRss 数据节点内存使用大小 procMemUsedRatio 数据节点内存使用率 diskUse 数据节点磁盘使用大小 diskUsedRatio 数据节点磁盘使用率 partitionDocCount 数据节点存储的doc数 ...
存储监控
操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页，找到目标实例并单击实例ID。在左侧导航栏中，单击 监控与报警>存储监控。在 存储监控 页面，设置如下参数：参数 说明 数据库 从 数据库 列表中...
存储空间分析
集群所有表的总数据量是140 GB，数据分布情况为1个节点组60 GB，1个节点组80 GB。则节点的最大磁盘使用率=(80/200)*100%40%。集群锁定水位线(90%)当最大磁盘使用率超过集群锁定水位线（即 90%）时，集群会被锁定，锁定后集群可以查询数据，...
- 产品推荐
- 这些文档可能帮助您