DataWorks on EMR集群配置最佳实践
Spark组件 由于Spark组件内存默认值较小，您可在 spark-submit 命令行中添加设置内存大小的命令，修改内存默认值为合适大小。您可根据所使用的EMR集群规模情况调整Spark组件以下配置项：spark.driver.memory、spark.driver.memoryOverhead...
如何在本地数据中心部署云存储网关
设置内存大小，单击 Next。选择已配置好的虚拟交换机，单击 Next。选择已下载好的网关镜像文件，单击 Next。单击 Finish。创建完成后，可在Hyper-V主页上看到新建的虚拟机。启动虚拟机后可登录命令行控制台，其默认用户名为root，默认密码...
JVM内存调优
部分Workload会向HDFS中写入更多文件，或者随着一段时间的积累HDFS保存的文件数不断增加，当增加的文件数超过默认的内存空间配置时，则默认的内存空间无法存储相应的信息，您需要修改内存大小的设置。建议：修改NameNode JVM内存大小。修改...
AnalyticalStoreStorageSize
分析存储大小和统计分析存储大小时的时间戳。数据结构 message AnalyticalStoreStorageSize { optional int64 size=1;分析存储占用存储大小。optional int64 timestamp=2;统计时间。} 名称 类型 描述 size int64 分析存储大小。单位为字节...
JVM内存配置最佳实践
如果JVM堆空间大小设置过大，可能会导致Linux系统的OOM Killer被激活，进而结束（kill）Java应用进程，在容器环境下可能会表现为频繁异常重启。本文介绍在容器环境下JVM堆参数的配置建议，以及OOM的相关常见问题。通过-XX:MaxRAMPercentage...
如何查看Bucket中某个目录下所有文件的存储大小？
您可以通过阿里云SDK、命令行工具ossutil、REST API等多种方式，查看Bucket中某个目录下所有文件的存储大小。阿里云SDK 您可以通过 Java SDK、PHP SDK 、Python SDK、Go SDK、C++ SDK、C SDK 查询目录下所有文件各自的存储大小。命令行工具...
DescribeTimeseriesAnalyticalStore
调用DescribeTimeseriesAnalyticalStore接口查询时序分析存储描述信息，例如分析存储配置信息、分析存储同步状态、分析存储大小等。请求消息结构 message DescribeTimeseriesAnalyticalStoreRequest { required string table_name=1;...
企业级状态后端存储配置
false：每个Backend的内存大小将设置为 state.backend.gemini.total.writebuffer.size 和 state.backend.gemini.offheap.size 参数值的和。您可以通过将该参数取值设置为 false，并单独配置WriteBuffer和Offheap的大小来协调内存资源和性能...
查看表和DB的存储大小
Hologres兼容PostgreSQL，当前支持查看表或者DB的存储大小。本文将会为您介绍如何使用SQL语句查看表和DB的存储大小。使用限制 仅支持查看内部表的存储规格大小，不支持直接查看分区父表（查看分区父表返回结果是0），需要指定分区子表进行...
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储...您可以为存储优化任务设置月度计划，使用OSS提供的各种存储管理功能来监控存储成本并评估资源使用情况，从而简化存储优化工作。
变更配置方案概览
说明 降低存储空间：新实例的存储空间需大于原实例已用存储大小。变更节点数：新实例类型选择副本集。变更实例架构：选择目标架构的实例类型。关于实例架构请参见 云数据库MongoDB产品架构。备份恢复场景下，您也可以克隆恢复出新实例，...
规格容量评估
业务场景不同，单节点最大承载数据量也不同：通用场景：单节点最大存储空间=单节点内存大小（GiB）*30。搜索场景（数据库加速、查询聚合等）：单节点最大存储空间=单节点内存大小（GiB）*10。日志分析场景（日志写入、离线分析等）：单节点...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
方案背景
本文以车联网场景中车辆轨迹数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆轨迹数据平台的场景需求以及方案架构。场景需求 在车联网场景...对时序数据采用压缩技术减少存储大小，降低存储成本。支持高并发写入和高性能分析能力。
监控指标参考
计量参考 具体指标项如下：指标名称 单位 描述 存储大小 字节 该Bucket每小时使用的平均存储大小。计费流量 字节 计费请求数 次数 延时 请求延时是系统性能的直观反映，且只对返回状态码为2xx的成功请求进行监控。监控服务提供了分钟级别的...
查看仪表盘
机器指标 单机维度的指标数据看板，包括目标机器的配额信息（CPU核数、内存大小、存储大小等）以及监控指标趋势曲线（CPU负载、CPU使用率、内存水位、存储水位、磁盘IO以及流量数据等）。聚类分析 集群维度的机器分析，包括机器热点分析和...
时序模型计量计费
分析存储大小200 GB 每日查询分析存储数据8 GB 此场景用于快速估算所需费用。时间线数据计费 数据写入费用按照0.21元/GB/日估计，数据读取费用按照0.1元/GB/日估计。数据存储 存储量为1 TB，容量型存储单价为0.3元/GB/月。单月费用：1 TB*0...
混合存储型（已停售）
在保证常用数据访问性能不下降的基础上，混合存储型能够大幅度降低用户成本，实现性能与成本的平衡，同时使单个Redis实例的数据量不再受内存大小的限制。内存数据：内存中存放了热数据的Key和Value，同时为快速确认要操作的Key是否存在，...
配置动态内存优化
在部署设置页面，设置 应用运行环境，设置 Java环境 为Dragonwell_11_ElasticHeap，设置部署包信息后展开 Java启动参数配置，为应用设置Java启动参数的初始堆内存，最大堆内存，GC回收策略为G1，单击 确定 后会显示出 动态内存优化 标签栏...
时序模型
功能 描述 查询分析存储描述信息 当需要查看分析存储的详细配置信息时，您可以使用 DescribeTimeseriesAnalyticalStore 接口查询分析存储描述信息，例如数据生命周期配置、数据同步选项、数据同步状态、数据存储大小等。更新分析存储的数据...
时序模型
功能 描述 查询分析存储描述信息 当需要查看分析存储的详细配置信息时，您可以使用 DescribeTimeseriesAnalyticalStore 接口查询分析存储描述信息，例如数据生命周期配置、数据同步选项、数据同步状态、数据存储大小等。更新分析存储的数据...
使用DataX同步
因此您可以考虑指定JVM的内存大小参数，即在 步骤三：执行同步命令 中通过-j 参数来指定JVM的内存大小。channel的个数和流控参数 在 conf/core.json 中，控制channel的关键参数如下图所示。说明 一般情况下，channel队列本身配置的调整并不...
扩展系统盘存储空间
EAS 支持扩展服务实例系统盘的存储空间，从而支持拉取更大的镜像，本地可以缓存更多的数据。本文为您介绍公共资源组和专属资源组调整服务实例存储空间的具体操作方法。公共资源组 通过控制台配置额外系统盘 您可以在 部署服务 页面 资源...
查看集群日报与分析
HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据存储大小 HDFS使用分析 在HDFS使用分析中，您可以获取以下图表信息：HDFS User...
计费概述
其计费组成如下所示：通用型NAS 使用通用型NAS文件系统，NAS会根据存储规格、存储大小（每小时峰值）和时长收取一定的存储费用。如果您的业务涉及生命周期管理功能时，NAS会根据您转存储的存储类型收取存储容量费用和数据读写流量费用。...
存储空间标签
您可以通过存储空间（Bucket）的标签功能，对Bucket进行分类管理，例如ListBucket时只显示带有指定标签的Bucket。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
自定义临时存储空间大小
本文介绍如何自定义设置临时存储空间大小。背景信息 每个ECI实例默认提供30 GiB的临时存储空间（免费），如下图所示。重要 ECI实例启动所使用的容器镜像会占用该30 GiB空间。容器镜像需要占用的空间大小至少为容器镜像大小*2，具体大小视...
管理存储空间访问权限
您可以在创建存储空间（Bucket）时设置存储空间的访问权限（ACL），也可以在创建存储空间后根据自己的业务需求修改存储空间的访问权限。本文介绍如何设置和获取存储空间的访问权限。读写权限类型 存储空间的访问权限有以下三类：访问权限 ...
配置冷存储
如果设置为冷存储，那么这个表或某个列簇的数据都会存储在冷存储介质中，并不会占用该实例的默认存储空间。配置冷存储 配置数据库中的表或者列簇为冷存储的方法有两种：通过HBase Shell设置冷存储。在设置前，需要已下载和配置Shell，具体...
自定义临时存储空间大小
ECI Pod（即ECI实例）默认提供30 GiB的免费存储空间，如果该存储空间大小无法满足您的需求，您可以自定义增加临时存储空间大小。本文介绍如何自定义设置临时存储空间大小。背景信息 每个ECI实例默认提供30 GiB的临时存储空间（免费），如下...
增加临时存储空间大小
方式一：添加Annotation 在ECI Pod添加 k8s.aliyun.com/eci-extra-ephemeral-storage 的Annotation可以为其增加临时存储空间大小，设置的值即为增加的临时存储空间大小。重要 Annotation请添加在Pod的metadata下，例如：创建Deployment时，...
通用型NAS计费
通用型NAS计费项 通用型NAS按照存储规格、存储大小（每小时峰值）和时长收取一定的存储费用。如果您的业务涉及生命周期管理功能时，NAS会根据您转存储的存储类型收取存储容量费用和数据读写流量费用。关于生命周期管理的详细信息，请参见 ...
创建同城冗余存储Bucket
OSS 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%（12个9）的数据设计持久性。本文介绍如何...
创建存储空间
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何创建存储空间。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
创建存储空间
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何创建存储空间。示例代码 以下代码用于创建名为examplebucket的存储空间。const OSS=require('ali-oss');const client=new OSS({/yourregion填写Bucket...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
创建存储空间
存储空间（Bucket）是存储对象（Object）的容器。对象都隶属于存储空间。本文介绍如何创建存储空间。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持...
设置OSS存储
对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，将数据以对象（Object）的形式存储在存储空间（Bucket）中。OSS 在解决应用实例数据持久化和实例间数据分发问题的基础上，进一步降低成本。本文介绍...
设置NAS存储
文件存储 NAS（Apsara File Storage NAS）是一种可共享访问、弹性扩展、高可靠、高性能的分布式文件系统，为阿里云ECS实例、E-HPC、容器服务等计算节点提供了文件存储服务。本文介绍如何在 SAE 控制台为应用设置NAS存储。背景信息 通常情况...
- 产品推荐
- 这些文档可能帮助您