如何优化高并发IM系统架构
多个用户在一个队列中，队列串行执行，为了保证消息严格递增，执行过程中要持有锁，这个过程会有一个风险：如果发送给某个用户的消息量很大，这个用户所在的队列中消息会变多，就有可能堵塞其他用户的消息，导致同队列的其他用户消息出现...
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
JDBC连接表格存储
本文介绍如何使用JDBC访问表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北5（呼和浩特）、华北6（乌兰察布）、华南1（深圳）、西南1（成都）、中国香港、新加坡、...
通过PrestoDB使用Tablestore
方式一：后台运行./launcher start#方式二：前台运行./launcher run 在PrestoDB安装目录下的 bin 目录中执行如下命令启动SQL CLI。说明 PrestoDB默认运行在8080端口。如果要修改端口配置，请修改 etc/config.properties 中的 ...
表格存储和HBase的区别
Table management 表格存储自动执行Table相关的操作，用户无需关注，因此不支持以下接口：compact(TableName tableName)compact(TableName tableName,byte[]columnFamily)flush(TableName tableName)getCompactionState(TableName ...
使用流程
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。本文介绍通过控制台和命令行工具快速使用宽表模型和时序模型的流程。背景信息 使用表格存储前，您需要了解表格存储相关介绍，例如产品概述、基本概念等...
转换元数据
OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。...重要 执行增量转换任务过程中，会产生大量的重复数据，占用额外的存储空间。因此，在执行增量转换任务之前，建议您先清理已转换完成的文件。
云存储网关
云存储网关CSG（Cloud Storage Gateway）是一款可以部署在用户本地数据中心和阿里云上的网关产品。它以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关 目前提供两种...
时序模型介绍
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景，支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据，能提供高并发写入和查询...
表格存储建表注意事项
放开表个数的需求一般有以下几种情况：数据量大、访问性能要求高 不同于传统的SQL数据库（例如MySQL）解决海量数据访问需求的方法是分库分表，表格存储作为分布式实现方式很好地解决了数据量及访问延迟的瓶颈。您可以将结构化或半结构化的...
宽表模型介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
CPFS并行文件存储
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
常见问题
解决方法：对归档存储、冷归档存储或者深度冷归档存储类型的文件执行mv操作前，您需要先解冻文件。具体步骤，请参见 解冻文件。为什么Bucket开启版本控制后出现挂载慢的问题？问题原因：ossfs默认通过调用 ListObjects（GetBucket）列举...
对象存储优化
对象存储OSS提供存储管理功能，帮助您优化存储性能和成本。分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
集成概览
调用方式 调用方式 支持情况 备注 阿里云SDK（推荐）支持 数据库文件存储DBFS支持的语言及依赖安装方法，请参见 数据库文件存储 SDK。阿里云SDK集成方式说明请参见 阿里云 SDK。Terraform 支持 如何使用Terraform自动化创建和管理资源，请...
常见问题排查
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...
方案实现
在Source表（order_source表）上执行批计算SQL命令，得到聚合结果，并将聚合结果分别写回表格存储的Sink表（OrderTotalSink表和OrderBatchSink表）中。执行批计算SQL语句更新用户维度的聚合结果。SQL命令。INSERT INTO order_batch_sink ...
如何使用Java SDK快速删除存储空间及其中的历史版本
删除OSS服务中不需要的存储空间（Bucket）时，如果存储空间不为空，则存储空间无法删除，您必须先删除存储空间中的所有文件、未完成的分片文件、存在的livechannel以及多版本数据后，才能成功删除存储空间。本文是基于OSS的Java SDK来实现...
监控与日志
监控与日志可有效保障您表格存储资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、操作审计等，帮助您实时监控云资源的使用情况和业务运行状况，...
如何使用OSS更省钱？
使用OSS时，您可以根据业务数据的变化合理规划存储类型、利用预付费与后付费策略等方式有效降低使用成本。注意事项 以下案例单价来自2024年04月12日阿里云官网公布的OSS详细价格信息。因统计的价格日期不同，各个计费项的单价可能存在差异...
ListDirectoriesAndFiles-查询目录和文件列表
获取通用型NAS指定目录下的低频存储文件和包含低频存储文件的子目录列表。接口说明 仅通用型 NAS 文件系统支持该功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
数据备份概述
说明 如果使用过程中遇到问题，请通过钉钉加入用户群11789671（表格存储技术交流群）、23307953（表格存储技术交流群-2）或者36165029092（表格存储技术交流群-3）联系我们。准备工作 已开通 云备份 服务。具体操作，请参见 开通云备份。已...
存储费用
按量付费：归档存储不足规定时长费用=被删除文件大小（GB）×归档存储文件存储月单价÷30（天）÷24（小时）×（1440-已存储时间）资源包：归档-本地冗余存储包 重要 当归档类型存储时长远不足1440小时的情况下，由于OSS是一次性计算归档...
异常处理
InternalError OSS内部错误 MalformedXML XML格式非法 MethodNotAllowed 不支持的方法 MissingArgument 缺少参数 MissingContentLength 缺少内容长度 NoSuchBucket 存储空间不存在 NoSuchKey 文件不存在 NoSuchUpload 分片上传ID不存在 ...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
如何开启存储压缩功能
在开启存储压缩的过程中，实例状态为 配置切换中，等待实例状态恢复到 运行中 就成功开启了存储压缩功能。在开启存储压缩的过程中，实例状态为 配置切换中，等待实例状态恢复到 运行中 就成功开启了存储压缩功能。开启后，在集群 基本信息 ...
方案分析
在开源方案中，通常会在选择了关系型数据库作为存储系统的基础上，选择开源Redis，这样既能覆盖上述的几个特征，还能保证Feed流系统正常运行起来，但是也会带来一些其他问题：表格存储 Redis 存储成本 磁盘性数据库，费用比内存性的要低几...
产品优势
（IO hang是指在系统运行过程中，因某些IO耗时过长而引起的系统不稳定甚至宕机）最大容量32TB。需要上层集群文件系统进行扩容，扩容复杂，扩容周期长，不支持在线扩容。最大容量1PB。易用性 兼容POSIX文件接口，部署简单，挂载即用。需要...
计费概述
说明 文件存储NAS产品定价 中明确了存储容量的单价为 元/GiB/月，但按量付费的计算方法为 实际存储容量×每小时单价。因此当您需要计算实际存储容量费用时，需要先将存储容量费用的单价转换为 元/GiB/小时。例如容量型NAS单价为 0.35元/GiB...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
数据类型
使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型 Scala中的值类型 多元索引数据类型 表中数据类型 ByteType Byte Long Integer ShortType Short Long ...
CDH6数据迁移
为了保证在更换文件存储系统的过程中文件数据不丢失，需要暂停数据处理服务（例如：YARN服务、Hive服务、Spark服务、HBase服务等），HDFS服务仍需保持运行。此处以停止Hive服务为例进行说明。在CDH Web主页，找到Hive服务，在右侧的操作...
基于最后一次访问时间的生命周期规则
存储空间已开启版本控制 开启版本控制后，基础设置 与 碎片执行策略设置 区域涉及的配置项，与未开启版本控制的配置方法相同。以下表格仅介绍与未开启版本控制相比，开启版本控制后配置项存在的差异。区域 配置项 说明 当前版本文件执行...
如何开启存储压缩功能
在开启存储压缩的过程中，实例状态为 配置切换中，等待实例状态恢复到 运行中 就成功开启了存储压缩功能。在开启存储压缩的过程中，实例状态为 配置切换中，等待实例状态恢复到 运行中 就成功开启了存储压缩功能。开启后，在集群 基本信息 ...
数据库备份到OSS
背景 对象存储OSS 对象存储OSS 提供了标准类型存储，作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也提供了成本更低、存储期限更长的低频访问类型存储和归档类型存储，作为不经常访问数据的备份和归档。对象存储OSS非常...
迁移开源HDFS的数据到文件存储 HDFS 版
本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...
转换存储类型
存储空间已开启版本控制 开启版本控制后，基础设置 与 碎片执行策略设置 区域涉及的配置项，与未开启版本控制的配置方法相同。以下表格仅介绍与未开启版本控制相比，开启版本控制后配置项存在的差异。区域 配置项 说明 当前版本文件执行...
部署本地文件网关控制台
Hypervisor 支持的安装方式 安装文件的格式 VMware vSphere 使用OVA导入方式安装云存储网关 ova KVM 使用Virt-Manager通过qcow2安装云存储网关 qcow2 Hyper-V 使用VHD导入方式安装存储网关 vhd 步骤一：下载镜像 登录 云存储网关控制台。...
CopyObject
调用 CopyObject 接口拷贝同一地域下相同或不同存储空间（Bucket）之间的文件（Object）。版本控制 x-oss-copy-source 默认拷贝Object的当前版本，您可以在 x-oss-copy-source 中加入versionId来拷贝指定的Object版本。拷贝Object时，如果...
- 产品推荐
- 这些文档可能帮助您