创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
Serverless存储层
实时数据存储在热存储（SSD）上，保证超低延时的写入和查询性能，可提供行级数据实时性。全量数据以微分区（Micro Partitions）的形式存储，大幅度优化传统数仓中出现的IO放大和写放大的问题，提供高吞吐的读写能力。同时，利用OSS和PANGU...
计费方式2：按量付费
存储包是PolarDB推出的一种预付费资源包，可以抵扣存储空间用量、一级备份（超出免费额度）、二级备份、日志备份、冷数据存储、Serverless存储容量等费用。存储包可以有效降低对应的费用，且存储包的规格容量越大，购买时长越长，越划算。...
冷热数据分层存储
冷数据：访问频次较低的数据，存储在较低价的冷数据盘中，满足高性价比的存储需求。冷热数据分层存储提供了两种存储策略，具体如下：存储策略 详情 默认存储策略 将新写入的数据存储在热数据盘中，提供高效查询。当热数据存储量达到业务...
数据库备份到OSS
数据存储加密：对备份到OSS的数据进行加密存储，保障数据隐私性。随时验证：随时验证数据库备份的有效性。低成本 按需付费：OSS存储空间按需付费，避免一次性投入大量资产。自动存储分级：OSS提供标准、低频、归档多种类型，全面优化存储...
引擎简介
产品架构 云原生多模数据库 Lindorm 流引擎的架构图如下：云原生多模数据库 Lindorm提供了一体化的数据存储、计算和查询能力。流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL...
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
逻辑备份、物理备份与快照
本文介绍逻辑备份、物理备份与快照的区别，以及使用 数据库备份DBS 控制台创建备份计划时如何选择备份...数据库备份DBS 支持将备份数据存储于用户OSS或DBS内置存储中，请参见 内置存储与用户OSS。如需创建DBS备份实例，请参见 创建备份计划。
基础数据操作
说明 在物联网存储场景中，您可以将Kafka数据、EMQX数据、物联网平台数据存储到表格存储时序表中。更多信息，请参见 时序数据接入。通过Flink计算与分析数据后，您可以使用Tablestore时序表存储输出结果。更多信息，请参见 使用时序表存储...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
应用场景
在工业生产过程中对数据存储与分析的需求如下：数据存储：设备状态数据定时上报，通过数据网关上云存储，需要支持海量设备元数据存储，可能达到千万级甚至亿级。数据更新：大规模设备元数据实时更新，需要支持高并发、低延迟的数据更新。...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
功能特性
按时间点恢复RDS数据 按时间点恢复PolarDB数据 按时间点恢复MongoDB数据 按时间点恢复Redis数据 按时间点恢复Tair数据 存储能力 温备份存储 提供性能适中、价格适中的备份存储。DBS内置存储 备份数据清理 支持TTL过期系统自动删除备份数据...
常见问题
请先执行 flush 操作将数据刷写至磁盘上，再执行 compaction 操作，即可将数据存储至冷存储中。compaction 操作说明如下：HBase Shell使用方式，请执行 major_compact 命令。Lindorm-cli连接使用方式，使用语法请参见 ALTER TABLE。Q：为...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
现代IM系统中的消息系统—模型
支撑海量数据存储：对于消息存储库来说，如果需要消息永久存储，则随着时间的积累，数据规模会越来越大，需要存储库能应对长时间积累的海量消息数据存储，需要能达到PB级容量。低存储成本：消息数据的冷热区分是很明显的，大部分查询都会...
计费常见问题
购买MaxCompute后，如果您没有执行外网数据下载、数据存储（MaxCompute项目无数据）或计算操作，不会产生费用。如果MaxCompute项目中已有数据，但未执行外网数据下载或计算操作，会产生存储费用。MaxCompute会存储三个副本，如何计费？只...
创建Kudu数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Kudu。如果您最近使用过Kudu，也可以在 最近使用 区域选择Kudu。同时，您也可以在搜索框中，输入Kudu的关键词，快速筛选。在 新建Kudu数据源 对话框中，配置连接数据源参数。配置数据源的...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
管理实例
选择私有定制RDS实例 PolarDB-X 1.0计算资源只读实例 的数据存储在 PolarDB-X 1.0存储资源实例（包括 PolarDB-X 1.0存储资源主实例 和 PolarDB-X 1.0存储资源只读实例）上。在 存储节点信息 页面，您可以查看当前数据库下可供选择的所有 ...
方案背景
因此车联网场景下车辆轨迹数据存储与分析的需求如下：数据存储：车辆轨迹数据会随着时间动态变化，要长期保存车辆轨迹信息，需要单表规模极大以及高性价比存储。数据写入：面向众多车辆，需要支持百万级节点实时写入。数据检索：根据多个...
备份存储费用说明
例如：假设数据库数据量为100 GB，在进行快照备份后，修改了数据库中的10 GB数据，则：数据存储按照100 GB收费，快照备份存储按照10 GB收费；如果删除了该数据库，且保留其快照备份，则快照备份存储按照100 GB收费。存储包抵扣规则 使用...
减灾与应急时空解决方案与案例
完全架构于云上，总体采用数据存储层、业务服务层和应用层三层架构。底层采用云原生数据库 PolarDB PostgreSQL版（兼容Oracle）+Ganos时空数据库引擎形成坚实底座，中间层采用GeoServer进行空间数据服务发布。支持直接导入面向对象存储OSS...
什么是文件存储NAS
高可靠性 NAS采用单可用区（AZ）数据存储机制，将用户的数据在后端进行多副本存储，每份数据都会存储在同一个可用区内多个不同的设备上，并提供99.999999999%（11个9）的数据持久性和99.95%的服务可用性，能够有效降低数据安全风险。...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
离线同步数据质量排查
读端数据一致性排查 数据集成的Reader插件用来连接具体的源头数据存储，抽取出待同步的数据并投递给同步写端。每一个存储类型都会有对应的Reader插件，Reader插件会根据用户配置的数据抽取模式（包括数据过滤条件、表、分区、列等），使用...
产品概述
存储节点（Data Node，DN），主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供计算下推能力满足分布式的计算下推要求（比如Project/Filter/Join/Agg等下推计算），可支持本地盘和共享...
主备方案介绍
A：LTS不会缓存数据，数据同步中当目标实例无法写入时，会记录读取WAL的点位，保证数据在目标实例恢复后继续同步数据，数据存储在源集群的Hlog中。Q：数据D1写入主实例，但数据D1尚未到达备实例时发生切换，此时备实例中写入一条数据D2后...
查看集群日报与分析
HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据存储大小 HDFS使用分析 在HDFS使用分析中，您可以获取以下图表信息：HDFS User...
产品整体介绍
Segment Segment是负责具体的SQL执行和数据存储节点。其中本地元数据（Local Catalog，与Master Node Global Catalog保持同步）起到加速执行的功能（Segment无需每次访问Master Node获得元数据信息）；本地事务管理器（Local Transaction ...
使用冷存储
阿里云HBase针对冷数据存储的场景，提供一种新的冷存储介质，其存储成本仅为高效云盘的1/3，写入性能与云盘相当，并能保证数据随时可读。背景信息 用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间，并通过建表语句指定将冷...
存储空间分析
说明 热数据的相关信息，请参见 数据存储冷热分离。冷数据量 AnalyticDB for MySQL 集群所有表的冷数据量。说明 数仓版（3.0）预留模式集群不支持冷热数据分离，因此不显示冷数据量。冷数据的相关信息，请参见 数据存储冷热分离。热数据量 ...
创建备份计划
说明 数据量较大时，建议您购买DBS提供的 备份实例存储包，用于抵扣后续备份计划的 存储费用，该费用仅在数据存储在 DBS内置存储 时收取。更多存储包的选购建议，请参见本文 常见问题。如需了解备份计划后续可能产生的费用问题等，请参见 ...
分层存储
您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，实现数据的冷热分层，以降低数据存储费用。申请开通使用 目前分层存储处于邀测阶段，如需您需要使用此功能，请单击 申请开通，在 新功能试用申请 页面申请...
资产全景
总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。仅统计生产项目（包括 prod 和 basic 项目），T+1 更新。总数据表数：生产环境所有物理表和逻辑表总数，实时更新。总项目数：...
资产全景
总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。机器学习PAI模型训练绑定的MaxCompute项目的数据量、外部项目计算源的数据量的不纳入计算。仅统计生产项目（包括 prod 和 basic ...
功能特性
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 性能型 通用型NAS的...
背景
如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，即开即用，按量付费 表格存储是阿里云上唯一一个Serverless的数据库，无需预定任何资源搭建服务，只需按使用量付费，简单易用，满足不同行业的大数据需求。...
应用场景
数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速响应业务需求。模型设计输出后，自动化生成代码、周期性调度产出任务。价值：数据建设...
对象存储优化
分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如，通过将数据从标准存储转换为低频访问存储，您可以节省高达...
- 产品推荐
- 这些文档可能帮助您