通过OpenStore智能混合存储实现海量数据存储
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持自定义冷热存储与智能混合存储版本，智能混合存储可突破传统冷热分离架构，大幅降低集群数据接...，进一步降低云上海量数据的存储成本...
通过OpenStore自定义冷热存储实现海量数据存储
详细信息请参见 通过OpenStore自定义冷热存储实现海量数据存储。说明 手动删除OpenStore存储索引时，需要将索引及索引对应的别名一起删除才可删除成功。索引生命周期配置 不支持在索引生命周期中自定义freeze。查询限制 以下Agg查询类型仅...
混合云存储阵列如何实现数据的云端容灾备份？
混合云存储阵列支持用户在...混合云存储阵列也能支持本地存储和云端存储的文件数据同步，实现数据在云端的异地容灾存放。混合云存储阵列还能和传统备份软件（Veritas，Commvault等）结合，作为传统备份软件的备份存储，把备份数据推送上云。
RDS搭配异构数据库实现数据多样化存储
多结构数据存储 OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。RDS可以和OSS搭配使用，组成多类型数据存储解决方案。例如，当业务应用为论坛时，RDS搭配OSS使用，论坛用户的图像、帖子内的图像等资源可以存储在OSS中，以...
RDS搭配OSS实现多结构数据存储
RDS可以和OSS搭配使用，组成多类型数据存储解决方案。OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。RDS可以和OSS搭配使用，例如当业务应用为论坛时，RDS搭配OSS使用，注册用户的图像、帖子内容的图像等资源可以存储在OSS...
冷热分层存储
jindo fs-getStoragePolicy-path该命令用于查询指定路径下数据的存储策略。jindo fs-unsetStoragePolicy-path该命令用于取消指定路径下的数据的存储策略。jindo fs-checkStoragePolicy-path该命令用于查询指定路径下数据存储策略的转换状态...
使用最后一次访问时间的生命周期规则实现数据智能分层
您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而达到数据的智能分层存储，最终降低存储成本。场景说明 假设某多媒体网站...
功能特性
2.存储介质上：支持按需将数据进行冷热分层存储，实现更加低成本的数据存储，包含：冷热分层存储。表存储格式：列存、行存、行列共存 数据分层存储 数据湖等外表存储 可直接访问存储MaxCompute、OSS上的数据，实现离线数据加速，数据湖数据...
冷数据分层存储计费规则
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
冷数据分层存储计费规则
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
数据集成服务
表格存储支持通过DataWorks数据集成实现的数据迁移场景包括将数据库数据迁移到表格存储、表格存储数据跨实例或者跨账号迁移同步和将表格存储数据迁移到OSS或者MaxCompute。将数据库数据迁移到表格存储 DataWorks提供各种异构数据源之间稳定...
存储冗余概述
对象存储OSS提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。本地冗余存储（LRS）采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内...
冷数据存储计费规则（可选）
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
应用场景
为提升核心应用用户体验和稳定性，您可以通过DTS提供的数据订阅，将深耦合业务优化为通过实时消息通知实现的异步耦合，让核心业务逻辑更简单可靠，具体调整为：该场景中，买家下单系统只要完成下单操作，就直接返回，底层通过DTS的数据订阅...
数据存储
根据采集到的不同数据类型，AnalyticDB采用不同的后台存储系统来进行监控数据的存储。时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
解决方案与客户案例
方案架构 异地多活从业务视角来看是通过对业务做自顶向下的流量隔离来实现的，按照某一个分流维度对业务流量进行划分，并路由到不同的地域。整个部署架构分多个地域，每个地域称为一个单元，其中某个单元又承担着整个多活架构的逻辑中心...
实例选型和集群规划
云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可通过gzip实现外部存储上的数据压缩，将不需要参与实时计算的数据存储到数据库外部以进一步节省存储成本。相关文档 AnalyticDB PostgreSQL版7.0版本 Serverless模式 规格及选型
ECU详解
大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储架构，热点数据存储在SSD磁盘中，冷数据存储在HDD磁盘中。适用于并发稍低、性能要求不高（可接受数据查询响应时间受超过10秒以上）的业务场景。ECU规格 系列 型号 内存 磁盘类型...
查询机制
数据块中的数据通过bgwriter写入到数据文件中，同时更新CLOG文件。UPDATE 上图中，txid表示事务号，t_xmin表示插入的事务号，t_xmax表示删除事务号，t_cid表示事务内命令的序号，t_tcid表示数据块内的偏移量，data表示实际数据存储的值。...
ECS实例说明
Core核心实例 小数据量（TB级别以下）或者是使用OSS作为主要的数据存储时，推荐使用通用型、计算型或内存型。大数据量（10 TB或以上）情况下，推荐使用大数据机型，可以获得极高的性价比。重要 当Core核心实例使用本地盘时，HDFS数据存储在...
SQL洞察和审计
SQL洞察和审计数据的存储空间是由DAS侧提供，不占用数据库实例的存储空间。关闭SQL洞察和审计 警告 SQL洞察和审计功能关闭后，不会对业务产生影响，但是SQL审计日志会被清空。建议您将SQL审计日志导出并保存至本地后，再关闭SQL洞察和审计...
时序模型
更新分析存储的数据生命周期 当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用 UpdateTimeseriesAnalyticalStore 接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储 会自动异步清理分析...
时序模型
更新分析存储的数据生命周期 当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用 UpdateTimeseriesAnalyticalStore 接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储 会自动异步清理分析...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
SQL洞察和审计
SQL洞察和审计数据的存储空间是由DAS侧提供，不占用数据库实例的存储空间。关闭SQL洞察和审计 警告 SQL洞察和审计功能关闭后，不会对业务产生影响，但是SQL审计日志会被清空。建议您将SQL审计日志导出并保存至本地后，再关闭SQL洞察和审计...
SQL洞察和审计
SQL洞察和审计数据的存储空间是由DAS侧提供，不占用数据库实例的存储空间。关闭SQL洞察和审计 警告 SQL洞察和审计功能关闭后，不会对业务产生影响，但是SQL审计日志会被清空。建议您将SQL审计日志导出并保存至本地后，再关闭SQL洞察和审计...
限制说明
数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合存储。数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不...
内置存储与用户OSS
数据库备份DBS提供数据库的备份恢复能力，备份数据保存在云存储上，云存储支持内置存储、用户OSS。对比项 DBS内置存储 用户OSS 安全性 客户无法直接访问备份集。已接入DBS安全权限体系。客户可直接访问备份集。需要自行管理备份集安全。...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
方案背景
在电商运营中数据的分析和可视化是最重要的部分之一，而通过电商大屏可以实现数据分析和可视化的完美结合。电商大屏中包含全量订单和实时订单的聚合结果，全量订单的聚合结果展示全景的综合数据视图，实时订单的聚合结果展示实时的运营指标...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
数据存储冷热分离
如果加载数据之后 hot_total_size 和 cold_total_size 都为0，则表示数据还在实时中，rt_total_size 为实时数据的存储，可以通过执行build语句，将实时数据转换为分区数据，待build完成后可以查到 hot_total_size 和 cold_total_size。...
背景
存储水平扩展，查询能力强 表格存储可实现PB级数据的存储和查询，同时提供全局二级索引、多元索引等功能扩充查询能力，满足多种业务的负载和查询需求。如果采用组合使用MySQL、HBase、Elasticsearch等多款产品的方式实现不同业务的查询需求...
功能特性
向量计算 Proxima CE 存储 表是MaxCompute的数据存储单元，MaxCompute中不同类型作业的操作对象（输入、输出）都是表；MaxCompute采用列压缩存储格式，通常情况下具备5倍压缩能力；MaxCompute数据存储格式全面升级为AliORC，具备更高存储...
方案背景
本方案主要通过表格存储来实现气象格点数据的存储和查询。挑战一：数据规模大 格点数据具有明显的多维特点，以模式系统每次产生的数据为例，一般包含以下五个维度。物理量（或者称为要素，例如温度、湿度、风向、风速等）时间（例如气象中...
什么是数据传输服务DTS
迁移方案概览 数据迁移功能特性 通过DTS实现数据库的垂直拆分 数据集成 作为数据迁移功能的延伸，数据集成功能可以根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中，帮助您构建更加灵活的数据仓库（例如构建T+1的周期性...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
2023年
您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，以降低数据存储费用。分层存储 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023-10-30 新增Spark Connector 新说明 本文为您介绍如何使用第三方计算...
- 产品推荐
- 这些文档可能帮助您