开启智能存储分层
您可以在开启智能存储分层功能后，修改 Logstore属性 页面中的存储层数据保存时间参数，将存储的保存时间延长，实现不同存储层间数据的转换。重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层...
常见问题
为什么迁移前 DAS企业版 有存储的数据量，但完成迁移后目标企业版的冷/热数据量都变成了0 GB？数据迁移后，目标企业版存储数据量的统计可能存在延迟，但该数据延迟并不影响使用目标企业版提供的SQL洞察和审计功能。为什么迁移后存储在 DAS...
数据存储生命周期管理
生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储，当数据的存储时间超过配置的 热存储层数据保存 时间后，数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储，当数据的存储时间超过配置的 热...
整体架构
湖仓版中Spark计算层和存储层互相打通，您可以使用计算层资源来处理存储层数据，在创建和配置Spark资源组时更容易。访问层 访问层通过统一计费单位、统一元数据和权限、统一开发语言、统一传输链路，提升开发效率。AnalyticDB MySQL版 融合...
01新建模型目录
DIM：全称Dimension，公共维度层，是在存储层的基础上清洗脏数据、筛选有价值数据，并且对明细数据层的事实维度表进行事实维度分离。与明细数据层相比，维度数据层有着相同的数据粒度，但是具有更小的数据量、更快的查询速度。操作步骤 ...
文件系统存储类型
存储类型对比 对比指标 标准存储 低频存储 归档存储 平均4K读延迟 容量型：10 ms 高级型：2 ms 性能型：2 ms 首次读数据时，延迟25~50 ms，之后与访问标准存储中的数据一致。首次读数据时，延迟25~50 ms，之后与访问标准存储中的数据一致。...
X-Engine简介
在LSM存储结构中，如果把访问频率高的数据尽可能放在较高的层次上，存放在快速存储设备中（例如NVM、DRAM），而把访问频率低的数据放在较低层次中，存放在廉价慢速存储设备中。这就是X-Engine的冷热分层概念。合并数据 Compaction操作不断...
高效数据治理实施指南
通过数据存储资源优化，可以有效地降低数据存储成本，提高数据存储的效率，控制数仓团队的数据成本。此外，存储资源优化还可以帮助企业更好地管理数据，提高数据的安全性和可靠性。步骤一：明确成本治理重点，规划数据治理工作 成本治理...
物联网存储介绍
访问频次极低的数据存储在冷存储层，满足低成本存储需求。针对数据规模大的时序数据提供高压缩比存储，能有效节省存储成本。统一数据存储平台 为物联网场景中的设备元数据、设备消息数据、设备时序数据提供统一的数据存储平台。其中设备...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储...
使用Simple存储策略
因此Ganos扩展了一种简单的存储策略，即Simple存储策略，它允许用户将数据采用自定义的压缩算法压缩后存储，并尽可能将压缩后的数据存储在基础表内，从而达到节约存储成本的同时又尽可能减小对查询性能的影响。使用方法 设置GUC参数，该...
使用Simple存储策略
因此Ganos扩展了一种简单的存储策略，即Simple存储策略，它允许用户将数据采用自定义的压缩算法压缩后存储，并尽可能将压缩后的数据存储在基础表内，从而达到节约存储成本的同时又尽可能减小对查询性能的影响。使用方法 设置GUC参数，该...
冷数据分层存储计费规则
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
冷数据分层存储计费规则
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
冷数据分层存储计费规则
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
车联网数据存储处理方案
方案总览 Lindorm是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
冷数据存储计费规则（可选）
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
数据建模
时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间分区和冷热存储分界线。创建数据库的具体操作，请参见 CREATE DATABASE。示例 创建一个名为DB1的数据库，设置数据为不过期。...
产品计费
查询冷存储的数据时，查询速度比查询热存储的数据慢。数据查询费用 0.2元/GB 0.3元/GB 查询冷存储的数据时，按量收取数据查询费用。企业版 V1 和V0 重要 仅企业版 V1收取包年包月的费用。公共云 计费项 计费方式 定价 说明 包年包月的费用 ...
预留空间
推荐购买方式 如果今天您的账号下杭州地域的标准-本地冗余存储的业务数据量有600 GB，您想要通过购买预付费资源包或 预留空间 的方式来优化成本，建议方案如下：先购买500 GB的中国内地通用 预留空间。再购买100 GB的中国内地通用标准-本地...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
技术架构
PolarFS作为一款与PolarDB深度协同的存储基础设施，其最核心的竞争力不仅体现在性能和扩展性方面，更深层次的则是在面临有许多挑战性的PolarDB客户业务需求和规模化的公有云研发运维过程中而长期积累形成的一系列高可靠、高可用、与数据库...
方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
如何查看表的数据存储量
介绍如何查看表的数据存储量。操作步骤 通过控制台在数据表的 基本详情 页签，可以查看表大小，即表的数据存储量。通过控制台在数据表的 监控指标 页签，选择 指标分组 为 表大小，可以查看表大小，即表的数据存储量。
将HBase数据同步到表格存储
在底层实现上，HbaseReader通过HBase的Java客户端连接远程HBase服务，并通过Scan方式读取指定rowkey范围内的数据，然后将读取的数据使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。您可以根据HBase版本选择相应的...
DBS沙箱功能概览
重复数据删除技术：大幅降低用户备份数据的存储成本。存储快照和克隆技术：无数据拷贝，让备份数据快速可用。存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。典型应用场景 基于...
设置数据冷热存储策略
如果您想要以指定规则对文件引擎中存储的数据进行归档，将冷热数据分开存储，可以通过命令设置冷热存储策略，按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
实例
不论当前实例规格，使用时序模型时，时间线数据的按量读写吞吐量均按照容量型读写计费，时间线元数据的按量读写吞吐量均按照高性能读写计费，且时间线元数据的数据存储均按照高性能存储计费。更多信息，请参见 时序模型计量计费。类型/对比...
引擎功能
高效时序存储技术 时序数据压缩 Lindorm时序引擎使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。冷数据归档能力 Lindorm时序引擎支持将长期存储的冷数据归档到...
使用前须知
警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS服务的正常使用或者引发数据丢失的风险，禁止以非OSS-HDFS提供的方式对目录.dlsdata/及目录下的Object执行...
备份集最小保留策略
方法如下：通过控制台：配置备份计划、修改备份生命周期 通过API接口：CreateAndStartBackupPlan-创建并配置启动备份计划、ModifyStorageStrategy-修改存储数据的生命周期 配置备份计划时，如果将备份数据存储至 用户OSS，将不会产生DBS...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确保已安装支持数据湖投递功能的表格存储Java SDK。关于表格存储Java SDK版本的更多信息，请参见 Java SDK历史迭代版本。前提条件 已开通OSS服务且在表格...
功能概览
SQL洞察和审计数据的存储空间是由DAS侧提供，不占用数据库实例的存储空间。关闭SQL洞察和审计 警告 SQL洞察和审计功能关闭后，不会对业务产生影响，但是SQL审计日志会被清空。建议您将SQL审计日志导出并保存至本地后，再关闭SQL洞察和审计...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
- 产品推荐
- 这些文档可能帮助您