什么是OSS-HDFS服务
导出审计日志 冷热分层存储 并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，...
快速体验
说明 RDS MySQL作为本次实验中存储原始数据的数据源。您无需自行准备RDS MySQL云产品及数据，本实验为您提供公共的实验环境与数据。任务运维 使用DataWorks的 运维中心，周期性调度数据同步、清洗加工任务流程，获得每日的最新业务数据，...
HDFS概述
DataNode DataNode是Hadoop分布式文件系统（HDFS）中实际存储数据块的核心组件。DataNode会根据NameNode或Client的指令来存储或者提供数据块，并且定期地向NameNode汇报该DataNode存储的数据块信息。Client 通过Client来访问文件系统，然后...
宽表模型介绍
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。模型介绍 表格存储 宽表模型是类Bigtable/...
概述
基于Tablestore Sink Connector，您可以将Apache Kafka中的数据批量导入到表格存储（Tablestore）的数据表或者时序表中。背景信息 Kafka是一个分布式消息队列系统，不同的数据系统可以通过Kafka Connect工具将数据流输入Kafka和从Kafka获取...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
数据归档概述
数据归档至专属存储 数据归档至AnalyticDB MySQL 3.0 数据归档至Lindorm 数据归档至AnalyticDB PostgreSQL版 数据归档至RDS MySQL 数据归档至PolarDB MySQL版 数据归档至用户OSS 数据归档至DBS内置OSS 常见问题 Q：如果在数据归档过程中...
实例
具体操作，请分别参见 将表格存储数据表中数据同步到另一个数据表 和 将表格存储时序表中数据同步到另一个时序表。不论当前实例规格，使用多元索引时均会产生高性能存储量、预留读吞吐量与按量读吞吐等。更多信息，请参见 多元索引计量计费...
通过缓存优化性能
性能：Delta缓存中存储的数据比Spark缓存中的数据读取和操作速度更快。这是因为Delta缓存使用高效的解压算法，并以最佳格式输出数据，以便使用整个阶段的代码生成进行进一步处理。自动与手动控制：启用Delta缓存时，必须从远程源获取的数据...
功能发布记录
25 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、新加坡 使用SQL查询时序数据 使用HBR备份与恢复 表格存储 数据公测 通过混合云备份HBR（Hybrid Backup Recovery），您可以定期备份 表格存储 实例中的...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
开启和使用冷数据分层存储
如果没有存储数据，开启该功能本身不会产生费用。暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该...
开启和使用冷数据分层存储
如果没有存储数据，开启该功能本身不会产生费用。暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该...
概述
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
常见问题
Q：如果在一行数据中未写入自定义时间列，那么这一行数据还会冷热分离吗？A：不会。自定义时间列是系统对数据冷热分离存储的依据。如果一行数据未写入时间，那么这行数据会被保留在热存储区。Q：对于按时间戳冷热分离，冷数据更新后还是冷...
数据扫描和识别
DSC 对非结构化数据源中存储的内容进行扫描，根据扫描结果判断是否为敏感数据。首次扫描：完成授权后，DSC 会对授权的OSS存储桶（Bucket）中的文件进行全量扫描。增量扫描：如果OSS文件有新增或修改时，DSC 会扫描该新增或修改的文件。是否...
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
数仓版（3.0）计费项
计费场景：集群使用过程中，存储数据占用的存储空间会按使用量收费。包年包月集群和按量付费集群都可以购买存储空间。包年包月集群的存储空间单价和按量付费集群的存储空间单价不同。计费公式：存储空间费用=热数据存储费用+冷数据存储费用...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
计费常见问题
如果您还购买过存储包，需先查看 通用型存储包数据 中 未抵扣使用容量 ⑤ 和 未抵扣低频介质使用容量 ⑥ 中的数据是否已统计到 资源包数据 的 合计基准容量 ②，在此基础之上再查看资源包抵扣后的 未抵扣基准容量 ③。不支持抵扣项：低频...
多元索引介绍
背景信息 多元索引可以解决大数据中复杂的查询问题，同时数据库、搜索引擎等其他系统也可以解决数据的查询问题。表格存储与数据库及搜索引擎等系统的主要区别如下：除了Join、事务和相关性外，表格存储能覆盖数据库和搜索系统中的其他功能...
DBS沙箱费用
沙箱存储费用 沙箱存储费用 开启沙箱功能后，系统会自动将待恢复的数据同步至沙箱存储中，并在沙箱存储中生成多个直接可用的沙箱实例快照，DBS将根据沙箱存储中的数据量收取沙箱存储费用。沙箱存储费用的计费方式与价格如下。沙箱存储费用...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
计费模式
元数据对象的存储量 元数据对象是指数据湖元数据中存储的数据库、表、分区和索引。计费规则，每月前100万个存储对象免费，超过100万后，超过100万的部分，每10万个对象收费5元/月，不足10万的按10万个收费。计费周期与出账周期，按月统计...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
SQL概述
SQL查询功能适用于在海量数据中进行在线数据访问类型的场景，SQL访问的延时从毫秒、秒到分钟级别不等，包括基于数据表主键的Point Query（GetRow操作）、多元索引的精确查询（TermQuery）等以及通过多元索引的统计聚合能力进行查询，例如...
设置生命周期策略
生命周期策略仅对文件大小在64 KiB~4.88 TiB范围内的文件进行转储，超出此范围的数据将不会转储至低频存储或归档存储中。归档存储的最低存储时间要求为60天。如果文件以归档类型存储时长不足60天将收取归档存储不足归档时长容量费用。更多...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
名词解释
TTL 〇 〇 TTL（Time To Live）用于设置数据的有效期，即数据可以在数据库中存储的时间。在宽表引擎中支持为多级别的对象设置TTL，例如Database、Table等。在时序引擎中仅支持为Database设置TTL。COMPACTION 〇 〇 Compaction（数据压缩）...
对象存储OSS
数据库中存储的元数据很容易被索引和查询。OSS和搜索引擎或数据库结合使用可用于精确定位和检索OSS中的文件。为了提升远距离大文件的上传下载体验，满足文件动态更新、非热点文件的下载加速需求，OSS还提供 传输加速功能，通过智能调度的...
通过一键建仓同步至数仓版
您可以通过一键建仓将PolarDB MySQL实例中的数据同步到 AnalyticDB MySQL 集群中，快速创建PolarDB MySQL数据仓库。适用范围 一键创建数据仓库仅适用于 AnalyticDB MySQL版 数仓版（3.0）集群。前提条件 已创建PolarDB MySQL集群。更多信息...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
前言
如果要实时投递 表格存储 数据到OSS中存储和分析，请使用数据湖投递实现。更多信息，请参见 数据湖投递。时序模型 一般使用流程如下：初始化客户端用于配置访问的 表格存储 实例。更多信息，请参见 初始化客户端。创建时序表用于存储数据。...
计量计费项
预留模式的计费项包括计算能力、数据存储量和外网下行流量三部分。预留模式适用于业务峰值较为平稳、可预测的场景。本文介绍预留模式的计费价格、计费组成、计费项以及计费常见问题。计费价格 具体计费价格，请参见 表格存储价格详情页。...
新功能发布记录
数据安全卫士 数据归档至专属存储 新增 数据归档功能支持将 RDS MySQL、RDS PostgreSQL 和 PolarDB MySQL版 等数据库的数据归档至专属存储（存储在 DMS 中）。数据归档至专属存储 10月 功能名称 变更类型 功能描述 相关文档 查询数据备份 ...
计费常见问题
备份计划存储费用（可选）：配置包年包月备份计划时，当备份目标存储类型选择为 DBS内置存储，系统将根据存入DBS内置存储中的实际数据量的大小与时长收取存储费用。费用详情，请参见 存储费用。备份计划备份费用（可选）：若备份计划备份的...
基本概念
冷存储 一种存储介质，可以存储数据库中的冷数据，从而降低存储成本。更多信息，请参见 冷存储介绍。冷热分离 Lindorm宽表引擎实现了数据的冷热分离能力，系统会自动根据用户设置的冷热分界线自动将表中的冷、热数据分类归档到冷、热存储中...
- 产品推荐
- 这些文档可能帮助您