元数据管理
选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库，点击右侧的删除...
引擎简介
弹性伸缩：时序引擎采用分布式架构，支持在线弹性伸缩，以适应任何规模的数据存储与处理需求。数据库内机器学习：时序引擎内置数据库内机器学习服务，支持主流的时序预测及时序异常检测算法。云原生多模数据库 Lindorm 更多特性请参见 功能...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
高压缩引擎（X-Engine）介绍
随着业务发展，数据库系统中会积累大量访问频率很低甚至为0的数据，这些数据的积累容易导致如下问题：历史数据和最新数据存储在同一数据库系统中，导致磁盘空间不足。大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
参数 描述 示例 所属数据目录 数据存储的数据库目录。default 数据库名称 目标数据库的名称。dlf_db 数据库描述 目标数据库的描述信息。湖仓一体 选择路径 OSS数据路径。格式为 oss:/名称>/目录名称>。oss:/doc-test-01/datalake/单击 确定...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
数据服务集群
Apache HBase支持海量数据存储，具有很高的存储和计算扩展性，以及很好的读写性能，支持动态列、数据多版本存储，以及数据的生命周期管理等特点。适用场景 基于Apache HBase的优势和特点，DataServing适用于以下场景：风控或画像等需要支持...
按扫描量付费
数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描所有分区，从而节省扫描费用。计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件，在RDS中存储一个容量为1TB的数据表。...
ODS层设计规范
数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久保存。日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
功能概览
修改SQL洞察和审计数据存储时长 警告 减少SQL洞察和审计数据存储时长后，DAS会立刻将超过存储时长的SQL审计日志清空。建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。登录 DAS控制台。在左侧导航栏中，单击 ...
成本
外表存储 除内部存储外，AnalyticDB PostgreSQL版 支持通过外表方式访问OSS和Hadoop的存储数据。对象存储（OSS）是阿里云推出的存储服务，具备数据量大、成本低、安全性高、可靠性高的特点，能够满足多种场景的存储需求，存储成本低至 0.12...
JindoFS介绍和使用
JindoFS块存储模式（Block）JindoFS存储模式（Block），不仅提供缓存加速能力，还可以组织、存储数据和管理文件元数据，类似Apache Hadoop HDFS。在此模式下JindoFS是个独立的存储系统，只是文件块数据存储在OSS上。Cache模式和Block模式...
DAS企业版介绍
开通DAS企业版后，默认的 数据存储时长 为1个月，您可以根据自己的需要进行修改，具体请参见 管理DAS企业版。说明 SQL洞察 功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS专业版设置的存储时长小于等于...
通过上传本地数据新建数据集
前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表。说明 待上传数据表要求：支持上传.xls和.xlsx格式的文件，且文件大小不超过35 MB。准备数据表时，数据表填写须知：请在第一行中填写...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
Catalog概述
存储系统：用于存储数据。数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储...
Catalog概述
存储系统：用于存储数据。数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储...
功能特性
按时间点恢复RDS数据 按时间点恢复PolarDB数据 按时间点恢复MongoDB数据 按时间点恢复Redis数据 按时间点恢复Tair数据 存储能力 温备份存储 提供性能适中、价格适中的备份存储。DBS内置存储 备份数据清理 支持TTL过期系统自动删除备份数据...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
什么是PolarDB PostgreSQL企业版
数据结构多样时，可以选择将结构化数据存储在PolarDB，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。DTS：您可以使用数据传输服务DTS将本地数据库迁移到云上的 PolarDB。OSS：对象存储服务OSS是阿里云提供的海量、安全、低成本...
2023年
创建实例 Master资源管理 支持数据存储冷热分层 云原生数据仓库AnalyticDB PostgreSQL版 支持冷热分层存储，可以将数据表存储到OSS中，以降低存储成本。数据存储冷热分层 2023年5月 功能 功能描述 相关文档 向量引擎优化 AnalyticDB ...
元数据抽取
使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、parquet、orc、hudi、delta、avro格式。元数据发现消耗算力，目前暂不收取费用。操作步骤 新建抽取任务 登入 数据湖构建控制台。在左侧...
常见问题
请先执行 flush 操作将数据刷写至磁盘上，再执行 compaction 操作，即可将数据存储至冷存储中。compaction 操作说明如下：HBase Shell使用方式，请执行 major_compact 命令。Lindorm-cli连接使用方式，使用语法请参见 ALTER TABLE。Q：为...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。...您也可以通过 TSDB 产品控制台的数据查询功能进行数据分组、降...TSDB 的数据存储默认采取三副本策略，充分保证数据的可用性。
Hudi概述
Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写实现。Merge On Read 使用列式文件格式（Parquet）和行式文件格式（Avro）混合的方式来存储数据。Merge On Read使用列...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
新零售：杭州数云信息技术有限公司
PolarDB 采用共享存储架构，存储和计算分离，能够最大程度的提供单实例的存储能力，最大可达100 TB，对于历史数据存储，海量在线数据存储都有较好的适配能力，降低代码复杂度和维护成本。PolarDB 通过引擎的优化和超强的IOPS能力提供高并发...
ActionTrail日志清洗
说明 根据业务需求，判断是否需要新建文件夹，将ActionTrail投递过来的数据存储在新建文件夹中。在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
数据存储
本文介绍 云数据库 SelectDB 版 在数据存储方面的关键设计和特性，帮助客户充分发挥SelectDB的潜力。表 在云数据库SelectDB中，表（Table）是存储结构化数据的一种特殊形式。一张表由行（Row）和列（Column）组成，其中行表示一行数据，列...
常见问题
在集群使用过程中，会发生数据存储、资源弹性变配，占用存储空间和弹性资源。存储空间和弹性资源都是按量付费，即先使用再按实际使用量收费，因此会产生后付费的费用。更多计费规则的详情，请参见 数仓版（3.0）计费项 和 湖仓版（3.0）...
数据归档功能介绍及开启方法
为了降低数据存储成本，同时保证查询性能，PolarDB-X 支持将查询频度低的数据（称为 冷数据）归档到OSS对象存储中。本文介绍了冷数据归档的方法。功能介绍 当AUTO模式数据库下的 TTL表，产生了到期数据后，如果需要将到期的冷数据进行归档...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
选型配置说明
提供HBase服务，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。支持JindoData本地缓存以进一步提高数据服务集群的读写性能。HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例（Master）、核心实例...
存储类型
云原生多模数据库 Lindorm依赖于LindormDFS云原生存储系统，实现了数据存储与计算分离。存储容量独立计费，支持不停机在线扩容。Lindorm实例的存储容量在同实例内的多个引擎之间共享。存储类型说明 云原生多模数据库Lindorm支持的存储类型...
主备方案介绍
A：LTS不会缓存数据，数据同步中当目标实例无法写入时，会记录读取WAL的点位，保证数据在目标实例恢复后继续同步数据，数据存储在源集群的Hlog中。Q：数据D1写入主实例，但数据D1尚未到达备实例时发生切换，此时备实例中写入一条数据D2后...
- 产品推荐
- 这些文档可能帮助您