入门概述
监测文件的使用量 数据监控 限制文件的目录或文件数 目录配额 备份文件系统中的数据 备份和恢复文件 回收站 快照 将文件系统中的冷数据转存储 低频介质 设置生命周期策略 对文件系统中的数据加密访问 服务器端加密 NFS文件系统传输加密 SMB...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
按扫描量付费
当您通过DLA对本地或第三方数据源中的数据进行关联分析，DLA会根据扫描的数据量进行计费。本文主要介绍按扫描量付费DLA的计费规则 和计费示例。计费规则 计费时，DLA保证扫描的每条数据至少为32MB。DLA每小时生成一个收费订单，并从您的...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
创建数据取回任务
如果您需要频繁访问低频存储或归档存储中存储的文件，建议您创建数据取回任务，将指定文件或目录中的数据取回至通用型NAS存储空间，避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时，NAS会...
什么是表格存储
同步表格存储时序表中数据 使用DataWorks工具将 表格存储 时序表中的全量数据或者增量数据同步到另一个时序表。数据导出 同步到MaxCompute 使用DataWorks将 表格存储 中的全量数据或者增量数据导出到MaxCompute。同步到OSS 使用DataWorks将...
块存储
数据持久性和服务可用性 在同一可用区中，您的业务数据以多副本的形式分布存储在块存储集群中，保证读写过程中的数据稳定性，为ECS实例实现99.9999999%（9个9）的数据可靠性保证。为进一步提升块存储的可靠性，建议您定期创建快照，为云盘...
回收站列表
同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 我的治理 页面。在 资源 页面，单击左侧导航栏 回收站列表...
通用数据开发
数据分析与处理：完成数据的同步后，可以对MaxCompute中的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值。数据提取：分析与处理后的结果数据，需要同步导出至业务系统，以供...
产品架构
在这种架构中，BE节点负责数据的存储与计算。在查询时可以直接读取本地数据进行计算，极大地提升了查询的速度，有效避免了数据传输和拷贝的延迟。此外，存算一体支持多副本数据存储，提高了并发查询能力和数据的可靠性，非常适合对查询性能...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
Catalog概述
跨Catalog查询数据 如果想在一个Catalog中查询其他Catalog中数据，可通过 catalog_name.db_name 或 catalog_name.db_name.table_name 的格式来引用目标数据。例如：在 default_catalog.olap_db 下查询 hive_catalog 中的 hive_table。...
概述
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
规格及选型
实例资源类型 AnalyticDB PostgreSQL版 推荐使用存储弹性模式和Serverless版本两种实例资源类型：存储弹性模式 产品功能完整，使用存储计算一体架构，支持计算节点垂直升降配，横向扩容和存储灵活调整。购买时需要指定 实例系列、计算节点...
计费常见问题
备份计划存储费用（可选）：配置包年包月备份计划时，当备份目标存储类型选择为 DBS内置存储，系统将根据存入DBS内置存储中的实际数据量的大小与时长收取存储费用。费用详情，请参见 存储费用。备份计划备份费用（可选）：若备份计划备份的...
产品架构
支持行列混合存储，默认的列式存储可满足海量数据的高效分析，按需的行式存储可支持高性能的点查询。提供丰富索引能力，可结合过滤条件精准定位数据，数量级提升查询性能。外部生态 云数据库 SelectDB 版 支持与周边数据生态中的数据源、...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
什么是EMR Serverless StarRocks
存储计算分离 StarRocks 3.0版本支持了全新的存算分离模式，实现了计算资源与存储资源的完全解耦，提升了系统的灵活性、性能和可靠性，同时降低了成本。在存储计算分离模式中，存储和计算成为了独立服务，可以单独进行伸缩，有效避免了传统...
DBS计费概述
DBS存储费用：在DBS控制台配置的DBS备份计划的备份目标存储类型为 DBS内置存储 时，后续系统将根据存入DBS内置存储中的实际数据量的大小与时长进行计费。若您在配置备份计划时，将数据备份至自建的OSS或NAS中，将不会产生存储费用。说明 ...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
SQL洞察
SQL洞察功能中SQL明细数据的存储时长与DAS 企业版 设置的存储时长一致。关闭SQL洞察和审计功能后，不会对业务产生影响，但是SQL洞察和审计的所有存储数据会被清空，请将数据导出并保存至本地后，再关闭SQL洞察和审计功能。详情请参见 关闭...
基本概念
低频存储中的数据可手动取回通用型NAS标准存储空间，也可以通过配置归档存储策略转储至归档存储中。不支持将数据直接写入低频存储。归档存储 归档存储是通用型NAS的一个极低成本数据存储池，适合存储每季度访问不到2次的数据。通用型NAS...
如何开启存储压缩功能
开启后，在集群 基本信息 页面，下拉至页面底部的 数据库分布式存储 区域，即可查看开启存储压缩功能后的存储空间变化（括号中显示的块存储物理数据量即为压缩后实例整体的存储用量）。说明 PolarDB 仅对压缩后的物理数据进行计费。存储包...
X-Engine简介
如前文所述，X-Engine将每一层的数据划分为固定大小的Extent，一个Extent相当于一个小而完整的排序字符串表（SSTable），存储了一个层次中的一个连续片段，连续片段又进一步划分为一个个连续的更小的片段Data Block，相当于传统数据库中的...
配置冷存储
开通冷存储功能后，需要配置数据库中的表或者列簇，本文介绍配置冷存储的方法。背景信息 冷存储功能仅支持 云原生多模数据库 Lindorm 引擎版本为2.1.8及以上。Lindorm支持在表级别设置存储属性，可以将整个表或某个列簇的Storage设为冷存储...
数据集成服务
您还可以通过DataWorks数据集成服务实现表格存储表中数据的跨实例或者跨账号迁移以及将表格存储数据迁移到OSS或者MaxCompute中备份和使用。应用场景 DataWorks数据集成 是稳定高效、弹性伸缩的数据同步平台，适用于MySQL、Oracle、...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
产品计费
OSS使用费用 云存储网关中的OSS资源归您所有，网关访问OSS产生的费用由OSS产品向您收取，这些费用包括存储费用、流量费用、请求费用和数据取回费用，对应的费用详情，请参见 OSS产品定价。存储费用：写入网关的文件上传到OSS，占用OSS存储...
如何开启存储压缩功能
开启后，在集群 基本信息 页面，下拉至页面底部的 数据库分布式存储 区域，即可查看开启存储压缩功能后的存储空间变化（括号中显示的块存储物理数据量即为压缩后实例整体的存储用量）。说明 PolarDB 仅对压缩后的物理数据进行计费。存储包...
如何开启存储压缩功能
开启后，在集群 基本信息 页面，下拉至页面底部的 数据库分布式存储 区域，即可查看开启存储压缩功能后的存储空间变化（括号中显示的块存储物理数据量即为压缩后实例整体的存储用量）。说明 PolarDB 仅对压缩后的物理数据进行计费。存储包...
功能概述
表格存储 面向海量结构化数据提供Serverless表存储服务，适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...
polar_comp_redwood_date
当DATE在命令中显示为列的数据类型时，如果配置参数 polar_comp_redwood_date 设置为 true，则在表定义存储在数据库中时，它将转换为TIMESTAMP。因此，时间部分也将与日期一起存储在列中。这与Oracle的DATE数据类型是一致的。如果 polar_...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库会忽略来源数据不会写入到表中，数据写出动作为成功并且不会产生脏数据。如果写出数据和目标存储已有数据没有发生数据约束，数据库则将来源数据...
什么是数据库存储DBFS
快照 支持DBFS快照功能，实现数据的备份与恢复。DBFS快照不单独收费，仅收取ECS云盘快照费用。数据备份：通过快照功能，实现数据库的备份。数据恢复：通过快照可以恢复数据库，用于灾难恢复、测试与开发环境的搭建等。克隆 支持基于DBFS...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
表数据格式
数据的 近实时增量导入 可通过bucket数量水平扩展来支持高并发，因此需根据数据写入的流量以及表数据总存储大小来评估设置合理的bucket数量。Bucket数量过多，容易产生过多的小文件，影响数据读写效率和存储的稳定性，Bucket数量过少，则不...
- 产品推荐
- 这些文档可能帮助您