概述
简介 传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象...
功能特性
客户端（odpscmd）或Studio DataWorks数据下载 MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。DataWorks数据下载 数据迁移 相关工具 支持通过MaxCompute客户端（Tunnel）、DataWorks数据集成...
产品概述
HTAP 随着移动互联网和IoT设备的普及，数据会产生爆炸式的增长趋势，传统的OLTP和OLAP的解决方案是基于简单的读写分离或者ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本...
概述
场景如下图所示：版本介绍 Spark全密态计算引擎分为 基础版和高性能版两个版本，区别如下：基础版：基础版的Spark全密态计算引擎可以将敏感数据以密文形式进行传输和存储，只有密钥拥有者能够解密数据，从而避免了数据泄露。您需要使用客户...
购买数据安全中心
阿里云 数据安全中心DSC（Data Security Center）为您提供以数据为中心视角的安全风险治理能力，包括数据梳理、数据脱敏、数据风险审计等。本文介绍如何购买 DSC 服务。购买指导视频 支持的地域和数据库类型 购买数据安全中心前，您需要先...
东软案例
其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时采集的异构监控数据，以高并发、高通量数据写入方式将数据入库。在运维过程中，用户通过实时监控仪表盘、统计...
基于Delta lake的一站式数据湖构建与分析实战
其中大部分的在线存储都面向在线事务型业务，并不适合在线分析的场景，所以需要将数据以无侵入的方式同步至成本更低且更适合计算分析的对象存储。常用的数据同步方式有基于DataX、Sqoop等数据同步工具做批量同步；同时在对于实时性要求较高...
库表结构优化
冷热数据优化 分析数据表的使用情况，对长期未使用的数据表，建议将其迁移至冷盘存储，以减低数据表存储成本。此类型的优化建议针对数据表级别。迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该...
2023年
您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，以降低数据存储费用。分层存储 2023年10月更新记录 时间 特性 类别 描述 产品文档 2023-10-30 新增Spark Connector 新说明 本文为您介绍如何使用第三方计算...
表格存储的数据存储
由于用户的数据总量会动态变化，因此表格存储以固定的时间间隔统计表的数据总量大小，计算每小时数据总量的平均值，将平均值乘以单价进行计费。说明 单价可能会发生变化。更多信息，请参见 表格存储价格详情页。实例中所有表的数据大小之和...
什么是表格存储
同步表格存储数据表中数据 使用 通道服务、DataWorks或者DataX将 表格存储 数据表中数据同步到另一个数据表中。同步表格存储时序表中数据 使用DataWorks工具将 表格存储 时序表中的全量数据或者增量数据同步到另一个时序表。数据导出 同步...
常见问题（FAQ）
Delta Lake使用什么格式存储数据？Delta Lake使用版本化的Parquet文件将您的数据存储在您的云存储中。除版本外，Delta Lake还存储事务日志，以跟踪对表或Blob存储目录所做的所有提交，以提供ACID事务。如何使用Delta Lake读写数据？您可以...
数据管理DMS中出现“Data truncated for column”的...
例如，字段原长度为128字节，存储了一些数据后，希望更新字段长度为64字节，由于存储的数据中，部分数据已经超过64字节，更新字段长度为64字节时便会出现此错误。解决方案 请确认您是否确实需要改小字段的长度。如果确实需要，先在表中查找...
功能概述
网络安全管理 数据加密 数据湖投递 表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递 快速入门 使用SDK 数据可视化 支持对接数据可视...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
Catalog概述
存储系统：用于存储数据。数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储...
存储引擎
外表OSS存储：数据可远端低成本存储于OSS上，查询和写入行为与本地表完全一致。数据分区：支持数据多级分区，且可按Value或范围进行分区，常用场景为按时间进行分区，可明显降低IO数据量，同时分区支持混合存储，历史数据和活跃数据可分层...
数据操作篇
OSS 是阿里云提供的开放存储服务，用以应对海量数据的存储和访问。OSS 的存储单价比表格存储更低，更适合存储文件。如果应用程序不方便使用 OSS，可以将超过 2 MB 的单个值拆分成多个行，存储在表格存储中。错误重试加入时间间隔 表格存储...
什么是备份数据量
相关文档 如需调整DBS备份实例的备份对象、备份周期、备份压缩配置或删除备份集等，以减少备份数据量或降低存储数据量，请参见 管理备份计划。数据库备份DBS 提供备份集最小保留能力，以避免客户意外删除所有备份集导致数据无法恢复的风险...
T+1多库合并建仓
解决方案 T+1多库合并建仓是指通过DLA控制台上的多库合并建仓向导将RDS中的分库分表数据聚合到统一的表中，并以分区表形式存储数据。您可以全局分析所有数据，也可以选择某个分区对分区数据进行分析，进行数据分析时会非常的方便，并且也不...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
实例选型和集群规划
云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可通过gzip实现外部存储上的数据压缩，将不需要参与实时计算的数据存储到数据库外部以进一步节省存储成本。相关文档 AnalyticDB PostgreSQL版7.0版本 Serverless模式 规格及选型
产品计费
数据扫描 0.015元/GB 0.0225元/GB 搜索、分析等扫描冷存储数据的费用。数据导出 0.4元/GB 0.6元/GB 数据导出、转储时收取该费用。安全审计 0.48元/GB 0.72元/GB 新版安全审计的费用，需要开通基础审计功能。政务云、金融云 计费项 计费方式...
功能特性
同步到本地文件 数据湖投递 数据湖投递 表格存储数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递概述 数据湖计算分析 将表格存储数据投递到...
2023年
创建实例 Master资源管理 支持数据存储冷热分层 云原生数据仓库AnalyticDB PostgreSQL版 支持冷热分层存储，可以将数据表存储到OSS中，以降低存储成本。数据存储冷热分层 2023年5月 功能 功能描述 相关文档 向量引擎优化 AnalyticDB ...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
IO加速
说明 RDS PostgreSQL是通过表空间来设置数据库对象的存储位置，以实现数据的冷热分离，因此我们使用表空间 rds_temp_tablespace 来抽象其背后的高速缓存介质。您可以在开启IO加速的实例中看到该表空间。而使用该表空间还需要您正确设置数据...
表设计规范
分区列虽不直接存储数据，但如同文件系统里的目录，可以方便您管理数据。例如，在计算时如果指定具体的分区，则计算过程中只需查询对应分区，从而减少计算输入量。分区表的分区列级数不能超过6级，即底层存储数据的目录层数不能超过6层。...
入湖基础操作
数据湖存储位置：数据存储的OSS路径，入湖任务会自动创建此处填写的空文件夹来存储数据。分区信息：添加需要写入的分区信息。分区表达式：填写描述分区值的获取方式，比如 MySQL 中from_unixtime(gmt_create)。分区字段：填写分区字段名称...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
时序模型介绍
更多信息，请参见 将表格存储数据同步到OSS。如果要可视化展示时序数据，您可以通过对接Grafana实现。更多信息，请参见 对接Grafana。通过Flink计算与分析数据后，您可以使用Tablestore时序表存储输出结果。更多信息，请参见 使用时序表...
离线同步数据质量排查
以MaxCompute为例，在读取分区表时往往会对分区参数配置变量表达式，比如 pt=${bizdate}，也容易出现分区参数未正确配置和替换的现象。检查数据同步任务的调度变量表达式，即调度参数配置是否符合预期，调度时参数替换值是否符合预期。脏...
MySQL物理备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。对象存储OSS Bucket名称 请选择您的对象存储OSS Bucket名称。说明 该参数仅在 备份目标存储类型 参数为 用户OSS 时显示...
高压缩引擎（X-Engine）介绍
适用场景 PolarDB 高压缩引擎（X-Engine）提供了超大存储容量，它可以同时作为多个业务历史数据的汇聚地，以方便对所有历史数据进行集中存储和管理，主要适用于如下几个场景：将 PolarDB 高压缩引擎（X-Engine）作为线下自建数据库实例的冷...
时序模型介绍
时序模型提供了数据生命周期、时间线索引、冷热存储、数据压缩等功能以满足时序数据的低成本存储以及高性能查询分析的需求。时序模型在车联网场景中主要用于车辆轨迹数据的存储、查询和分析。说明 关于时序模型的更多信息，请参见 时序模型...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
常见问题
NAS主要用于存储数据，并不直接支持部署代码。但是，NAS可以与PAI-EAS模型在线服务、ECS、容器、函数计算等计算服务配合使用，将存储在NAS中的代码或模型文件挂载到计算实例上运行。例如，在PAI-EAS模型在线服务中，可以通过挂载NAS来加载...
- 产品推荐
- 这些文档可能帮助您