通过实时计算订阅数据
依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，在开发作业中引用目标表。通过 INSERT INTO 语句，将实时计算后的源表数据插入目标表中。说明 如果数据格式不匹配，需要进行相应的 ...
ECU详解
大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储架构，热点数据存储在SSD磁盘中，冷数据存储在HDD磁盘中。适用于并发稍低、性能要求不高（可接受数据查询响应时间受超过10秒以上）的业务场景。ECU规格 系列 型号 内存 磁盘类型...
数据存储冷热分离
AnalyticDB MySQL版 弹性模式集群版（新版）（3.1.3.3及以上版本）支持表或分区级别的数据存储冷热分离策略。前提条件 AnalyticDB MySQL版 集群需要同时满足以下条件：集群系列需为 弹性模式集群版（新版）。集群内核版本需为3.1.3.3或以上...
数据存储
其中数据模型定义（keys_type）中指定的列为Key列，其他列为Value列，底层存储数据时会按照Key列排序。对于用户写入的数据，SelectDB会根据不同数据模型，对于Key列相同的行（Row）进行不同的处理：Aggregate模型：Key列相同时多行数据会...
数据存储目录结构说明
本章介绍文件引擎...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
使用前须知
修改文件存储类型 存储类型转换注意事项 解冻Object Bucket Policy 数据无法访问、数据无法自动删除，持续计费 为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object，对开通了OSS-HDFS服务的...
方案背景
数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索车辆，例如根据车架号查询某辆汽车的当前状态，需要支持任意车辆参数的组合检索。状态实时监测：实时监测车辆状态的变化，例如保存异常行驶...
开启和使用冷数据分层存储
如果没有存储数据，开启该功能本身不会产生费用。暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
开启和使用冷数据分层存储
如果没有存储数据，开启该功能本身不会产生费用。暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该...
开启和使用冷数据分层存储
如果没有存储数据，开启该功能本身不会产生费用。暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
数据膨胀诊断
AnalyticDB PostgreSQL版 数据库使用PostgreSQL多版本并发控制（MVCC）来管理并发事务，底层表的储存数据被划分成固定大小的Page，默认Page大小为32 KB。每个Page包含Header（数据头）、Item pointer array（指向内部数据的指针数组）、...
Dataphin支持的数据源
半结构化存储数据源 数据源类型 离线集成 实时研发 全域质量 数据服务 标签工厂 创建指导 API 支持 不支持 不支持 不支持 支持 创建API数据源 SAP Table 支持 不支持 不支持 不支持 不支持 创建Sap Table数据源 Salesforce 支持 不支持 不...
概述
PolarDB PostgreSQL版 支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
磁盘型
磁盘存储：数据分布在ESSD或SSD中，容量可达百TB级别，拥有高数据可靠性。数据分布：采用阿里云TairDB存储引擎，数据通过磁盘持久化，内存用于请求加速。使用场景：温数据和冷数据。ESSD型与SSD型 ESSD型支持自定义存储容量，支持云盘快照...
功能特性
按时间点恢复RDS数据 按时间点恢复PolarDB数据 按时间点恢复MongoDB数据 按时间点恢复Redis数据 按时间点恢复Tair数据 存储能力 温备份存储 提供性能适中、价格适中的备份存储。DBS内置存储 备份数据清理 支持TTL过期系统自动删除备份数据...
磁盘型
磁盘存储：数据分布在ESSD或SSD中，容量可达百TB级别，拥有高数据可靠性。数据分布：采用阿里云TairDB存储引擎，数据通过磁盘持久化，内存用于请求加速。使用场景：温数据和冷数据。ESSD型与SSD型 ESSD型支持自定义存储容量，支持云盘快照...
实例选型和集群规划
云原生数据仓库AnalyticDB PostgreSQL版 经过多次产品迭代升级，当前主流实例资源类型为存储弹性模式和Serverless模式。在购买实例时，根据本文选择合适的规格和存储空间，可以获得更好的业务体验。为了减少实例配置选型的复杂度，存储弹性...
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
整体架构
为满足不同场景需求，首先将一份全量数据存储在低成本高吞吐存储介质中，低成本离线处理场景直接读写低成本存储介质中的数据，可降低数据存储和数据IO成本，保证高吞吐。其次将实时数据存储在单独的存储IO节点（EIU）上，保证行级的数据...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
应用场景
数据通道：通过LTS（原BDS）构建Lindorm与异构计算系统的高效、易用的数据链路。快速导入：通过BulkLoad将海量数据快速导入Lindorm，效率比传统方式提升一个数量级。高并发：水平扩展至千万级QPS。弹性：存储计算分离架构，支持独立伸缩，...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
冷热分离介绍
Lindorm宽表引擎的冷热分离功能可以将冷热数据分别存储在不同的介质上，有效降低了数据的存储成本。同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在...
概述
本教程将以集群实例为例，带您体验云数据库 OceanBase 的低存储成本和实时分析能力。更多特性，详情参见 OceanBase 数据库概述。特性介绍 低存储成本 数据压缩是降低海量数据存储空间的关键手段。OceanBase 通过 LSM-Tree 的存储架构和自...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
ip4r
除此之外，ip4r 相对于PostgreSQL内置的网络数据类型还有以下特点：语义清晰：将 网络块 与 网络块内的特定IP地址 两种语义进行了明确区分。开销更低：PostgreSQL为支持存储IPv6数据而使用了变长数据类型，对明确需要存储IPv4数据的场景来...
车联网数据存储处理方案
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
方案背景
表格存储作为阿里云面向海量结构化数据提供Serverless表存储服务，具有海量数据存储、热点数据自动分裂、海量数据多维检索等功能，可以有效的地解决地理位置数据量大膨胀这一挑战。需求场景 某店铺搜索平台，提供了亿量级的店铺信息。用户...
安全基线检查
数据备份恢复 应建立定期的数据备份与恢复机制，实现对存储数据的冗余管理，保护数据的可用性。该策略检查数据库是否开启了备份功能。数据存储安全 数据存储应采取加密等安全措施，保障数据的保密性和完整性。该策略检查数据库是否开启加密...
表数据格式
数据存储分桶 为了进一步优化读写效率，Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，bucket数量可通过配置表属性 write.bucket.num 指定，因此对同一张表或分区的数据，写入数据会按PK...
概述
本文介绍如何选择和优化阿里云存储服务，帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客...
- 产品推荐
- 这些文档可能帮助您