数据节点管理
背景介绍 PolarDB-X 的数据节点管理功能支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，以适应多样化业务场景需求，进而有效提升整体资源使用率。存储资源池，即将DN存储节点划分为互不交叉的池，支持在单个...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
按扫描量付费
您可以根据不同的业务需求，把原始数据转换为上述三类格式，然后只扫描您需要的数据列，无需扫描所有数据，从而节省扫描费用。压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据...
通过外表导入至数仓版
AnalyticDB MySQL版 支持通过外表导入导出数据。本文介绍如何通过外表查询HDFS数据，并将HDFS数据导入至 AnalyticDB MySQL 数仓版（3.0）。前提条件 AnalyticDB MySQL版 集群需为V3.1.4.4或以上版本。说明 如何查看集群内核版本，请参见 ...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
字典编码（公测）
云原生数据仓库AnalyticDB PostgreSQL版 Beam存储引擎提供的字典编码功能，可以将低基数的字符串类型数据压缩为整型数据，提升存储效率，加速过滤、聚合等类型查询的性能。注意事项 仅存储弹性模式 v7.0.x版本 支持Beam字典编码功能。字典...
数据加密
在RDS PostgreSQL实例中开启并使用该功能，您可以对数据库表中的敏感数据列进行加密，这些列中的敏感数据将以密文进行传输、计算和存储。全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以...
数据加密
在RDS PostgreSQL实例中开启并使用该功能，您可以对数据库表中的敏感数据列进行加密，这些列中的敏感数据将以密文进行传输、计算和存储。全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以...
数据加密
在RDS PostgreSQL实例中开启并使用该功能，您可以对数据库表中的敏感数据列进行加密，这些列中的敏感数据将以密文进行传输、计算和存储。全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以...
数据加密
在RDS PostgreSQL实例中开启并使用该功能，您可以对数据库表中的敏感数据列进行加密，这些列中的敏感数据将以密文进行传输、计算和存储。全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以...
数据加密
在RDS PostgreSQL实例中开启并使用该功能，您可以对数据库表中的敏感数据列进行加密，这些列中的敏感数据将以密文进行传输、计算和存储。全密态功能根据实例类型不同，可通过以下两种方案实现：Intel SGX 安全增强型实例：全密态功能可以...
创建时空索引
可以将面数据列的类型定义为以下几种：面数据列的类型定义为GEOMETRY（POLYGON）。CREATE TABLE test_table1(id INT,g GEOMETRY(POLYGON),name VARCHAR,t LONG,PRIMARY KEY(id));面数据列的类型定义为GEOMETRY（MULTIPOLYGON）。CREATE ...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
NAS存储卷概述
并行计算场景加速数据读取 利用计算节点的内存构建分布式数据缓存池，缓存池可随计算规模自动扩缩容，实现对NAS存储卷中热数据的访问加速。在AI训练、生命计算等场景推荐开启。具体操作，请参见 开启CNFS NAS计算端分布式缓存。持久化应用...
通过控制台使用分析存储
在 表格存储 控制台创建时序模型实例后，您可以在实例下创建分析存储并使用SQL查询时序数据。注意事项 时序分析存储功能将从2023年12月20日正式开始收费。目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
概述
全局一致性 PolarDB-X 是一款分布式数据库，数据存放在多个数据节点（DN）上，当分布式事务存在的情况下，恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户...
通过LOAD DATA导入至数仓版
连接AnalyticDB for MySQL集群，通过 CREATE DATABASE 和 CREATE TABLE，在 adb_demo 数据库下创建表 test 表，从本地文件导入的数据将存储在 test 表中。CREATE TABLE test(a int NOT NULL DEFAULT '0',b varchar NOT NULL,PRIMARY KEY(a)...
技术架构
基于共享存储的基础上，结合分布式的多点写入能力，可以在不迁移数据的前提下提供秒级弹性的能力，给到用户完全不一样的弹性体验。开放生态 PolarDB-X 1.0 全面拥抱和坚定MySQL的开源生态，做到代码完全自主可控的同时满足分布式MySQL的...
RDS MySQL迁移至Elasticsearch
若MySQL实例迁移至Elasticsearch实例的数据包含位置信息，且经纬度反向存储，数据写入Elasticsearch实例时会报错。若RDS MySQL实例已开通全密态（EncDB）功能，则不支持全量数据迁移。费用说明 迁移类型 链路配置费用 公网流量费用 结构...
Beam排序优化（7.0版）
筛选条件 组合排序键（s）多维排序键（s）首列点查 0.297 18.329 首列1%1.268 19.224 首列10%16.83 38.30 首列50%65.62 76.99 首列点查+非首列点查 0.288 5.29 首列1%非首列1%7.36 6.46 首列10%非首列10%91.73 26.70 首列50%非首列50%376....
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
时空索引介绍
Set<Long>S2(String geomColumnName,int level)参数说明 参数 说明 geomColumnName 面类型（POLYGON或MULTIPOLYGON）列的列名，该列存储的空间数据坐标需为WGS84坐标系坐标。level S2网格精度，取值范围为[1,30]。索引选择 Z-ORDER索引适用...
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
2.0版SQL开发规范
云原生数据仓库AnalyticDB MySQL版 2.0集群是一个分布式、列存数据库，在编写和优化SQL时，需要充分考虑其分布式特性。在2.0集群中，编写和优化SQL的要求和经验总结如下：SQL编写原则为追求简单 一般情况下，数据库性能会随SQL复杂度而下降...
polar_comp_redwood_date
当DATE在命令中显示为列的数据类型时，如果配置参数 polar_comp_redwood_date 设置为 true，则在表定义存储在数据库中时，它将转换为TIMESTAMP。因此，时间部分也将与日期一起存储在列中。这与Oracle的DATE数据类型是一致的。如果 polar_...
同步 OceanBase 数据库的数据至 DataHub
目前使用 LOB 列进行存储的数据类型包括 JSON、GIS、XML、UDT（用户定义类型），以及 LONGTEXT、MEDIUMTEXT 等各类 TEXT。如果 LOB 列为非更新列，LOB 列在 UPDATE 或 DELETE 操作前或操作后的值均为 NULL。同步 OceanBase 数据库的增量...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
环境准备
表格存储通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以通过流式计算的方式对表中历史存量和新增数据...
配置冷存储
开通 云原生多模数据库 Lindorm 的冷存储功能后，需要配置数据库中的表或者列簇，本文介绍配置冷存储的方法。背景信息 冷存储功能仅支持 云原生多模数据库 Lindorm 引擎版本为2.1.8及以上。Lindorm支持在表级别设置存储属性，可以将整个表...
CREATE TABLE
设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的数据分布策略 建表前，您可以通过下图中的示例，了解关于表的几个重要概念，包括分片、分区、聚集索引。...
概述
同一份数据以不同的格式保存，数据所占用的存储空间不同，使用DLA扫描数据时所花费的时间和费用也不同。通常情况下，同一份数据以ORC格式和PARQUET格式存储时，其数据扫描性能要优于普通文本CSV格式。因此，您可以将文本类型的数据转换为...
表操作
使用表格存储时，您需要创建数据表用于数据存储。一般情况下，创建不带二级索引的数据表即可。您也可以根据实际场景创建所需数据表。如果要使用二级索引加快数据查询效率，请创建带二级索引的数据表。更多信息，请参见 创建数据表。二级...
产品优势
低成本 DBS使用飞天分布式存储作为内置存储，备份数据会转换成专用格式，并经过压缩保存到内置存储，降低存储成本。支持按量付费，避免一次性投入大量资产；同时DBS支持存储分级，自动将备份数据存放到不同性价比存储介质中，适用于长期...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。...① 数据取回费用中的数据是从底层分布式存储系统读取的数据量，在公网传输的数据量会计入到流出流量的计费项中。
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
- 产品推荐
- 这些文档可能帮助您