HybridDB for MySQL设计和实践优化建议
当用户在使用HybridDB for MySQL进行数据库设计和实践的过程中，我们有如下建议：分区键的选择 分区键是数据库控制数据分布的维度，以该条件进行等值查询，查询范围只会限制在一个存储分区上，通常选择查询最频繁的列，或数据分布最均匀的...
BigQuery数据迁移至MaxCompute
如果您没有相关环境及数据集，可参考如下内容准备：BigQuery：BigQuery快速入门 和 创建数据集 Cloud Storage：Cloud Storage快速入门 和 创建存储分区 阿里云 已开通MaxCompute、DataWorks服务并创建项目空间。以 印度尼西亚（雅加达）...
谷歌BigQuery数据迁移至AnalyticDB PostgreSQL版
已准备用于导出谷歌BigQuery数据的谷歌Cloud Storage服务，并创建存储分区（Bucket）。已创建拥有访问谷歌Cloud Storage权限的IAM用户。已开通阿里云对象存储服务（OSS），OSS的详细信息，请参见 什么是对象存储OSS。已创建OSS存储空间，请...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...
文件存储NAS
费用模型 NAS的容量可按照您的业务需求自动配置，您无需事先进行存储分区。相应的，NAS的费用模型也是按量付费。如果文件增加，您也只需支付实际使用的存储空间的费用。如果文件被删除，则会停止相应的计费。您也可以使用包年包月的计费...
Spark SQL创建C-Store表
例如，指定这个表数据全部存储在SSD，或者全部存储在OSS，或者指定这个表的一部分二级分区存储在SSD，另一部分二级分区存储在OSS。是 hotPartitionCount=N 指定MIXED存储策略时热分区的个数。表示按分区键的值的大小倒序排列，最大N个分区...
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
按扫描量付费
数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描所有分区，从而节省扫描费用。计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件，在RDS中存储一个容量为1TB的数据表。...
概述
组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此，子分区的属性是独立的，可以与表的属性或子分区所属的一级分区不同，使用中更加灵活。
概述
PolarDB PostgreSQL版 支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
创建混合分区
混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能...
DDL操作常见问题
本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除...
Hive数据源
分区信息：缓存每个分区的信息，如分区数据格式，分区存储位置、分区值等。文件信息：缓存每个分区所对应的文件信息，如文件路径位置等。以上缓存信息不会持久化到SelectDB中，当SelectDB进行主备切换、FE节点重启等操作时，都可能导致缓存...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
JindoCube使用说明
如果Cache的数据是按照分区存储的，当确认某些分区数据不再需要时，删除这些分区数据可以节省大量存储空间。在Cache的详细页面，分区Cache的相关分区会通过列表展示，用户可以通过 Delete 删除特定分区的数据。说明 在删除Cache分区数据...
DROP PARTITION
本文档介绍了删除分区和子分区以及存储在分区和子分区内数据的方法。语法 ALTER TABLE…DROP PARTITION 命令用于删除分区和子分区及存储在分区和子分区内的数据。ALTER TABLE table_name DROP PARTITION partition_names;说明 该命令不可以...
原理
将表定义存储到表的Option结构上，包括这些数据需要存储：interval_expr：这个结构存储间隔分区的间隔大小 sub_part_strategy/sub_part_params：存储二级分区的分区键和分区类型信息 partition_template_list：存储了模版分区列表，用于...
宽表模型介绍
表格存储按照分区键对数据表的数据进行分区，拥有相同分区键的行会被划分到同一个分区，实现数据访问负载均衡。属性列（Attribute Column）一行中除主键列外，其余都是属性列。属性列会对应多个值，不同值对应不同的版本，每行的属性列个数...
CREATE TABLE.PARTITION BY
使用CREATE TABLE命令的PARTITION BY子句来创建一个分区表，这个分区表中的数据分配在一个或多个分区（和子分区）中。语法介绍 CREATE TABLE命令语法有下面的三种形式：列表分区语法 使用第一种形式创建一个列表分区表：CREATE TABLE...
ALTER TABLE…DROP SUBPARTITION
ALTER TABLE…DROP SUBPARTITION 命令用于删除子分区及存储在子分区内的数据。语法介绍 使用ALTER TABLE…DROP SUBPARTITION 命令来删除子分区定义及子分区内的数据。语法如下：ALTER TABLE table_name DROP SUBPARTITION subpartition_...
在LIST或RANGE 分区表中处理偏离值
服务器将存储那些不匹配在分区规则中指定的值的记录，其中这个分区规则是指定给分区others中的europe、asia或americas分区的。CREATE TABLE sales(dept_no number,part_no varchar2,country varchar2(20),date date,amount number)...
数据分层存储
分区表 创建分区表的存储策略 分区表也可以通过 SET_TABLE_PROPERTY 来设置表的存储策略，分区子表默认继承父表的存储属性，也可以分别设置父表和子表的存储策略。支持的选项有：hot（热存储）。cold（冷存储）。例如将分区父表（tbl2）...
数据输入输出
从非分区表 test_odps_table 中获取数据，通过MaxFrame进行转换并将其存储到另一张分区表 test_processed_odps_table 中，代码示例如下：import maxframe.dataframe as md df=md.read_odps_table("test_odps_table")processed_df=df[df.A>...
表格存储建表注意事项
主键的第一列为分区键，可以理解为当表的数据量达到一个设定值时，表格存储会根据分区键列值的范围来进行分区的操作，通过分区来达到数据访问负载均衡的目的。建表时，表内的数据默认拥有一个分区，即该表的所有数据在一个数据分区上。当表...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
使用限制
限制项 限制值 说明 限制Topic总数（分区总数）支持 云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的，Topic总数（分区总数）太多，会导致存储碎片化，集群性能和稳定性下降。Topic减少对应分区 不支持 这是Apache Kafka自身设计所...
在RANGE分区表中指定多个分区键
q3_2012 sales(cost=0.00.14.35 rows=1 width=250)Filter:((sale_year=2012:numeric)AND(sale_month=8:numeric))(6 rows)由于所有在列sale_month 中值为8 的记录和在列sale_year 中值为2012 的记录都将存储在分区q3_2012中，因此PolarDB仅...
ALTER TABLE…DROP PARTITION
ALTER TABLE…DROP PARTITION命令用于删除分区和存储在这个分区上的数据。语法介绍 语法如下：ALTER TABLE table_name DROP PARTITION partition_name;描述 ALTER TABLE…DROP PARTITION命令用于删除分区和存储在这个分区上的数据。当您...
容量中心
当选择所有租户时，不再显示数据库和数据表筛选，改为展示集群下不同租户的存储、分区副本、CPU、内存的图表信息。右侧展示了不同租户磁盘使用量 Top10 的数据。展开后可以查看对应租户的数据和索引的磁盘占用量。单击 详情 或者租户名称，...
分层存储
MaxCompute分层存储支持标准存储、低频存储和长期存储，默认情况下为标准存储。您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，实现数据的冷热分层，以降低数据存储费用。申请开通使用 目前分层存储处于邀...
- 产品推荐
- 这些文档可能帮助您