Hive数据源
分区信息：缓存每个分区的信息，如分区数据格式，分区存储位置、分区值等。文件信息：缓存每个分区所对应的文件信息，如文件路径位置等。以上缓存信息不会持久化到SelectDB中，当SelectDB进行主备切换、FE节点重启等操作时，都可能导致缓存...
HybridDB for MySQL设计和实践优化建议
当用户在使用HybridDB for MySQL进行数据库设计和实践的过程中，我们有如下建议：分区键的选择 分区键是数据库控制数据分布的维度，以该条件进行等值查询，查询范围只会限制在一个存储分区上，通常选择查询最频繁的列，或数据分布最均匀的...
准备工作
您可以使用gsutil工具或通过存储日志查看待迁移存储分区（Bucket）的存储量。更多信息，请参见 获取存储分区信息。重要 链接文档仅供参考，由于源站变更，文档可能已经过时。步骤二：解冻源存储空间待迁移数据 当您源端为归档类型的数据，...
BigQuery数据迁移至MaxCompute
如果您没有相关环境及数据集，可参考如下内容准备：BigQuery：BigQuery快速入门 和 创建数据集 Cloud Storage：Cloud Storage快速入门 和 创建存储分区 阿里云 已开通MaxCompute、DataWorks服务并创建项目空间。以 印度尼西亚（雅加达）...
谷歌BigQuery数据迁移至AnalyticDB PostgreSQL版
已准备用于导出谷歌BigQuery数据的谷歌Cloud Storage服务，并创建存储分区（Bucket）。已创建拥有访问谷歌Cloud Storage权限的IAM用户。已开通阿里云对象存储服务（OSS），OSS的详细信息，请参见 什么是对象存储OSS。已创建OSS存储空间，请...
ListPartitionsProfile-获取分区数据概况
true Total integer 总条数 10 Data array 分区数据概况列表 PartitionProfile 分区数据概况 LatestDate string 元仓更新时间 2023-08-30 19:16:10 LatestAccessNumDate string 访问频次更新时间（已废弃）-示例 正常返回示例 JSON 格式 {...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...
准备数据
此处需要创建3张表，分别存储同步过来的电量下降趋势数据、指标数据和窃电标志数据（trend_data、indicators_data和steal_flag_data）。说明 表名不能超过64个字符，且必须以字母开头，不能包含中文或特殊字符。打开创建的表，单击 DDL模式...
创建表
STRING emp_var_rate：DOUBLE cons_price_idx：DOUBLE cons_conf_idx：DOUBLE euribor3m：DOUBLE nr_employed：DOUBLE fixed_deposit：BIGINT 步骤二：创建表 基于示例数据，创建非分区表bank_data和分区表bank_data_pt，用于存储业务数据...
文件存储NAS
费用模型 NAS的容量可按照您的业务需求自动配置，您无需事先进行存储分区。相应的，NAS的费用模型也是按量付费。如果文件增加，您也只需支付实际使用的存储空间的费用。如果文件被删除，则会停止相应的计费。您也可以使用包年包月的计费...
Hologres开发：周期性调度
因此，您可以将MaxCompute的分区表或非分区表导入Hologres的分区或非分区表，可以根据实际业务情况选择是否需要分区。前往DataWorks调度会产生一定的调度费用，详细收费情况，请参见 DataWorks资源组概述。如果需要实现写入更新，您需要...
分层存储
MaxCompute分层存储支持标准存储、低频存储和长期存储，默认情况下为标准存储。您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，实现数据的冷热分层，以降低数据存储费用。申请开通使用 目前分层存储处于邀...
按扫描量付费
数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描所有分区，从而节省扫描费用。计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件，在RDS中存储一个容量为1TB的数据表。...
概述
PolarDB PostgreSQL版 支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
概述
组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此，子分区的属性是独立的，可以与表的属性或子分区所属的一级分区不同，使用中更加灵活。
批式读写
建表并写入数据 Scala/非分区表 data.write.format("delta").save("/tmp/delta_table")/分区表 data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")SQL-非分区表 CREATE TABLE delta_table(id INT)USING delta ...
DDL操作常见问题
本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除...
创建分区
RANGE 分区、LIST 分区、HASH 分区支持函数分区键（分区键为表达式或函数）和列分区键（分区键为字段），KEY 分区仅支持列分区键。支持指定 PARTITIONS number 和 SUBPARTITIONS number。不支持的范围 创建分区时，不支持创建 LINEAR HASH ...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
库表
执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_size-...
数据源
2、离线存储的用户表、物品表、行为表为分区表，分区字段为 ds STRING 和 hh STRING。智能推荐引擎每小时会产出一个新分区，产出分区的 ds 和 hh 分别为前一小时的日期和小时。3、不建议您自行修改生命周期。如您因MaxCompute存储问题等...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
接口说明
在返回的对象中，包含的字段含义如下：名称 类型 说明 data.url String APK/ABB 下载链接。data.filename String APK/ABB 文件名。resultMsg String 查询失败后的返回值。success Boolean 查询是否成功。查询加固日志 请求-...
接口说明
在返回的对象中，包含的字段含义如下：名称 类型 说明 data.url String APK/ABB 下载链接。data.filename String APK/ABB 文件名。resultMsg String 查询失败后的返回值。success Boolean 查询是否成功。查询加固日志 请求-...
通过DataWorks周期性导入MaxCompute数据最佳实践
在Hologres中不支持直接将分区数据直接写入分区父表，因此需要在Hologres中创建对应MaxCompute分区表中分区键值的分区子表，然后将分区数据导入对应的分区子表。分区键值由参数${bizdate} 控制，在调度系统中自动赋值完成周期性调度，调度...
概述
data 文件采用标准CSV格式存储表的数据：特殊字符为逗号（,）、单个双引号（"）和换行符（或 \r）。列分隔符为逗号（,），行分隔符为换行符（或 \r）。如果列内容包含特殊字符，需要在该列内容前后加上双引号（""）。例如 3,No 写为"3,No。...
CREATE TABLE
设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的数据分布策略 建表前，您可以通过下图中的示例，了解关于表的几个重要概念，包括分片、分区、聚集索引。...
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
Dataphin管道任务是否支持数据数仓的动态分区
问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin管道任务不支持动态分区。适用于 Dataphin 版本V3.6.2
DROP PARTITION
本文档介绍了删除分区和子分区以及存储在分区和子分区内数据的方法。语法 ALTER TABLE…DROP PARTITION 命令用于删除分区和子分区及存储在分区和子分区内的数据。ALTER TABLE table_name DROP PARTITION partition_names;说明 该命令不可以...
ALTER TABLE
alter table 只会影响分区表的新建分区（包括 insert overwrite 生成的），新分区将按新的聚簇属性存储，老数据分区的聚簇属性和存储保持不变。即在一张曾经做过聚簇属性设置的表上，关闭了聚簇属性，再增加聚簇设置，可以在新分区设置不同...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
表统计信息查看与分析
对于Hologres非分区内部表（type='TABLE'），可以查到详细统计信息，如存储空间、文件数、访问累积次数，行记录数。对于其他对象（视图，物化视图，外表，分区父表），只能查到基本信息，如分区数量，外表对应外部表名，物化视图与视图定义...
Salesforce on Alibaba Cloud 数据处理附录
采取措施确保委托数据得到保护而不受意外破坏或丢失，至少应包括以下内容：确保已安装的系统在发生中断后能够恢复，确保系统正常运行并报告故障，确保储存的个人信息等数据不会因系统故障而被损坏，业务连续性程序，远程存储和防病毒/防火...
- 产品推荐
- 这些文档可能帮助您