HybridDB for MySQL设计和实践优化建议
当用户在使用HybridDB for MySQL进行数据库设计和实践的过程中，我们有如下建议：分区键的选择 分区键是数据库控制数据分布的维度，以该条件进行等值查询，查询范围只会限制在一个存储分区上，通常选择查询最频繁的列，或数据分布最均匀的...
BigQuery数据迁移至MaxCompute
如果您没有相关环境及数据集，可参考如下内容准备：BigQuery：BigQuery快速入门 和 创建数据集 Cloud Storage：Cloud Storage快速入门 和 创建存储分区 阿里云 已开通MaxCompute、DataWorks服务并创建项目空间。以 印度尼西亚（雅加达）...
OSS SDK使用中常见问题的解决方法
OSS.NET SDK异常处理 Browser.js OSS Browser.js SDK的常见报错 Go语言 对象存储OSS使用Go语言实现签名Header上传的示例 Go SDK的错误处理 C#对象存储OSS使用C#语言实现签名Header上传的示例 C OSS C SDK常见错误 Android OSS Android SDK...
谷歌BigQuery数据迁移至AnalyticDB PostgreSQL版
已准备用于导出谷歌BigQuery数据的谷歌Cloud Storage服务，并创建存储分区（Bucket）。已创建拥有访问谷歌Cloud Storage权限的IAM用户。已开通阿里云对象存储服务（OSS），OSS的详细信息，请参见 什么是对象存储OSS。已创建OSS存储空间，请...
常见问题
Go 对象存储OSS使用Go语言实现签名Header上传的示例 Go错误处理 C#对象存储OSS使用C#语言实现签名Header上传的示例 C C错误处理 Android OSS Android SDK断点续传失败之后无法进入onFailure回调的问题 Android异常处理 Android常见问题 iOS...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...
列存索引中HashMatch算子的实现
Probe落盘 若Build阶段中内存无法保存所有分区时，Probe阶段也需要针对内存分区和磁盘分区进行分别处理。在DoFetch过程中，当Worker取到右表数据后，若该元组对应的分区在内存中则直接查找HashMap进行匹配处理，若该分区在磁盘中，则需要将...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
location 必选 指定存储分区的OSS路径。使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_...
容量中心
当选择所有租户时，不再显示数据库和数据表筛选，改为展示集群下不同租户的存储、分区副本、CPU、内存的图表信息。右侧展示了不同租户磁盘使用量 Top10 的数据。展开后可以查看对应租户的数据和索引的磁盘占用量。单击 详情 或者租户名称，...
SDK概述
SDK语言 SDK入门 SDK使用调试指南 Java Java语言SDK Java SDK使用指南 Node.js Node.js语言SDK Node.js SDK使用指南 Python Python语言SDK Python SDK使用指南 C#C#语言SDK C#SDK使用指南 C++ C++语言SDK C++SDK使用指南 Go Go语言SDK ...
SDK概述
SDK语言 SDK入门 SDK使用调试指南 Java Java语言SDK Java SDK使用指南 Node.js Node.js语言SDK Node.js SDK使用指南 Python Node.js语言SDK Nodejs SDK使用指南 C#C#语言SDK C#SDK使用指南 C++ C++语言SDK C++SDK使用指南 Go Go语言SDK ...
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
按扫描量付费
数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描所有分区，从而节省扫描费用。计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件，在RDS中存储一个容量为1TB的数据表。...
名词解释
计算节点为用户可购买的计算资源单位，包括固定的 CPU核，内存，存储。每个计算节点规格包含1个MPP的数据分区（Segment）。计算节点个数 集群实例所购买的计算节点数量，单实例最大支持4096个节点。集群实例的存储空间和计算资源随计算节点...
概述
组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此，子分区的属性是独立的，可以与表的属性或子分区所属的一级分区不同，使用中更加灵活。
概述
支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启冷数据分层存储 后，...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
读取以分区方式存储的OSS数据
MaxCompute支持创建OSS外部表为分区表，访问OSS上以分区方式存储的数据，通过该方式可降低读取数据量并提升数据处理效率。本文为您介绍MaxCompute支持的OSS标准分区路径格式和自定义分区路径格式。背景信息 创建OSS外部表后，MaxCompute会...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
CREATE TABLE（AUTO模式）
Hash分区与Key分区是 原生MySQL的标准分区语法 之一，PolarDB-X 为提供灵活强大的分区管理能力（例如分裂、合并与迁移等）以及考虑支持向量分区键下热点散裂，PolarDB-X 不仅在语法上尽量兼容了MySQL的Hash分区与Key分区的建表语法...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
创建混合分区
混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能...
DDL操作常见问题
本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除...
对象存储OSS使用C#语言实现签名Header上传的示例
本文以PutObject接口为例，为您提供C#语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名实现上传示例，实际使用中需要结合业务进行代码改动。详细信息 C#使用PutObject接口实现示例代码如下。说明 以下示例在Visual Studio...
CREATE INDEX
Lindorm提供了 三种 高效易用的索引：二级索引、搜索索引和列存索引，分别适用于非主键匹配场景、多维查询场景 和列存储数据查询场景。在使用CREATE INDEX语法创建索引时，您可以指定索引类型并添加索引属性。引擎与版本 CREATE INDEX语法...
分区表常见问题
本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容，请搜索钉钉群号加群进行咨询。钉钉群号：24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和...
扩容分区和文件系统（Windows）
步骤二：扩容分区和文件系统 扩容原有分区和文件系统 此步骤以扩容系统盘（C盘）为例，介绍如何在ECS实例内部将扩容的20 GB容量增加到原有分区（C盘）。远程连接ECS实例。具体操作，请参见 通过密码或密钥认证登录Windows实例。在Windows ...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月 V6.3...
Hive数据源
分区信息：缓存每个分区的信息，如分区数据格式，分区存储位置、分区值等。文件信息：缓存每个分区所对应的文件信息，如文件路径位置等。以上缓存信息不会持久化到SelectDB中，当SelectDB进行主备切换、FE节点重启等操作时，都可能导致缓存...
实例选型和集群规划
节点（分区）存储类型 节点核数 内存 有效存储空间 推荐场景 ESSD 2 16 GB 50 GB到1 TB 低并发场景，支持节点4~128个。ESSD 4 32 GB 50 GB到2 TB 高并发场景，支持节点4~128个。核数:内存:存储 推荐配比为 1:8:80，为了保障实例的整体性能...
导入镜像必读
系统所在磁盘的启动分区（C盘）之后不能再存在其他分区，否则将导致实例启动失败或者磁盘扩容失败。安全 关闭防火墙。安全组放行RDP 3389端口。其他 请确认文件系统的完整性。请勿修改关键系统文件。请检查系统盘的剩余空间，确保系统盘...
ECS支持说明
支持挂载数据库文件存储（DBFS）的ECS实例规格如下：存储增强通用型g7se 存储增强计算型c7se 存储增强内存型r7se
Iceberg连接器
table(c1 integer,c2 date,c3 double)WITH(format='PARQUET',partitioning=ARRAY['c1','c2'],location='/var/my_tables/test_table')物化视图 Iceberg连接器支持物化视图，每个物化视图包含一个视图定义和Iceberg表，表名称存储在物化视图...
挂载问题
1.挂载数据库文件存储（DBFS）的约束？数据库文件存储（DBFS）默认会在“/mnt/dbfs”目录下创建挂载点（例如，“/mnt/dbfs/...支持挂载数据库文件存储（DBFS）的ECS实例规格如下：存储增强通用型g7se 存储增强计算型c7se 存储增强内存型r7se
AUTO模式数据库与DRDS模式数据库
自动分区与手动分区 自动分区 自动分区，指创建表时不指定任何分区定义（如分区键、分区策略等），PolarDB-X 能够自动选择分区键并对表及其索引进行水平分区的功能。AUTO模式数据库支持自动分区，而DRDS模式数据库不支持。示例如下：使用...
合约语言特性
下面从 基础设施、C++17 标准库 两个方面对 C++ 合约语言的一些特性进行阐述。基础设施 与标准C++ 相比，从安全与审计角度考虑，不推荐使用以下基础设施：指针。指针的越界行为是 C++ 中最难以捉摸的行为，因此审计时需要格外小心。数组。...
合约语言特性
下面从 基础设施、C++17 标准库 两个方面对 C++ 合约语言的一些特性进行阐述。基础设施 与标准C++ 相比，从安全与审计角度考虑，不推荐使用以下基础设施：指针。指针的越界行为是 C++ 中最难以捉摸的行为，因此审计时需要格外小心。数组。...
2024年
本文介绍2024年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2024年04月（V7....
入湖基础操作
数据湖构建采用计算单元为计算单位，1个计算单元（CU，Computing Unit）包含2 vCPU，8GiB内存的计算资源。执行策略：设置入湖任务触发方式，手动方式或定时调度的方式。只有全量入湖任务需要设置。查看入湖日志 您可以参考如下步骤查看一个...
DROP PARTITION
本文档介绍了删除分区和子分区以及存储在分区和子分区内数据的方法。语法 ALTER TABLE…DROP PARTITION 命令用于删除分区和子分区及存储在分区和子分区内的数据。ALTER TABLE table_name DROP PARTITION partition_names;说明 该命令不可以...
- 产品推荐
- 这些文档可能帮助您