Spark Load
数据预处理（DPP）基本流程 从数据源读取数据，上游数据源可以是HDFS文件，也可以是Hive表。对读取到的数据进行字段映射，表达式计算以及根据分区信息生成分桶字段 bucket_id。根据Doris表的rollup元数据生成RollupTree。遍历RollupTree，...
API概览
数据库管理 API 描述 CreateDatabase 创建数据库。GetDatabase 获取给定数据库的信息。GetAllDatabases 获取当前用户有读权限或写权限的所有数据库。AlterDatabase 修改数据库的信息。DropDatabase 删除数据库。分区管理 API 描述 ...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
Security Zone功能
背景信息 例如，某公司有部门A和部门B两个部门，部门A主要使用Hive database a，以及HDFS路径/a，部门B主要使用Hive database b，以及HDFS路径/b。如果要使用Security Zone功能，可以将Hive database a和HDFS路径/a 划分到Zone a当中，将...
ALTER TABLE…MERGE PARTITION
使用 ALTER TABLE…MERGE PARTITION 命令可以将两个分区合并为一个新分区，新分区中包含原有两个分区的内容。说明 您必须是表的所有者或拥有表的管理权限才能执行该语句。该SQL命令仅支持在LIST分区表和RANGE分区表中使用，不支持在HASH...
GetMetaTablePartition
DatabaseName String 否 abc 数据库的名称。仅当数据类型为EMR时，需要配置该参数。您可以调用 ListMetaDB 接口获取。TableName String 否 abc EMR的表名称。仅当数据类型为EMR时，需要配置该参数。您可以通过调用 GetMetaDBTableList 接口...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
PolarDB MySQL版DDL操作指南
本文基于云原生数据库 PolarDB MySQL版，对常见DDL的操作进行了说明，方便用户查询和了解DDL的行为，评估DDL操作风险，降低对业务的影响。DDL操作说明 在MySQL生态中，DDL是一类非常复杂的操作，包括Index操作、Primary Key操作、Column...
Broker Load
例如：撤销数据库demo上Label为broker_load_2022_03_23的导入作业。CANCEL LOAD FROM demo WHERE LABEL="broker_load_2022_03_23;相关系统配置 Broker参数 Broker Load需要借助Broker 程访问远端存储，不同的Broker需要提供不同的参数。FE...
Iceberg
hive_sync.db 同步到Hive的数据库名称 String 否 当前Table在Catalog中的数据库名 无。hive_sync.table 同步到Hive的表名称 String 否 当前Table名 无。dlf.catalog.region DLF服务的地域名 String 否 无 详情请参见 已开通的地域和访问...
概述
分区类型 支持List Default[Hash]分区 LIST DEFAULT HASH 支持List Default[Hash]分区下面做二级分区 二级分区支持List Default分区 支持通过reorganize从default[Hash]分区分离出List分区 支持通过reorganize List分区合并到default[Hash]...
ALTER TABLE.MERGE SUBPARTITION
使用 ALTER TABLE.MERGE SUBPARTITION 命令可以将两个子分区合并为一个新的子分区，新的子分区包含原有两个子分区的所有内容。说明 您必须是表的所有者或拥有表的管理权限才能执行该语句。该SQL命令仅支持在LIST分区表和RANGE分区表中使用...
通过LOCALITY指定存储位置（AUTO模式）
本文介绍了在AUTO模式数据库中使用Locality关键字指定数据库对象的存储位置的方法。本语法仅适用于AUTO模式数据库。PolarDB-X 支持在AUTO模式数据库中，通过Locality关键字来指定数据库、表或分区的存储位置，以实现数据隔离或数据的均匀...
API概览
本产品（数据湖构建/2020-07-10）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接...ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
配置CDH6使用文件存储 HDFS 版
命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回结果示例如下：+-+-+-+-+-+-+-+|DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER_TYPE|CREATE_TIME|+-+-+-+-+-...
Hive调研工具准备
运行环境准备 服务器选择 Hive扫描工具（简称hive-scanner）需要安装和运行在工具服务器上，工具服务器需要与Hive 集群的metastore db环境互通。规格系统 此外工具服务器需要至少 2C4G 的机器规格，对于操作系统没有依赖。环境依赖 hive-...
Search-搜索元数据
True DatabaseResult object 返回的 db 结果 Databases object[]返回的 DatabaseList Database Database 返回的 Database HighLightList array 返回高亮文本 HighLight 返回高亮文本 TotalCount long 满足匹配条件的总的 Database 个数 ...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
产品名称 Dataphin 产品模块 数据集成 概述 通过该问题的分析处理过程，提供以下场景问题处理排查思路和注意点：管道任务数据集成到hive之后，hive库查询集成数据为空 问题描述 将本地csv文件数据集成到hive库中，任务运行成功，但是查询...
外表统计信息
本文介绍 云数据库 SelectDB 版 中外表统计信息收集功能，包括 使用方法和实现原理，为您进行查询性能优化提供参考。外表统计信息的收集方式、内容基本与内表统计信息一致，更多信息请参见 统计信息。注意事项 目前支持收集Hive、Iceberg和...
列存索引中HashMatch算子的实现
当出现内存不足时，需要按一定规则将一些分区数据落盘，以便内存中分区能够正常进行Build与Probe阶段。目前HashMatch采用从最高分区开始整区落盘，直到能够完成处理前面分区，若出现连一个分区均无法处理时则直接抛出OOM。在DoBuild不断...
SearchAcrossCatalog-跨Catalog搜索元数据
db 结果 Databases object[]返回的 DatabaseList Database Database 返回的 Database HighLightList array 返回高亮文本 HighLight 返回高亮文本 TotalCount long 满足匹配条件的总的 Database 个数 11000 TableResult object 返回的 table...
独立RDS元数据库
数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库，首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
INTERVAL RANGE简介
INTERVAL RANGE是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。前提条件 集群版本需为 PolarDB MySQL版 8.0.2版本且Revision version为8.0.2.2.0及以上。您可以通过 查询版本号 确认集群版本。...
使用pg_pathman插件
Description-+-+-+-pg_pathman|1.5|public|Partitioning tool for PostgreSQL plpgsql|1.0|pg_catalog|PL/pgSQL procedural language(2 rows)插件升级 PolarDB PostgreSQL版（兼容Oracle）会定期对插件进行升级，以提供更优质的数据库服务...
DropPartition
DbName String 是 db001 需要删除分区所在数据库名称。TableName String 是 tbl001 需要删除分区所在数据表的名称。PartValues Array of String 是 p002 需要删除的分区。返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 如果...
INTERVAL RANGE分区
INTERVAL RANGE分区是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。INTERVAL RANGE分区需要包含Interval子句并为新分区指定范围大小。范围划分的高值由范围划分键值决定，当插入的数据值超过了...
2021年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2021年12...
管理数据库
Hive 参数 说明 数据库类型 Hive 名称 新建数据库的名称，长度限制为1~64个字符，只允许包含中文、字母、数字、空格、短划线（-）和下划线（_）。网络类型 仅支持专有网络类型。专有网络 默认展示工作空间配置的网络参数，不支持修改。为了...
使用Hive在EMR集群中创建OSS表
使用Hive创建OSS库、表以及访问OSS数据 参照如下示例，使用Hive创建OSS数据库以及访问OSS。CREATE DATABASE test_db location"oss:/test_bucket/test_db;在OSS指定Bucket路径上创建名为test_db的数据库。test_bucket为示例路径，实际使用时...
通过JDBC方式连接Trino
创建了包含Trino服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Trino提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，在...
8.0.2版本发布说明
支持Interval分区 Interval分区是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。更多信息请参见 INTERVAL RANGE简介。子查询解关联 关联子查询在分析场景中被广泛使用，例如在决策支持基准TPC-H...
分区表视图
您可以通过以下视图查询分区和子分区信息：ALL_PART_TABLES ALL_TAB_PARTITIONS ALL_TAB_SUBPARTITIONS ALL_PART_KEY_COLUMNS ALL_SUBPART_KEY_COLUMNS ALL_PART_TABLES ALL_PART_TABLES视图提供当前数据库中的所有分区表的信息。...
EMR-3.22.x之前版本说明
EMR-3.0.1 支持交互式，支持统一的表管理，使用外部统一数据库保存Hive meta，所有使用外部Hive meta的集群都共享同一份meta信息。升级emr-core到1.2.4版本，优化了OSS读写的性能。Spark升级到2.0.2版本。说明 与EMR-3.0.0版本完全兼容。...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
分区表系统视图
PolarDB PostgreSQL版（兼容Oracle）提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。pg_partitioned_table 返回字段说明 列名 描述 partrelid 分区表 pg_class 项的OID。partstrat 分区策略。取值如下：h：哈希分区...
分区表系统视图
PolarDB PostgreSQL版 提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。pg_partitioned_table 返回字段说明 列名 描述 partrelid 分区表 pg_class 项的OID。partstrat 分区策略。取值如下：h：哈希分区表 l：列表...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
合并分区
语法说明 合并分区 通过 ALTER TABLE…MERGE PARTITION 命令将两个分区合并为一个分区，并在新分区中包含之前两个分区的内容。ALTER TABLE table_name MERGE PARTITIONS partition_name,partition_name INTO PARTITION new_part[TABLESPACE...
通过数据湖元数据DLF读写Hudi
'hive_sync.db'='test',-required,Hive新建的数据库名。'hive_sync.mode'='hms'-required,将hive sync mode设置为hms,默认jdbc。入湖 insert into dlf_catalog.test.hudi_tbl1 select uuid as id,age,ts from default_catalog.default_...
通过JDBC方式访问Presto
创建了包含Presto服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Presto提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，...
- 产品推荐
- 这些文档可能帮助您