查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
开通并配置OSS存储分析
EMR Doctor借助您Bucket中最新的清单文件，分析该Bucket的数据使用，健康状态以及与Hive存储分析关联。使用EMR Doctor OSS存储分析需要您为Bucket预先开通存储清单功能。清单功能的详细介绍，具体请参见 存储空间清单。注意事项 开通OSS...
多元索引计量计费
存储 行数 费用计算 8 GB 900万行 存储费用：8*0.0015元/GB/小时=0.012元/小时 预留读吞吐量生成规则：8 GB对应80 CU，900万行对应45 CU。由于当数据存储量大于200 MB且数据行数大于40万行，预留读吞吐量系统最低会设置为100 CU，因此预留...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
数据湖生态接入
HDFS服务 HBase 将HBase快照保存在OSS HBase使用OSS-HDFS服务作为底层存储 Hive Hive使用JindoSDK处理OSS-HDFS服务中的数据 HDP 通过HDP 2.6 Hadoop读取和写入OSS数据 Kafka 将Kafka数据导入OSS Logstash 使用Logstash将日志导入OSS Impala...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
什么是OSS-HDFS服务
HDFS服务 实时计算Flink读写OSS或者OSS-HDFS Flume 使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务 HBase HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储 Hive Hive以EMR集群的方式处理OSS-HDFS服务中的数据 Impala Impala以EMR集群...
使用E-Mapreduce访问
Hive的元数据存储在MySQL中，进入存储Hive元数据的MySQL数据库hivemeta中，修改DBS表和SDS表，如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
使用教程
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
Hive基础操作
hive 库操作 本文示例中的数据库以testdb为例介绍。创建库 create database if not exists testdb;当返回信息包含OK时，表示创建库testdb成功。查看库 desc database testdb;使用数据库 use testdb;删除库 drop database if exists testdb;...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
EMR元数据迁移DLF最佳实践
本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品时，元数据迁移可以参考该文档。从阿里云EMR老...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
使用EasyRec读取Hive表
EasyRec支持csv和Parquet两种Hive文件存储格式。本文通过示例为您介绍，如何基于Hive在Data Science集群进行EasyRec模型训练、评估和预测。前提条件 已创建Hadoop集群，详情请参见 创建集群。已创建DataScience集群，且选择了EasyRec和...
Hive访问Delta Lake和Hudi数据
hive 执行以下命令，在Hive中查看Delta Lake表。desc formatted delta_table;执行以下命令，在Hive中查看Delta Lake表的数据。select*from delta_table;返回如下信息。OK 2 3 4 0 1 Time taken:1.897 seconds,Fetched:5 row(s)说明 查看...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
Hive访问TableStore数据
hive 说明 如果使用Beeline，则需要重启HiveServer2服务。在Hive中创建并查询表数据。执行以下命令，创建Hive表。CREATE EXTERNAL TABLE pet(name STRING,owner STRING,species STRING,sex STRING,birth STRING,death STRING)STORED BY '...
Paimon数据源
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。基于FileSystem创建Catalog 重要 SelectDB 2.X及之前版本，请参见 基于Hive Metastore创建Catalog。此处以HDFS为例：CREATE CATALOG `paimon_hdfs` PROPERTIES...
自定义函数（UDF）
hive 执行以下命令，应用生成的JAR包创建函数。create function myfunc as"org.example.MyUDF"using jar"hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar;代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类...
查询Delta表数据
hive 执行以下命令，在Hive中查看Delta表的数据。select*from delta_table;返回如下信息。2 3 4 0 1 Time taken:2.937 seconds,Fetched:5 row(s)说明 查看数据与在Spark中插入的数据一致，说明Hive已经成功访问了Delta表的数据。通过Presto...
数据操作篇
如果应用程序不方便使用 OSS，可以将超过 2 MB 的单个值拆分成多个行，存储在表格存储中。错误重试加入时间间隔 表格存储可能会遇到软硬件问题，导致应用程序的部分请求失败，并返回可重试的错误。建议应用程序遇到此类错误时等待一段时间...
通过Hive访问云数据库HBase
hive 执行如下语句，创建云数据库HBase表。CREATE TABLE hive_hbase_table(key int,value string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES("hbase.columns.mapping"=":key,cf1:val")...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
配置Hive输入组件
文件编码 选择读取文件的存储在Hive的编码方式。文件编码包括 UTF-8 和 GBK。压缩格式 选择读取文件的压缩格式。系统支持的压缩格式包括：zip gzip bzip2 字段分隔符 填写字段的分割符。如果您没有填写分隔符，则Dataphin默认为您选中半角...
EMR Serverless Spark与其他VPC间网络互通
hive 执行以下命令，创建表。CREATE TABLE my_table(id INT,name STRING);执行以下命令，向表中插入数据。INSERT INTO my_table VALUES(1,'John');INSERT INTO my_table VALUES(2,'Jane');执行以下命令，查询数据。SELECT*FROM my_table;...
方案设计
这四列主键列标记一行表格存储中的数据，这行数据需要保存后两维的数据，即一个格点平面。这种设计下，五维中的前三维都可以通过主键列的值来定位，即对于前三维的每一种情况，都对应表格存储中的一行。由于前三维分别代表变量、时间和高度...
E-MapReduce数据迁移方案
命令行输入 hive，查询库和表、查询数据、验证数据的正确性。Flume数据迁移 Flume双写配置 在新集群上也开启flume服务，并且将数据按照和老集群完全一致的规则写入到新集群中。Flume分区表写入 Flume数据双写，双写时需控制开始的时机，要...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
说明 请替换命令中的为您实际在OSS控制台上创建的Bucket名称，为您的数据实际存储目标，本示例中的地址为 oss:/<yourBucketName>/hive/userdata/。在Hive命令行中，查询数据进行验证。示例1 SELECT userid,movieid,rating,unix_timestamp()...
DLF统一元数据
切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告。进入Hive服务页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
- 产品推荐
- 这些文档可能帮助您