Hive支持的DQL语句
本文为您介绍Dataphin计算引擎为Hadoop时，系统支持的Hive DQL命令及语法。TABLESAMPLE 数据采样。采样分桶表 TABLESAMPLE(BUCKET x OUT OF y[ON colname])块抽样 TABLESAMPLE(n PERCENT)更多信息请参见 TABLESAMPLE。QUALIFY 说明 仅支持...
Hive支持的DDL语句
RCFILE-(Note:Available in Hive 0.6.0 and later)|ORC-(Note:Available in Hive 0.11.0 and later)|PARQUET-(Note:Available in Hive 0.13.0 and later)|AVRO-(Note:Available in Hive 0.14.0 and later)|JSONFILE-(Note:Available in ...
在Hue WebUI使用编辑器
在Hive语句编辑区输入以下语句，查询集群上的数据库列表。SHOW DATABASES 单击 图标，开始执行Hive语句。可以查看已有的数据库列表,返回如下图所示信息。在Hive语句编辑区输入以下语句，创建表格。CREATE TABLE IF NOT EXISTS `store_sales...
Hive SQL作业配置
本文介绍如何配置Hive SQL...在 作业内容 输入框中填入Hive SQL语句。SQL语句示例。SQL语句最大不能超过64 KB。show databases;show tables;系统会自动为SELECT语句加上'limit 2000'的限制。select*from test1;单击 保存，作业内容编辑完成。
Hive
Zeppelin的Hive解释器提供以下主要功能：支持任何Hive SQL语句（包括DDL和DML等）。Hive解释器与Beeline支持的语言及功能一样。支持一个段落编写多条SQL语句，每条SQL语句以分号;结尾，按照从上到下的顺序执行。支持注释功能。支持并发执行...
配置Hive开启Ranger权限控制
示例三：URL权限配置 当您执行的Hive SQL语句中包含Location信息，且Location的Scheme为 oss 时，会检查Location的Write、Read权限。例如 create external table test(id int,name string)location 'oss:/test-bucket/test'，会检查 oss:/...
快速入门
③ Hive（以%hive开头），您可以执行任意的Hive SQL语句。④ 单击 图标，可以切换关联的集群。⑤ 单击 图标，运行当前段落。说明 部分解释器（Interpreter）在第一次使用的时候会去下载依赖，如果提示信息类似 Interpreter Setting 'hive' ...
通过Hive访问云数据库HBase
put 'hive_hbase_table','132','cf1:val','acb' 执行如下语句，在Hive中查看云数据库HBase表格的数据。select*from hive_hbase_table;执行如下语句，在Hive中删除创建的表。drop table hive_hbase_table;说明 删除云数据库HBase表格后在...
HIVECLI
任务示例 使用脚本输入 该示例演示了如何直接执行Hive SQL脚本语句。本示例的 脚本 内容如下。create table if not exists hive_table(id bigint,name string);insert into hive_table values(1,'name1');select*from hive_table;说明 如果...
节点类型说明
Hive Hive 离线节点，运行在Hive类型云计算资源之上，可通过输入算法语句方式处理Hive、Hbase和Phoenix类型的数据。Hadoop Hadoop 离线节点，运行在Hadoop云计算资源之上，可通过输入算法语句方式处理Hive、Hbase、Phoenix和RDS MySQL类型...
Flink Table Store与Flink集成
TABLE-STORE/flink-table-store-current/lib/flink/-l/opt/apps/FLINK-TABLE-STORE/flink-table-store-current/lib/catalog/hive2/-l/opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/执行以下Flink SQL语句，创建Hive Catalog。...
Paimon与Flink集成
执行以下Flink SQL语句，创建Hive Catalog。CREATE CATALOG test_catalog WITH('type'='paimon','metastore'='hive','uri'='thrift:/master-1-1:9083',-uri参数指向Hive metastore service的地址。'warehouse'='oss:/<yourBucketName>/...
Spark Load
从 hive_table 中抽取待去重字段的去重值，生成一张新的Hive表，记为 distinct_value_table。新建一张全局字典表，记为 dict_table。字典表一列为原始值，另一列为编码后的值。将 distinct_value_table 与 dict_table 做 left join，计算出...
EMR-3.25.x版本说明
支持ALTER TABLE SET TBLPROPERTIES和UNSET TBLPROPERTIES语句。Delta Hive 修复自动LOCAL模式下MR任务执行失败的问题。Presto 升级至310版本。升级joda-time版本至2.10.5。Tez 升级至0.9.2版本。修复tez-ui application进度无法正常显示的...
SHOW
实例操作 查看实例信息，包括StartTime（时间精确到秒）、RunTime（s）、Status（实例状态）、InstanceID、实例所有者、Query（执行语句）。查询权限信息 查询用户、角色、对象等的权限信息。优化器信息收集 测试Column Stats收集结果。SET...
SHOW
实例操作 查看实例信息，包括StartTime（时间精确到秒）、RunTime（s）、Status（实例状态）、InstanceID、实例所有者、Query（执行语句）。查询权限信息 查询用户、角色、对象等的权限信息。优化器信息收集 测试Column Stats收集结果。SET...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
Dataphin即席查询中修改表备注信息，资产目录中查看表...
即席查询中使用如下语句修改表备注信息操作如下：alter table project_name.table_name set TBLPROPERTIES('COMMENT'='备注信息A')资产目录中查看表结构，备注信息未更新：问题原因 修改表备注的SQL语句不规范，HIVE官方wiki给的样例来看，...
外部表
stored as avro org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe->stored as sequencefile 对于开源格式外部表，建表语句如下。CREATE EXTERNAL TABLE[IF NOT EXISTS]()[PARTITIONED BY(partition column schemas)][ROW FORMAT SERDE...
快速使用EMR Notebook
输入SQL语句。本文示例如下。SHOW TABLES;DROP TABLE myHiveTable;CREATE TABLE IF NOT EXISTS myHiveTable(id int,score int);INSERT INTO TABLE myHiveTable SELECT '1','79' union all SELECT '2','83' union all SELECT '3','89' union...
查看集群日报与分析
Hive使用量分析 在Hive使用分析中，您可以获取以下图表：Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布比例 Hive表热冷数据分布 Hive表存储格式分布 Hive详细信息 在Hive信息中会展示Hive库和Hive表的详细信息。Hive...
Hive连接器
HDFS用户名与权限 在Presto中为Hive表运行任何 CREATE TABLE 或 CREATE TABLE AS 语句之前，都需要检查Presto用于访问HDFS的用户是否有权访问Hive的仓库目录。Hive仓库目录由 hive-site.xml 中的配置变量 hive.metastore.warehouse.dir ...
公共节点
Hive Hive节点通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作，具体操作，请参见 新建Hive类型的公共节点。Hologres Hologres节点运行于Hologres云计算资源之上，您可使用标准...
Hive兼容数据类型版本
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
2.0数据类型版本
FLOOR、CEIL Hive兼容数据类型版本：如果参数为DECIMAL类型，在Hive兼容数据类型版本下返回类型仍为DECIMAL。1.0和2.0数据类型版本：如果参数为DECIMAL类型，在1.0和2.0数据类型版本下返回类型为BIGINT。FROM_UNIXTIME Hive兼容数据类型...
DATE_FORMAT
DATE和STRING类型只能在Hive兼容模式下使用，您可以执行 set odps.sql.hive.compatible=true;命令打开Hive模式。如果参数为STRING类型，则格式只支持以下三种日期字段：'yyyy-MM-dd'，例如 '2019-12-27'。'yyyy-MM-dd hh:mm:ss'，例如 '...
SQL查询
如果需要快速地对数据进行查询与分析，您可以使用SQL语句查询MaxCompute、EMR Hive、Hologres等数据源。本文为您介绍如何通过SQL语句查询数据源。支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL...
UDF示例：兼容Hive
调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive.compatible=true;语句，与SQL语句一起提交执行。Java UDF在分布式环境中运行时，请注意MaxCompute的 Java沙箱 限制。UDF会起新进程计算，当集群资源紧张时，会有小概率因新进程启动...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
创建Hive数据源
Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等。Hive的执行程序运行在Yarn上。如果您使用的是Hive，在对接Dataphin进行数据开发或将Dataphin的数据写入至Hive的...
Hive作业异常排查及处理
tez.runtime.io.sort.mb（Hive on Tez）mapreduce.task.io.sort.mb（Hive on MR）部分GroupBy语句引起的OOM 报错日志：22/11/28 08:24:43 ERROR Executor:Exception in task 1.0 in stage 0.0(TID 0)java.lang.OutOfMemoryError:GC ...
Hive访问Delta Lake和Hudi数据
Hive不支持写入数据到Delta Lake和Hudi，但是可以通过外部表的方式查询Delta Lake和Hudi中的数据。...直接输入 hive 命令进入Hive CLI命令行或者通过Beeline连接Hive ThriftServer，然后执行SQL语句即可。示例如下。select select*from h0;
数据上云场景
MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据库数据同步 数据库的数据同步到MaxCompute...
SELECT TRANSFORM
打开方式为在SQL语句前加set语句 set odps.sql.hive.compatible=true;Hive支持的语法详情请参见 Hive文档。如果使用Hive的 inputRecordReader、outputRecordReader 等自定义类，可能会降低执行性能。using 子句：必填。指定要启动的子进程...
SELECT TRANSFORM
打开方式为在SQL语句前加set语句 set odps.sql.hive.compatible=true;Hive支持的语法详情请参见 Hive文档。如果使用Hive的 inputRecordReader、outputRecordReader 等自定义类，可能会降低执行性能。using 子句：必填。指定要启动的子进程...
通过外表导入至数仓版
建表语句如下：CREATE TABLE adb_csv_hive_format_oss(a tinyint,b smallint,c int,d bigint,e boolean,f float,g double,h varchar,i varchar,-binary j timestamp,k DECIMAL(10,4),l varchar,-char(10)m varchar,-varchar(100)n date)...
数据上云工具
MaxCompute平台支持丰富的数据...MMA迁移工具 MMA利用Meta Carrier连接用户的Hive Metastore服务，抓取用户的Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详情请参见 MMA概述。
采集数据
分别在EMR Hive节点中输入建表语句，并在 调度配置 中 调度资源组 选择为独享调度资源组，然后单击 保存 并 运行 各建表语句。新建 insert_ods_user_info_d_emr 表。双击 insert_ods_user_info_d_emr 节点，在右侧的编辑页面输入下述建表...
- 产品推荐
- 这些文档可能帮助您