Quick BI中指标拆解树的子节点百分比是什么意思
概述 Quick BI中指标拆解树的子节点百分比是什么意思？详细信息 在图表的所有类型中可以选择到指标拆解树图表。默认条件下子节点百分占比的意思为：以子节点的所有数据中最大的一个数据作为分母，来计算其他各个数据所占的百分比。在样式-...
阿里控制台的应用到达是什么意思
问题描述 阿里控制台的应用到达是什么意思？解决方案 阿里后台推送通知后会显示已到达，该意思并不一定代表用户看到了这条通知，只是通知内容送达了手机端，手机端返回给服务器已送达的回执。具体通知是否展示出来还取决于通知的渠道ID是否...
常见问题
为什么Hive创建的外部表没有数据？作业长时间处于等待状态，如何处理？您可以通过以下步骤定位问题：在EMR控制台的 访问链接与端口 页面，单击YARN UI所在行的链接。单击Application ID。单击 Tracking URL 的链接。可以看到有多个作业处于...
常见问题
为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟ClickHouse对不上？如何使用Spark、Flink导入数据？如何从现有ClickHouse导入数据到云数据库ClickHouse？使用MaterializeMySQL引擎同步MySQL数据时，为什么...
常见问题
为什么使用Hive连接器查询Iceberg、Hudi或Delta Lake表时会报错Cannot query xxx table？Trino与Presto的区别与联系是什么？Trino的前身是PrestoSQL，是Presto的创始人团队从Facebook脱离之后成立的商业公司Starburst旗下的开源产品，于...
常见问题
ClickHouse中Shard和Replica是什么意思？如何进行性能测试？集群创建后，是否还能修改Shard和Replica？EMR ClickHouse中使用HDFS时的配置有哪些？EMR ClickHouse与云数据库ClickHouse产品有哪些区别？ClickHouse是否支持查询使用DLF元数据...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题描述 Dataphin离线管道中Hive输出组件配置后报错“获取元数据失败MySQLNonTransientConnectionException Too many connections"是什么原因？Hive数据源测试连接时也连接失败，提示报错信息“Too many connections”。问题原因 Hive...
集群管理常见问题
EMR的滚动重启是什么意思？如何删除不需要的服务？EMR支持Hue服务吗？如果不支持是否有替代方案？EMR支持Oozie服务吗？如果不支持是否有替代方案？EMR Doctor常见问题 服务运行日志收集哪些信息？哪些集群类型支持EMR Doctor功能？EMR ...
Hudi
hive_sync.enable 是否开启同步元数据到Hive功能。boolean 否 false 参数取值如下：true：开启同步元数据到Hive功能。false：关闭同步元数据到Hive功能。hive_sync.mode Hive数据同步模式。String 否 hms 参数取值如下：hms：元数据同步到...
SmartData常见问题
基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS Block模式可以通过OSS API读取数据吗？...
SQL查询
如果需要快速地对数据进行查询与分析，您可以使用SQL语句查询MaxCompute、EMR Hive、Hologres等数据源。本文为您介绍如何通过SQL语句查询数据源。支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL...
文档修订记录
使用MaxCompute独享Tunnel进行数据同步 2023.4.19 新增功能 数据集成 以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。EMR Hive数据整库离线同步至MaxCompute 2023.4...
数据源常见问题
如果连接的MySQL数据源主库地址修改为从库地址，对数据集和仪表板有什么影响？通过Hive数据源可以连接到Impala吗？在MySQL数据库中显示为0或1的字段，为什么在数据集中显示为True或False？直连数据库时，每次刷新仪表板的图表都去查询数据...
常见问题
高级版试用版为什么不能连接Hive数据源？高级版是否支持报表使用分析功能？高级版如何上传本地文件？高级版是否支持翻牌器、排行榜和桑基图？专业版问题 专业版是否支持无限制导出数据？Quick BI产品定位 请参见 什么是Quick BI。控制台上...
Dataphin中提交...Hive support because Hive classes...
问题描述 Dataphin中提交Spark任务报错“Unable to instantiate SparkSession with Hive support because Hive classes are not found.”是什么原因？问题原因 用户使用的计算引擎是hadoop集群，任务执行机器信息配置错误。解决方案 将...
Hive指标
Hive指标包含以下部分：HIVE-HiveServer2 HIVE-MetaStore HIVE-HiveServer2 参数 指标 描述 JVM MemHeapInit hive_server_memory_heap_init JVM初始化堆内存。单位：Byte。JVM MemHeapCommitted hive_server_memory_heap_committed JVM已...
UDF（地理空间）
cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive.jar 下载项目所依赖的JAR包。命令示例如下。wget '...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
Hive数据源
Hive Catalog是一种External Catalog。通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件 已创建包含Hive服务的集群，例如DataLake或Custom集群，详情请见 ...
使用Hive访问
nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service metastore&nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service hiveserver2&验证Apache Hive 在hive Shell中创建一张表。create table test(f1 INT,f2 STRING);在表中写入...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
普通模式和Hive兼容模式下SQL的差异
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
Hive作业异常排查及处理
hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/path'"Hive UDF和第三方包 Hive lib目录下放置三方包导致冲突 原因分析：在Hive lib目录（$HIVE...
LIST FUNCTIONS
查看MaxCompute项目中所有自定义函数的信息。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
Hive调研工具准备
该文档描述了云迁移中心CMH的Hive调研工具使用的准备工作，通过这篇文档，您将了解到工具安装和使用的限制条件。名词解释 工具服务器 表示用户安装Hive调研工具（简称hive-scanner）的机器。用户授权 Hive扫描工具（简称hive-scanner）需要...
访问Hive数据源
AnalyticDB MySQL湖仓版（3.0）支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
Hive开发手册
本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
EMR Gateway升级EMRHOOK组件
hive-site.xml(/etc/taihao-apps/hive-conf/hive-site.xml)配置项：hive.aux.jars.path 配置值末尾添加（注意分隔符是逗号）,/opt/apps/EMRHOOK/emrhook-current/${hive-jar} 配置项：hive.exec.post.hooks 配置值添加 ...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
- 产品推荐
- 这些文档可能帮助您