IMPALA指标
The total number of queries registered on this Impala server instance.Includes queries that are in flight and waiting to be closed impala_impala_server_num_queries_registered 在Impala服务器实例上注册的查询总数。包括正在...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
连接Impala
impala-shell-i节点名称>本文中的节点名称>，您可以在EMR控制台Impala服务的 状态 页签，Impalad 拓扑列表中的节点名称列查看。例如，下图查看到的节点名称是core-1-1和core-1-2节点，连接Impala时选择其中任意一个节点名称即可。可选：...
IMPALASHELL
IMPALASHELL任务类型用于提交Impala任务，对数据进行查询、分析和处理操作。本文为您介绍创建IMPALASHELL类型任务时涉及的参数。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：...
Impala Web UI
本文为您介绍如何访问Impala Web UI。您可以通过UI查看Impala各组件的运行状态，元数据信息，SQL执行的详细信息等。访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI...
Impala集成Kudu
Impala集成Kudu后，您可以使用Impala访问Kudu的数据表。本文为您介绍Impala如何集成Kudu。前提条件 已创建集群，并且选择了Impala和Kudu服务，详情请参见 创建集群。操作步骤 控制台方式 在Impala服务的 配置 页面，新增以下配置项，具体...
Impala SQL作业配置
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
创建CDH Impala节点
在DataWorks中，CDH Impala节点可以编写并执行Impala SQL脚本。与CDH Hive相比，CDH Impala节点为您提供了更快速的查询性能。本文为您介绍如何创建与使用CDH Impala节点。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH ...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
配置Impala输出组件
Impala输出组件用于向Impala数据源写入数据。同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，...
配置Impala输入组件
Impala输入组件用于读取Impala数据源的数据。同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，...
配置Impala输出组件
Impala输出组件用于向Impala数据源写入数据。同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，...
配置Impala输入组件
Impala输入组件用于读取Impala数据源的数据。同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，...
创建EMR Impala节点
您可以创建EMR（E-MapReduce）Impala节点，对PB级大数据进行快速、实时的交互式SQL查询。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先...
自建数据源Impala
本文为您介绍如何创建自建数据源Impala。仅专业版和高级版的群空间支持创建自建数据源Impala。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Impala数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您...
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 ...
配置Impala开启Ranger权限控制
本文介绍了Impala如何开启Ranger权限控制，以及Ranger Impala权限配置说明。前提条件 已创建EMR-5.11.1及之后版本的DataLake或Custom集群，并选择了Impala和Ranger服务，创建集群详情请参见 创建集群。配置方法 进入集群服务页面。登录EMR ...
使用Impala或Presto查询JindoFS上的数据
本文介绍如何使用Impala或Presto查询JindoFS上的数据。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs jfs.namespaces.emr-jfs.oss.uri=oss:/oss-bucket/oss-dir jfs....
Apache Impala（CDH6）查询OSS数据
[root@cdh-master hive-testbench]#impala-shell-i cdh-slave01-d default Starting Impala Shell without Kerberos authentication Connected to cdh-slave01:21000 Server version:impalad version 3.0.0-cdh6.0.1 RELEASE(build9a74a...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
相对于Hadoop社区OSS客户端，Impala使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已开通并授权访问OSS-...
Impala以EMR集群的方式查询OSS-HDFS服务中的数据
本文介绍Impala如何以EMR集群的方式查询OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤，请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS...
Quick BI中新建impala数据源连通后，查看不到数据表...
问题描述 在Quick BI中新建 impala数据源连通后，查看数据源时，发现展示不到数据表信息。问题原因 在数据源处用自定义SQL创建数据集查看数据表时发现报错：null:INTERNAL:org.apache.hive.service.cli.HiveSQLException:User"does not ...
Quick BI数据源为Impala数据源，维度转换为yyyyMM格式...
问题描述 数据源Impala中样式为202001这种样式的数据，在Quick BI中使用日期转换成 yyyyMM，数据不能正常转换，显示横杠（-）。问题原因 Impala数据源格式化日期，不支持 yyyyMM 格式的数据。解决方案 在Impala中先将202001这种样式数据...
Dataphin的API被SDK调用时，带后缀Impala的方法和不带...
问题描述 Dataphin的API被SDK调用时，带后缀Impala的方法和不带后此后缀的方法有什么不同？解决方案 带后缀Impala和不带的方法逻辑相类似，区别如下：带后缀Impla的方法是一个异步查询，需要判断返回的状态。如果返回状态是running，需要...
Dataphin使用Impala数据源连接测试失败报错：“测试...
问题描述 Dataphin使用Impala数据源连接测试失败报错：“测试连接失败，请确保填写连接信息无误，错误信息：Access denied for user 'hive'@'10.X.X.X'(using password:YES)”。问题原因 元数据库密码不对，或者元数据库端口不通。解决方案...
Dataphin配置连接Impala数据源连接测试失败报错：“...
问题描述 Dataphin配置连接Impala数据源连接测试失败报错：“[Cloudera][ImpalaJDBCDriver](500164)Error initialized or created transport for authentication:[Cloudera][ImpalaJDBCDriver](500169)Unable to connect to server:GSS ...
常见问题
jdbc:impala:/impala-hive.ymt.io:21050/ymtcube;FETCH_ROWS_TIMEOUT_MS=0 Impala无法找到Hive新增的表，该怎么办？在Impala之外操作元数据后，您可以在Impala控制台通过使用命令INVALIDATE METADATA，以刷新全库或者某个表的元数据。...
管理LDAP认证
impala-shell impala-shell-i节点名称>-l-u<用户名>-auth_creds_ok_in_clear JDBC beeline-u 'jdbc:hive2:/节点名称>:28000/default;transportMode=http;user=<用户名>;password=<密码>' 说明节点名称>：您可以在EMR控制台Impala服务的 ...
使用Prometheus监控E-MapReduce
impala_impala_thrift_server_CatalogService_connection_setup_time_99_9th 99%的Catalog Service客户端等待建立连接所花费的时间，单位：ms。impala_impala_server_query_durations_ms_99_9th 99%的查询耗时时间，单位：ms。impala_...
使用Prometheus监控E-MapReduce
impala_impala_thrift_server_CatalogService_connection_setup_time_99_9th 99%的Catalog Service客户端等待建立连接所花费的时间，单位：ms。impala_impala_server_query_durations_ms_99_9th 99%的查询耗时时间，单位：ms。impala_...
查询并下载数据
在使用Hadoop计算源时，支持开启Impala任务，开启后除支持创建HIVE_SQL即席查询任务外，还支持创建IMPALA_SQL即席查询任务。因Impala基于内存计算，IMPALA_SQL即席查询相对于HIVE_SQL即席查询具备更好的查询响应。同时Dataphin支持IMPALA_...
创建Hadoop计算源
若您需开启Impala任务进行快速查询和分析数据，请您提前在Hadoop集群上部署Impala（Impala v2.5及以上版本）。在E-MapReduce5.x计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置...
Data Warehouse的创建
Impala虚拟数仓依赖该用户进行角色扮演以读取数据，新增用户请参见 在FreeIPA中添加用户。Data Warehouse启动步骤 Step 1：登录DataService集群的Management Console，点击Data Warehouse。Step 2：激活默认环境，Delegation Username必须...
数据湖生态接入
HDFS服务中的数据 Impala Impala以EMR集群的方式查询OSS-HDFS服务中的数据 MaxCompute 基于OSS+MaxCompute构建数据仓库 PAI 使用OSS中的数据作为机器学习的训练样本 Presto Presto以EMR集群的方式查询OSS-HDFS服务中的数据 SLS 通过SLS完成...
通过CDH5 Hadoop读取和写入OSS数据
{IMPALA_HOME}/lib/httpcore-4.4.4.jar:${IMPALA_HOME}/lib/hadoop-aliyun.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-core-3.4.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ecs-4.2.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ram-3.0.0.jar...
数据源中心
HIVE/IMPALA数据源 参数 是否必选参数 说明 数据源 是 数据源类型。数据源名称 是 输入数据源的名称。描述 否 输入数据源的描述。IP主机名 是 输入连接HIVE/IMPALA的IP地址。端口 是 HIVE/IMPALA 数据源类型对应的端口为10000。用户名 是 ...
Zeppelin概述
impala 表示执行Impala SQL代码，您无需配置，Zeppelin会自动连接到EMR集群的Impala服务。impala drop table if exists test_1;create table test_1(id int,name string);insert into test_1 values(1,'test1');insert into test_1 values...
新建用户自定义函数
系统支持新建的函数类型，根据Dataphin系统的计算引擎不同而不同：计算引擎类型 支持函数 离线引擎 MaxCompute MAXC函数 Hologres 不支持自定义函数 Hadoop Hadoop函数（Hive函数）、Impala函数 TDH Inceptor 不支持自定义函数 ADB for ...
- 产品推荐
- 这些文档可能帮助您