配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
配置Hive开启Ranger权限控制
进入 emr-hive 后，您能看到所有配置的权限列表，Ranger会默认添加一些权限Policy，例如默认Policy配置hive用户作为HiveServer服务的启动用户拥有所有Database、Table、Column、UDF和URL等资源的访问权限、所有用户都有Database的Create...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
Hive SQL作业配置
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题描述 Dataphin离线管道中Hive输出组件配置后报错“获取元数据失败MySQLNonTransientConnectionException Too many connections"是什么原因？Hive数据源测试连接时也连接失败，提示报错信息“Too many connections”。问题原因 Hive...
Dataphin同步数据到HIVE报错“请确认您的配置项fs....
问题描述 用户在使用同步任务，想HIVE集群同步数据时，会出现报错“请确认您的配置项fs.defaultFS,path的值是否正确,是否有读写权限,网络是否已断开！java.io.FileNotFoundException”。问题原因 1.用户在配置数据源时，没有配置core-site....
Quick BI连接Hive数据源，用户名密码没有修改，过一段...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
数据目录
Presto配置修改参考上述Hive配置修改并重启服务，需注意修改文件为hive.properties（Presto仅限于EMR 5.8.0/3.42.0及以上版本支持该功能）Impala配置不需要单独对Impala做此修改，它使用Hive的配置，仅修改Hive配置即可。
配置Ververica Flink实时模式资源
Ververica Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的集群、引擎版本以及并行度、Task Manager和Job Manager的CPU与Momory。本文为您介绍如何配置Ververica Flink流批一体任务实时模式的资源配置。操作步骤 请...
配置Ververica Flink实时模式资源
Ververica Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的集群、引擎版本以及并行度、Task Manager和Job Manager的CPU与Momory。本文为您介绍如何配置Ververica Flink流批一体任务实时模式的资源配置。操作步骤 请...
管理Hive Catalog
配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
配置Vertica输出组件
本文为您介绍如何配置Vertica输出组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Vertica输出配置 对话框。在 Vertica输出配置 对话框，...
配置Vertica输出组件
本文为您介绍如何配置Vertica输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Vertica输出配置 对话框。在 Vertica输出配置 对话框，配置参数。...
配置Vertica输入组件
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
配置Vertica输入组件
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
EMR Gateway升级EMRHOOK组件
修改HIVE配置 重要${hive-jar}根据spark版本不一样选择不一样，hive2填写hive-hook-hive23.jar，hive3填写hive-hook-hive31.jar；hive-site.xml(/etc/taihao-apps/hive-conf/hive-site.xml)配置项：hive.aux.jars.path 配置值末尾添加...
Hive数据按行过滤
Hive组件配置Ranger，详情请参见文档 配置Hive集成Ranger。在Ranger页面，单击 emr-hive。配置Row Level Filter Policy。单击上方的 Row Level Filter 页签。单击右上角的 Add New Policy。在 Create Policy 页面，配置相关参数。参数 描述...
访问Hive数据源
登录EMR on ECS控制台，在 集群服务 页面的Hive配置中查看 hivemetastore-site.xml 中的 javax.jdo.option.ConnectionDriverName 对应的配置值。spark.hadoop.javax.jdo.option.ConnectionUserName 是 自建RDS或内置MySQL数据库账号名称。...
Hive数据脱敏
Hive组件配置Ranger，详情请参见 配置Hive集成Ranger。在Ranger页面，单击 emr-hive。配置Masking Policy。单击上方的 Masking 页签。单击右上角的 Add New Policy。在 Create Policy 页面，配置相关参数。参数 描述 示例 Policy Name ...
创建Hive数据源
Hive配置 说明 若您的数据源配置选择 生产+开发数据源，则需配置 生产+开发数据源 的连接信息。如果您的 数据源配置 为生产数据源，仅需配置 生产数据源 的连接信息。元数据获取方式：支持 元数据库、HMS、DLF 三种源数据获取方式。获取...
Hive访问云HBase数据
步骤一：新增Hive配置 进入配置页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域和资源组。在 集群管理 页面，单击目标集群右侧 操作 列的 集群服务。单击Hive服务区域的 配置。单击 hbase-site.xml 页签。添加以下配置...
新建Paimon数据源
Hive配置 JDBC URL 填写Hive的JDBC URL地址。连接格式 jdbc:hive2:/host:port/dbname。用户名、密码 非Kerberos方式访问集群，需填写Hive的鉴权用户名和密码。说明 为保证任务正常执行，请确保填写的用具备所需的数据权限。Hive Keytab ...
从统一元数据库迁出到用户自建的RDS实例
在Hive配置页面，把元数据库的链接地址、用户名和密码换成新RDS的信息。如果是老版本集群，修改$HIVE_CONF_DIR/hive-site.xml 中对应的配置为需要连接的数据库。在一台Master节点上，将 hive-site.xml 中的元数据库链接地址、用户名和密码...
集成组件库开发说明
Oracle 配置Oracle输出组件 FTP 配置FTP输出组件 HDFS 配置HDFS输出组件 Hive 配置Hive输出组件 MongoDB 配置MongoDB输出组件 AnalyticDB for MySQL2.0 配置AnalyticDB for MySQL 2.0输出组件 AnalyticDB for MySQL 3.0 配置AnalyticDB for...
数据湖元数据配置
支持以下配置：Spark配置 Hive配置 Spark配置 文件系统采用阿里云对象存储服务OSS。集群版本不同默认的Catalog名称不同，需要配置的参数也不同，各版本对应配置如下：EMR-3.40及后续版本和EMR-5.6.0及后续版本 说明 默认的Catalog名称为...
配置Presto开启Ranger权限控制
配置方法 配置Hive开启Ranger权限控制，具体操作请参见 配置Hive开启Ranger权限控制。在EMR控制台中，进入目标集群的Presto服务 配置 页签，在 hive.properties 中新增以下配置项，并确保新增的配置项生效。新增和生效配置项的具体操作请...
Hive数据迁移
如果Hive配置了kerberos访问认证，需要将以下文件拷贝到MMA所在的服务器。hive.keytab⽂件。gss-jass.conf⽂件。说明 gss-jass.conf中含有keytab⽂件的路径，要确保其与MMA所在服务器上的hive.keytab⽂件路径⼀致。krb5.conf⽂件。说明 krb...
Hive连接器
使用限制 配置Hive连接器需要配置Hive Metastore Service。Hive连接器支持多种分布式存储系统，包括HDFS、阿里云OSS或OSS的兼容系统，都可以使用Hive连接器查询。Coordinator节点和所有worker节点必须能够通过网络访问Hive Metastore以及...
HiveServer2负载均衡
修改集群的Hive配置。在EMR控制台的Hive服务的配置页签，搜索参数 hive.server2.authentication.kerberos.principal，修改参数值为 hive/121.41.*.*@EMR.*.COM ，即修改为上步骤中创建的Principal。然后保存并选中自动更新配置。重启集群...
元数据导出
emr-header-1:9000/uesr/hive/target:oss:/hive/warehouse/hiveConfPath 可选 集群环境中hive配置文件地址，默认/etc/ecm/hive-conf/hive-site.xml keberosInfo 可选 如果任务运行在Kerberos集群，则需要runOptions下添加此配置：...
配置Impala开启Ranger权限控制
本文介绍了Impala如何开启Ranger权限控制，以及Ranger Impala...Ranger Impala与Ranger Hive使用相同的Ranger Service（emr-hive）进行权限管理，相关权限配置的方式是一样的，有关权限配置的详细介绍请参见文档 配置Hive开启Ranger权限控制。
配置Active Directory身份认证
本文介绍如何基于阿里云Elasticsearch配置活动目录AD（Active Directory）身份认证，以实现AD域下相应角色的用户访问阿里云Elasticsearch。前提条件 您已完成以下操作：创建阿里云Elasticsearch实例。具体操作，请参见 创建阿里云...
第三方认证文件管理
DataWorks的数据同步功能支持第三方身份认证机制，您需要提前在DataWorks的...支持Kerberos认证的数据源 Kerberos支持的数据源类型及配置指引如下所示：数据源类型 配置指引 HBase 配置HBase数据源 HDFS 配置HDFS数据源 Hive 配置Hive数据源
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
yarn-session.sh-detached 上传Hive配置文件到DataFlow集群的新建路径下。您可以执行以下命令，复制DataLake集群中的 hive-site.xml 文件到DataFlow集群。scp root@节点内网的IP地址>:/etc/taihao-apps/hive-conf/hive-site.xml/root/test/...
使用Hadoop作为元仓计算引擎进行元仓初始化
Hive配置 参数 描述 JDBC URL 填写链接Hive的JDBC URL。认证方式 当集群认证选择无认证时，Hive的认证方式支持选择 无认证 和 LDAP。当集群认证选择Kerberos时，Hive的认证方式支持选择 无认证、LDAP 和 Kerberos。说明 认证方式仅支持E-...
在EMR集群运行TPC-DS Benchmark
具体命令如下：cd~/hive-testbench-hdp3#生成一个Hive配置文件，并指定Hive执行引擎为Tez。echo 'set hive.execution.engine=tez;'>sample-queries-tpcds/testbench.settings./runSuite.pl tpcds$SF 使用Spark运行TPC-DS SQL TPC-DS工具...
- 产品推荐
- 这些文档可能帮助您