独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察...sh schematool-initSchema-dbType mysql 待初始化成功 说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常，待初始化之后会恢复正常。
EMR Hive数据整库离线同步至MaxCompute
说明 此处会展示Hive数据源开发环境地的表列表和表结构，如果您的Hive数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。读取Hive方法 基于HDFS文件读取数据：Hive ...
EMR Hive数据整库离线同步至MaxCompute
说明 此处会展示Hive数据源开发环境地的表列表和表结构，如果您的Hive数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。读取Hive方法 基于HDFS文件读取数据：Hive ...
使用Presto访问
说明 本文中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据，在文件引擎上使用Presto时需要额外配置一些依赖包，详细操作步骤请参见 配置Presto。准备工作 搭建和使用Presto读写文件引擎，需要先完成以下准备工作。开通文件...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
产品名称 Dataphin 产品模块 数据集成...解决方案 该问题是由于选择的hive目标表创建时没有指定分隔符，需要在管道的输出配置中指定分割符为\u0001。hive中textfile格式建表不指定分隔符，默认都是\u0001，读写都要指定。更多信息 无 相关文档
为Spark集群设置元数据
添加Key为 spark.hadoop.hive.metastore.uris，Value为 thrift:/<自建Hive的IP地址>:9083 的配置项。该参数表示Hive Metastore使用Thrift协议连接的URI。参数值请根据您实际情况修改。单击 确定。在弹出的对话框中，输入执行原因，单击 ...
Hive数据导入
部署模式 如果您使用的是E-MapReduce的Hive服务，请选择阿里云实例。实例 选择数据源指向的E-MapReduce实例。Hive Metastore Uri 访问Hive MetaStore的连接地址。格式为 thrift:/节点的IP地址>:<端口号>，端口号默认为9083。Master节点的IP...
DLF-Auth
步骤一：开启Hive权限控制 步骤二：添加RAM用户 步骤三：验证权限（可选）步骤四：开启Hive LDAP认证 如果开启了DLF-Auth权限，建议您开启Hive LDAP认证，以便于连接Hive的用户都可以通过LDAP认证后执行相关脚本。步骤一：开启Hive权限控制...
在文件存储 HDFS 版上使用Presto
说明 在本文中Presto是通过连接Hive的元数据服务来读取 文件存储 HDFS 版 上的数据，在 文件存储 HDFS 版 上使用Presto时需要额外配置一些依赖包。具体操作，请参见 步骤二：配置Presto。步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在...
Hive
Zeppelin的Hive解释器是使用JDBC连接HiveServer2。本文为您介绍如何在Zeppelin中使用Hive。背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。您无需配置，所有配置都是自动完成。Zeppelin的Hive解释器提供...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta mysql库的最大连接数上限调大一些，一般建议设置为1000（通常默认值是200）。...
创建Hadoop计算源
hive-site.xml 上传Hadoop集群下Hive的hive-site.xml配置文件。其他配置文件 上传keytab文件，您可以在HDFS集群中的NameNode节点使用ipa-getkeytab命令获取keytab文件。任务执行机器 配置MapReduce或Spark Jar的执行机器的连接地址。格式为...
通过JDBC方式连接Trino
创建了包含Trino服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Trino提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，在...
HiveServer2负载均衡
在EMR控制台的Hive服务的状态页签，在HiveServer操作列的 重启。输入执行原因，单击 确定。在 确认 对话框中，单击 确定。使用以下命令访问HiveServer2。beeline-u 'jdbc:hive2:/121.41.*.*/default;principal=hive/121.41.*.*@EMR.*.COM' ...
访问Hive数据
云原生多模数据库 Lindorm 计算引擎提供完善的Hive数仓能力，支持用户通过Hive或Spark SQL定义数仓生产处理逻辑并开发相关作业。本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。...
调整YARN队列
重启Hive的HiveServer2组件。在左侧导航栏中，选择 集群服务>Hive。在 组件列表 区域，单击 HiveServer2 所在行的 重启。在 执行集群操作 对话框，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。重启Spark的ThriftServer组件。...
新建HIVE_SQL任务
代码编写完成后，单击 预编译，系统帮助您检查编写的HIVE_SQL代码的语法。单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
这和MR、Spark或Hive的数据源并无差异，但相对于这些数据源，Elasticsearch具有更快的数据选择过滤能力。这种能力正是分析引擎最为关键的能力之一。如果您需要了解ES-Hadoop与Hive更高级的配置，请参见 Elasticsearch官方说明文档。操作...
Hive支持的DQL语句
本文为您介绍Dataphin计算引擎为Hadoop时，系统支持的Hive DQL命令及语法。TABLESAMPLE 数据采样。采样分桶表 TABLESAMPLE(BUCKET x OUT OF y[ON colname])块抽样 TABLESAMPLE(n PERCENT)更多信息请参见 TABLESAMPLE。QUALIFY 说明 仅支持...
异构数据源访问
其中，异构数据源访问支持通过 AnalyticDB PostgreSQL版 数据库以统一的SQL接口查询和分析存储在外部系统中的数据。提供以下功能：多种数据存储访问：支持多种数据存储系统，允许 AnalyticDB PostgreSQL版 数据库直接访问存储在HDFS、Hive...
环境准备
export HADOOP_HOME=data/hadoop/hadoop-2.6.0 export PATH=$PATH:$HADOOP_HOME/bin 下载及安装Hive环境 下载类型为bin.tar.gz的Hive安装包，具体下载路径请参见 Hive安装包。按照如下示例解压安装包。mkdir-p/home/admin/hive-2.1.0 tar-...
文件存储 HDFS 版和数据库MySQL双向数据迁移
实践四：将Hive的数据迁移到MySQL 将Hive的数据迁移到MySQL上，需要先在MySQL上创建好对应Hive数据结构的表，然后在集群Sqoop节点上使用 sqoop export 命令进行迁移。此处以迁移Hive上default.employee中的数据为例，该表中已写入如下数据...
元数据管理常见问题
java.net.UnknownHostException: *”问题分析：由于在之前的集群上创建了Hive的数据库，并且数据库的位置是落在之前集群的HDFS之上，但是在集群释放的时候，没有清理掉对应的Hive Database，导致新建集群之后，无法访问到之前已经释放集群...
在EMR集群运行TPC-DS Benchmark
tpcds-setup.sh 脚本默认配置的Hive服务地址与EMR集群环境不一致，所以需要将脚本中HiveSever的地址替换为EMR集群中的Hive服务地址。具体命令如下：sed-i 's/localhost:2181\/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...
Hive访问Delta Lake和Hudi数据
本文通过示例为您介绍如何使用EMR上的Hive访问Delta Lake和Hudi数据。前提条件 已创建包含Hive、Delta Lake和Hudi服务的集群，详情请参见 创建集群。已登录集群，详情请参见 登录集群。使用限制 EMR-3.36.0及后续版本和EMR-5.2.0及后续版本...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。...说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常，待初始化之后会恢复正常。
E-MapReduce数据迁移方案
版本对齐，E-MapReduce的Hive版本一般是当前社区最新的稳定版，自建集群Hive版本可能会更老，所以导入的旧版本数据可能不能直接使用。需要执行 Hive的升级脚本（期间会有表、字段已存在的问题可以忽略），请参见 Hive升级脚本。例如Hive从1...
使用E-Mapreduce访问
进入ERM hiveMeta所在的ECS终端，用 cd$HIVE_CONF_DIR 进入hive的配置目录，在 hivemetastore-site.xml 中，获取数据库相关信息。在配置项 javax.jdo.option.ConnectionURL 中，获取MySQL服务的主机名和元数据存储的数据库。在配置项 javax...
MySQL整库周期性增全量同步至Hive
执行状态：MySQL到Hive的离线整库同步任务细分后的同步步骤详情。如果您的任务同步类型为全量同步，此处展示结构迁移以及全量同步。如果您的任务同步类型为增量同步，此处展示结构迁移以及增量同步。如果您的任务同步类型为全量同步、增量...
使用EasyRec读取Hive表
EasyRec支持HiveInput和HiveParquetInput两种关于Hive的输入类型。生成镜像文件。修改 ml_on_ds 目录下的 config 文件，设置 DATABASE、TRAIN_TABLE_NAME、EVAL_TABLE_NAME、PREDICT_TABLE_NAME、PREDICT_OUTPUT_TABLE_NAME 和 PARTITION_...
Spark UDF
class_name 完整的class_name需要携带package信息，它的开发规范可以参考Spark和Hive的 FUNCTION 开发规范。resource_location_list 这个方法使用到的JAR包或者文件放置的位置,需要显式指定依赖的是JAR还是FILE：USING JAR 'oss:/test/...
创建Impala数据源
HMS获取方式 参数 说明 hive-site.xml 上传Hive的hive-site.xml配置文件。DLF获取方式 说明 仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。参数 说明 Endpoint 可选，填写集群在DLF数据中心所在地域的Endpoint，...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
tpcds-setup.sh 脚本默认配置的Hive服务地址与EMR集群环境不一致，所以需要将脚本中HiveSever的地址替换为EMR集群中的Hive服务地址。具体命令如下：sed-i 's/localhost:2181\/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
使用独立的Trino集群
Hive的部分表在创建时，会默认指定路径，因此在查询保存在数据集群上的数据时，为了查询时能够读取到这些表，Trino集群的每一台主机都需要配置host。方式一（推荐）：您可以在EMR控制台，通过添加集群脚本或引导操作，来实现配置host，详情...
HIVECLI
使用资源中心中的Hive SQL文件 该示例演示了如何使用资源中心中的Hive SQL文件来执行任务。在本例中，先在 资源中心 中定义了 sql 类型的文件（例如，hive.sql），然后在 SQL来源 下拉列表中选择 选择资源中心文件，在 资源 下拉列表中选择...
开启native查询加速
因为EMR Hive 2.3.7（EMR-3.35.0）已经内置JindoTable Parquet加速的插件，所以您可以直接设置 hive.jindotable.native.enabled 来启用查询加速，或者可以在控制台配置页面的 hive-site.xml 页签，添加自定义参数 hive.jindotable.native....
在EMR Hive或Spark中访问OSS-HDFS
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详细信息请参见 OSS-HDFS服务概述。...
Hadoop生态外表联邦分析
支持复杂类型,可以访问由数组、映射、结构和联合数据类型组成的Hive表。示例 Hive创建table。hive>CREATE TABLE sales_info_ORC(location string,month string,number_of_orders int,total_sales double)STORED AS ORC;hive>INSERT INTO ...
- 产品推荐
- 这些文档可能帮助您