常见退信内容分析
因为拒掉的原因很多，所以要从对方返还的信息来判断原因。我方服务器IP地址被对方拒掉。因为拒掉的原因很多，所以要从对方返还的信息来判断原因。请将退信在线提交我们检查核实。确定原因后，我们将联系对方解除屏蔽。Connection timed out...
元数据管理常见问题
java.net.UnknownHostException: *”问题分析：由于在之前的集群上创建了Hive的数据库，并且数据库的位置是落在之前集群的HDFS之上，但是在集群释放的时候，没有清理掉对应的Hive Database，导致新建集群之后，无法访问到之前已经释放集群...
如何结束 AHAS Agent 进程？
这一功能保证了进程可用性，避免进程因异常挂掉或机器重启等原因，需要手动拉起的情况。所以，您在服务器进程中结束 AHAS Agent 无法永久结束该进程，AHAS 会在定时检查后或机器重启时，自动拉起该进程。如果您某段时间不需要使用 AHAS ...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta mysql库的最大连接数上限调大一些，一般建议设置为1000（通常默认值是200）。...
Hologres外部表
odps.sql.common.table.planner.ext.hive.bridge：通过双签名模式创建Hologres外部表必填；通过STS模式创建Hologres外部表不填。双签名开关，值设置为 true，表示打开双签名开关，通过双签名模式创建Hologres外部表。if not exists：可选。...
公告
本文为您提供关于MaxCompute使用功能的各项更新记录。DataWorks独享资源组PyODPS节点升级公告 尊敬的MaxCompute用户：DataWorks将于北京时间 2024年03月11日（周一）至 2024年04月25日（周四）期间，逐步升级各个地域的独享资源组，以增强...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
SmartData常见问题
JindoFS Block模式的元数据的更新支持异步备份至阿里云Tablestore数据库上，在确保生产集群停止更新，所有修改同步至Tablestore后，可以停掉JindoFS集群，此时，所有数据在OSS和Tablestore上。重建集群时，恢复OSS和Tablestore上数据至重建...
Dataphin中创建Python脚本查询MaxCompute数据库数据，...
问题原因 关闭Hive兼容模式的参数未生效，Hive兼容模式下，instr函数只支持两个参数。解决方案 建议将关闭HIVE兼容模式的参数写在SQL语句中，实例代码如下。from odps import ODPS from odps import options o=ODPS(access_id='XXX',secret...
Hive数据源
示例 以下示例创建了一个名为 hive_catalog 的Hive Catalog。CREATE EXTERNAL CATALOG hive_catalog PROPERTIES("type"="hive","hudi.catalog.uris"="thrift:/xx.xx.xx.xx:9083");查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表...
集群存储根路径没有权限，导致集群服务启动失败的问题
本文介绍集群运行时，由于配置的集群存储根路径（对应Hadoop-Common服务中 fs.DefaultFS 配置项）缺乏访问权限，导致集群的部分服务启动失败的原因和解决方案。问题详情 在E-MapReduce控制台，集群的Hadoop-Common服务 状态 页面的 健康...
Hive数据源
示例 以下示例创建了一个名为 hive_catalog 的Hive Catalog。CREATE EXTERNAL CATALOG hive_catalog PROPERTIES("type"="hive","hudi.catalog.uris"="thrift:/xx.xx.xx.xx:9083");查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表...
配置Hive输入组件
使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输入组件。更多...
生成keytab配置文件
在Kerberos客户端，执行如下命令，将具有Hive访问权限的Hive用户添加到密钥分发中心（KDC），并查看是否添加成功。将具有Hive访问权限的Hive用户添加到KDC中。add_principal-pw<password>hive-查看是否添加成功。list_principals 在...
Hive连接器
参数 描述 hive.recursive-directories 允许从表或分区所在位置的子目录读取数据，类似Hive的 hive.mapred.supports.subdirectories 属性。hive.metastore.uri Hive Metastore使用Thrift协议连接的URI。默认值格式 thrift:/<主节点名称>....
配置Presto开启Ranger权限控制
hive.ranger.policy.hive-servicename emr-hive 上一步开启的Hive Service的名称，EMR集群中默认为emr-hive。hive.ranger.service.basic-auth-username admin Ranger UI的用户名。hive.ranger.service.basic-auth-password Admin1234 ...
配置Hive输出组件
使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输出组件。更多信息，...
查询Delta表数据
控制台添加参数时，在Hive服务的 配置 页面的 hive-site.xml 中，如果使用的是Hive on MR，则添加参数名为 hive.input.format，参数值为 io.delta.hive.HiveInputFormat 的配置项。如果使用的是Hive on Tez，则添加参数名为 hive.tez.input...
Hive调研工具准备
该文档描述了云迁移中心CMH的Hive调研工具使用的准备工作，通过这篇文档，您将了解到工具安装和使用的限制条件。名词解释 工具服务器 表示用户安装Hive调研工具（简称hive-scanner）的机器。用户授权 Hive扫描工具（简称hive-scanner）需要...
创建Hive数据源
在E-MapReduce5.x Hadoop计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置说明，请参见 使用基于OSS创建的Hive外部表进行离线集成。使用Hive数据源作为集成的输入输出组件时，请...
Hive作业异常排查及处理
此时EMR旧集群上的Hive表数据保存在HDFS上，可以先尝试将 HDFS数据转移到OSS上，并且创建新表。hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/...
Hive 资源发现
该文档描述了云迁移中心CMH的Hive调研服务的使用过程，通过这篇文档，将带您使用我们的工具hive-scanner，并且一步步完成hive的迁移对象发现。环境检查 在您执行 hive-scanner 之前，您需要提前完成前期的 hive调研工具准备。确保当前您...
Hive数据迁移
创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的UDTF的jar包，如 mma-udtf.jar。执行以下命令上传 mma-udtf.jar 至HDFS。hdfs dfs-put-f mma-udtf.jar hdfs:/tmp/使⽤Beeline或Hive命令登录Hive、创建Hive UDTF。DROP ...
Hive作业配置
例如，如果需要使用刚刚上传到OSS的Hive脚本，则填写的内容如下。f ossref:/path/to/uservisits_aggre_hdfs.hive 说明 path 为 uservisits_aggre_hdfs.hive 在OSS上的路径。您也可以单击下方的+插入OSS路径，从OSS中进行浏览和选择，系统会...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
Hive采集字段
该文档描述了云迁移中心CMH的Hive采集工具采集您的Hive的所有核心信息。简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、...
Dataphin集成任务写出到Hive的覆盖策略
概述 本文主要描述了Dataphin集成任务写出到Hive的覆盖策略。详细信息 Hive做为输出组件，Hive是以文件的形式存储在HDFS上的，覆盖策略是按照表名前缀，先做清表操作然后再覆盖数据。适用于 Dataphin v3.5.2
Hive访问EMR HBase数据
本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群（Custom），详情请参见 创建集群。已登录集群，详情请参见 登录集群。Hive通过内表访问HBase 如果HBase中没有...
Hive访问EMR HBase数据
本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群（Custom），详情请参见 创建集群。已登录集群，详情请参见 登录集群。Hive通过内表访问HBase 如果HBase中没有...
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
常见问题
为什么我的Worker节点挂掉了？如何查看Trino日志？为什么查询不到数据或查询失败？为什么查询Hudi或Delta表时列的顺序错了？为什么新增一个配置后，重启Trino失败？为什么使用Hive连接器查询Iceberg、Hudi或Delta Lake表时会报错Cannot ...
Hive访问EMR Phoenix数据
本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群（Custom），详情请参见 创建集群。说明 因为当前EMR-4.x和EMR-5.x系列版本未支持Phoenix服务，...
Catalog概述
本文为您介绍什么是...在其他目录下，对 hive_catalog 中的 hive_table 和 default_catalog 中的 olap_table 进行联邦查询。SELECT*FROM hive_catalog.hive_db.hive_table h JOIN default_catalog.olap_db.olap_table o WHERE h.id=o.id;
- 产品推荐
- 这些文档可能帮助您