Hive以EMR集群的方式处理OSS-HDFS服务中的数据
方式二：在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径，然后重启Hive Metastore，后续创建的数据库和数据库下的表均默认存储于OSS-HDFS服务...
Dataphin集成任务同步数据到Hive报错“GSS initiate ...
问题描述 Dataphin集成任务同步数据到Hive报错“GSS initiate failed”。问题原因 Hive数据源kerberos认证没有成功。解决方案 检查Hive数据源的连通性以及集群认证的相关票证是否正常。适用于 Dataphin
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
Quick BI新建hive数据源后将简单SQL放到数据集中运行...
问题描述 Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException:INTERNAL:java.sql.SQLException:org.apache.spark.sql.catalyst.parser.ParseException，错误情况如下：问题原因 将spark数据源当作hive...
Quick BI连接Hive数据源，用户名密码没有修改，过一段...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
Catalog概述
目前支持创建以下数据源的External Catalog：Hive数据源：用于查询Hive数据。Iceberg数据源：用于查询Iceberg数据。Hudi数据源：用于查询Hudi数据。使用External Catalog查询数据时，StarRocks会用到外部数据源的两个组件：元数据服务：...
Dataphin中从SAP HANA向Hive同步数据后数据精度丢失
问题描述 Dataphin中从SAP HANA...问题原因 从Hive中表结构可以看出，字段定义的是decimal(10,0)格式，因此同步到Hive数据只有整数。解决方案 修改Hive中对应字段格式，需要具有小数位数。适用于 适用产品：Dataphin 适用版本：独立部署3.9.1
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
配置hosts
Presto on ACK提供了自定义hosts功能，当Presto on ACK集群读取EMR on ECS集群的Hive数据时，该功能可以提供正确的域名解析配置。本文为您介绍如何配置hosts。背景信息 如果没有正确配置hosts，则可能遇到以下报错提示。java....
Quick BI连接hive数据源报错："Required field&39;...
问题描述 Quick BI连接hive数据源报错："Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=group3_dm}。问题原因 hive版本属于cdh hive，quick bi支持的是apache ...
访问Hive数据
本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。开通步骤 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID或者目标实例所在行 操作...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
Hive数据迁移
本文为您介绍通过Hive UDTF迁移Hive数据的方法。准备事项 ⽹络环境要求。Hive集群各节点能够访问MaxCompute。MMA所在服务器能够访问Hive MetaStore Server、Hive Server。创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。说明 各存储类型的定价，请参见 OSS产品定价。各存储类型的计费方式，请参见 存储费用。标准存储（Standard）提供高可靠、高...
OceanBase 数据库支持版本
数据库对象（MySQL 模式）本文档为您介绍 OceanBase 数据库 MySQL 模式下所支持的数据库对象类型、存储方式和数据库对象。与 MySQL 兼容性对比 本文档主要介绍 OceanBase 数据库的 MySQL 模式与原生 MySQL 数据库的兼容性对比信息。PL 参考...
CDH Hive数据抽样采集器
本文为您介绍如何新建CDH Hive数据抽样采集器。前提条件 已购买并创建DataWorks的独享调度资源组。详情请参见：新增和使用独享调度资源组。在工作空间绑定CDH引擎后，您才可以进行CDH数据抽样采集操作，详情请参见 绑定CDH计算引擎。已经...
与Hive、MySQL、Oracle数据类型映射表
MaxCompute数据类型 Hive数据类型 Oracle数据类型 MySQL数据类型 BOOLEAN BOOLEAN 无 说明 Oracle自23C开始有此数据类型。无 说明 使用过程用 TINYINT(1)替代。TINYINT TINYINT NUMBER(3,0)TINYINT SMALLINT SMALLINT NUMBER(5,0)SMALLINT ...
自建Hive数据仓库迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL...架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created','language':'zh-CN',};
Hudi数据源
其他示例请参见 Hive数据源。CREATE CATALOG hudi PROPERTIES('type'='hms','hive.metastore.uris'='thrift:/172.21.0.1:7004','hadoop.username'='hive','dfs.nameservices'='your-nameservice','dfs.ha.namenodes.your-nameservice'='nn1...
备份恢复概览
备份原理 OceanBase 数据库采用了读写分离架构，其内部数据按存储方式被细分为两大类：一类是基于 SSTable 格式的基线数据，另一类则是基于 MemTable 格式的增量数据。基线数据代表了已整合并持久化到硬盘的全部数据总和，它被智能地分割为...
什么是对象存储OSS
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
阿里云DLF数据源
本文介绍 云数据库 SelectDB 版 与阿里云DLF数据源进行对接使用的流程，帮助您对阿里云DLF数据源进行联邦分析。概述 阿里云Data Lake Formation...列类型映射 连接DLF后SelectDB进行的列类型映射和Hive Catalog一致，详情请参见 Hive数据源。
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
Sqoop概述
背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
阿里云MaxCompute数据源
本文介绍 云数据库 SelectDB 版 与阿里云MaxCompute数据源进行对接使用的流程，帮助您对阿里云MaxCompute数据源进行联邦分析。...列类型映射 连接MaxCompute后，SelectDB进行的列类型映射和Hive Catalog一致，详情请参见参阅 Hive数据源。
平台安全诊断
平台安全诊断目前支持的安全域说明如下：数据计算与存储安全性诊断 用于对数据权限的控制、数据存储加密、数据存储备份等功能进行安全性诊断，及时识别潜在的安全隐患，提升在数据存储与访问过程中的安全性。数据传输安全性诊断 用于对数据...
Hadoop生态外表联邦分析
查看文件 hdfs dfs-ls/data/pxf_examples/pxfwritable_hdfs_textsimple1#查看数据 hdfs dfs-cat/data/pxf_examples/pxfwritable_hdfs_textsimple1/*Frankfurt,Mar,777,3956.98 Cleveland,Oct,3812,96645.37 访问Hive数据 数据格式 PROFILE ...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 ...
概述
表（Table）数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性，且可以划分为多个Tablet。分片（Tablet）一个表可以被分到若干个分片中，称为Tablet。一个Tablet是指表上一段连续的Segment。一个特定的Tablet会被复制到多个...
GetMetaDBInfo
Type String hive 数据库类型 Comment String 备注 备注 CreateTime Long 1541576644000 创建引擎的时间。ProjectId Long 22 工作空间ID。ProjectName String test 工作空间的名称。AppGuid String odps.engine_name 引擎ID，格式为引擎...
ListMetaDB
Type String HIVE 数据库的类型。CreateTimeStamp Long 1388776825 创建数据库的时间。该结果显示为时间戳，您可以根据使用的时区将时间戳转换为相应日期。UUID String 32342 数据库的唯一标识。ModifiedTimeStamp Long 1388776837 更新...
- 产品推荐
- 这些文档可能帮助您