数据源Hive
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
元数据管理常见问题
mysql-h${DBConnectionURL}-u${ConnectionUserName}-p 登录Hive数据库后，修改Location为该Region真实存在的OSS路径即可。如何登录内置的MySQL？通过SSH方式连接集群。详情请参见 登录集群。执行以下命令，登录内置的MySQL。mysql-uroot-...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
迁移服务（MMA）
数据库黑名单 不需要迁移的Hive数据库，多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...
Hive数据迁移
表黑名单,格式为db.table 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单，格式为db.table 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename，多个表之间以英⽂逗号分隔。单击...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
Quick BI上传文件入口按钮是灰色的
产品名称 Quick BI 产品模块 数据源 概述...更多信息 目前数据库类型只有mysql、Oracle、maxcompute、SQLserver四种类型数据库，支持本地文件上传，其他数据库会直接没有上传本地文件的入口，如下所示（hive数据库）相关文档 创建文件数据源：...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
将ECS上单节点或副本集架构的自建MongoDB迁移上云
本文为旧版DTS控制台操作步骤，新版DTS迁移上云方法如下：单节点架构上云：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）副本集架构上云：云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
将ECS上分片集群架构的自建MongoDB迁移上云
config数据库属于系统内部数据库，如无特殊需求，请勿迁移config数据库。迁移对象选择的粒度为database、collection/function。默认情况下，迁移完成后，迁移对象的名称保持不变。如果您需要迁移对象在目标数据库中的名称不同，那么需要...
Dataphin即席查询报错："Can not read value at 0 in ...
问题描述 Dataphin集成任务同步成功，在即席查询中查询目标表报错："java.io.IOException:parquet.io.ParquetDecodingException:Can not read value at 0 in...解决方案 hive数据库作为输出组件时，表中所有字段必须全部映射。适用于 Dataphin
Hive数据脱敏
test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...
ListMetaDB
Type String HIVE 数据库的类型。CreateTimeStamp Long 1388776825 创建数据库的时间。该结果显示为时间戳，您可以根据使用的时区将时间戳转换为相应日期。UUID String 32342 数据库的唯一标识。ModifiedTimeStamp Long 1388776837 更新...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
项目
外部项目无法被独立创建和使用，需要配合数据湖集成，用以实现访问和管理Hadoop集群Hive数据库中的表数据，或数据湖构建DLF中的表数据。详情参见 MaxCompute湖仓一体。外部项目本身没有执行作业的权限，需要关联到MaxCompute项目，通过...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
GetMetaDBInfo
Type String hive 数据库类型 Comment String 备注 备注 CreateTime Long 1541576644000 创建引擎的时间。ProjectId Long 22 工作空间ID。ProjectName String test 工作空间的名称。AppGuid String odps.engine_name 引擎ID，格式为引擎...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
SELECT语句
creek 8.12[.]2015-09-18T21:36:00Z between 3 and 6 feet santa_monica 5.066 2015-09-18T21:42:00Z between 3 and 6 feet santa_monica 4.938 该查询从 h2o_feet 中选择了所有数据，h2o_feet 是属于数据库 NOAA_water_database 和保留...
Dataphin资产中物理表的描述出现乱码
问题描述 本文主要描述了Dataphin...问题原因 Hive meta数据库编码问题。解决方案 在即席查询执行show create table 查看表名，确认结果的COMMENT是不是乱码，如果是乱码，需要确认下修改下Hive meta的数据库编码。适用于 Dataphin v.2.9.7
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
创建集群
内置MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。说明 测试场景：推荐使用 DLF统一元数据。生产场景：可以使用 DLF统一元数据 或 自建RDS。集群存储根路径 当您在可选服务区域选择了OSS-HDFS服务时，需要配置该...
整库迁移与批量上云
来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB AnalyticDB for MySQL2.0 AnalyticDB for MySQL 3.0 AnalyticDB for PostgreSQL HybridDB for MySQL DRDS（PolarDB-X）DM Hive DB2 ApsaraDB for ...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
使用限制
不支持 Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据...
配置自建RDS
DataLake和Custom集群在创建过程中会自动根据所提供的数据库连接参数初始化Hive Meta数据库，因此无需执行该步骤。步骤一：元数据库准备 创建数据库。具体操作，请参见 创建数据库 中的创建数据库。创建普通用户并授权读写权限。具体操作，...
Hive服务异常排查及处理
解决方案：需要手动初始化Hive Meta数据库。具体步骤，请参见 Metastore初始化。HiveMetaStore问题 常见异常：org.apache.hadoop.hive.ql.metadata.HiveException:MetaException(message:Could not connect to meta store using any of the...
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并...同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。
创建Hudi数据源
同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通，因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...
查看集群日报与分析
Hive库信息 Hive库信息包含以下部分：Hive库详细信息 Hive库文件大小分布Top信息 Hive库冷热数据分布Top信息 Hive库存储格式分布Top信息 Hive库详细信息提供以下数据：存储使用量排名：名称、存储量，日环比和日增量。文件数量排名：名称、...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
- 产品推荐
- 这些文档可能帮助您