迁移服务（MMA）
表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename，多个表之间以英⽂逗号分隔。数据搬迁任务最大并发量 数据迁移并发数...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
Hive作业异常排查及处理
Hive表路径会继承数据库路径，同样也会使用当前集群的HDFS路径（例如 hdfs:/master-1-1.xxx:9000/user/hive/warehouse/test.db/test_tbl）。当启用一个新EMR集群，同时使用Hive读写旧集群创建的Hive表或者数据库时，新集群可能无法连接旧...
ACL权限体系
以下列出AnalyticDB for MySQL 2.0的权限对象和各对象权限：Database（库），即 db_name.*或*（默认数据库），指定数据库或数据库上所有表/表组。TableGroup（表组），即 db_name.table_group_name 或 table_group_name，特定表组。Table...
DLF统一元数据
切换为MySQL（包括集群内置MySQL、统一meta数据库和自建RDS）：设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据：设置 hive....
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
FineBI
检查外接MySQL数据库是否使用utf8（– UTF-8 Unicode）编码为字符集排列规则，或新建一个utf8编码的数据库 create database finedb character set utf8。配置外接数据库为AnalyticDB，连接失败 处理方法：外界数据库需要配置本地MySQL，而...
将AI模型推理结果写回数据库
本文描述了如何通过PolarDB for AI在数据库中生成含有AI模型推理列的数据表PolarDB for AI Augmented Table（下文简称AAT）。经过人工智能增强的数据表可广泛应用于Data+AI的多个场景，以协助用户进行数据洞察，并根据实际情况调整其决策。...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
使用SQL管理外部项目
创建与外部数据源中表结构相同的表 如果需要创建与外部数据源中表结构相同的表，可以使用 create table.like 命令复制外部数据源中表的结构，命令示例如下。说明 create table.like 命令详细说明请参见 表操作。创建表 create table from_...
PyMySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 PyMySQL 库和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、查询数据和删除表等。点击下载 python-pymysql 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase ...
快速入门
Ganos FDW提供了对于多种空间数据类型的统一访问，会自动将几何空间数据类型映射为Geometry字段类型，从而允许与数据库内部表进行统一地访问与查询。操作步骤 创建时空引擎FDW插件。您可以通过以下两种方式创建扩展。直接创建Ganos_FDW扩展...
快速入门
Ganos FDW提供了对于多种空间数据类型的统一访问，会自动将几何空间数据类型映射为Geometry字段类型，从而允许与数据库内部表进行统一地访问与查询。操作步骤 创建时空引擎FDW插件。您可以通过以下两种方式创建扩展。直接创建Ganos_FDW扩展...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
基础用户权限
云数据库 SelectDB 版 的权限管理系统借鉴了MySQL的权限管理机制，实现了表级别细粒度的权限控制，并支持基于角色的权限访问控制和白名单机制。本文介绍 云数据库 SelectDB 版 包含的权限管理系统的背景和具备的权限管理能力，及一些使用时...
Hive连接方式
jdbc</artifactId><version>2.3.9</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.8.5</version></dependency>编写代码，连接HiveServer2并操作Hive表数据。...
Tomcat 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Tomcat 连接池、OceanBase Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 tomcat-mysql-client 示例工程 前提条件 您已安装 OceanBase...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
产品名称 Dataphin 产品模块 数据集成 概述 通过该问题的分析处理过程，提供以下场景问题处理排查思路和注意点：管道任务数据集成到hive之后，hive库查询集成数据为空 问题描述 将本地csv文件数据集成到hive库中，任务运行成功，但是查询...
CDH Hive数据抽样采集器
选择集群后，如果不选择数据库，默认对所有数据库下的表进行数据抽样。阿里云主账号，拥有 AliyunDataWorksFullAccess 权限的子账号可以进行采集。CDH Hive新增、变更、删除表后需要重新进行数据抽样采集。目前仅支持手动采集。新建采集器 ...
容量中心
当选择所有租户时，不再显示数据库和数据表筛选，改为展示集群下不同租户的存储、分区副本、CPU、内存的图表信息。右侧展示了不同租户磁盘使用量 Top10 的数据。展开后可以查看对应租户的数据和索引的磁盘占用量。单击 详情 或者租户名称，...
Hive数据源
Hive Catalog是一种External Catalog。通过Hive Catalog，您可以直接查询Hive中的数据。...查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hive更多介绍，请参见 Hive概述。
数据治理
当前仅支持面向E-MapReduce中的几类Hive表提供数据预览功能，若无法进行Hive表数据预览，请联系集群管理员确认集群类型及存储类型是否满足以下要求。说明 其中 表示支持预览，表示不支持预览。EMR集群类型 元数据存储类型 数据存储类型：...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
配置自建RDS
DataLake和Custom集群在创建过程中会自动根据所提供的数据库连接参数初始化Hive Meta数据库，因此无需执行该步骤。步骤一：元数据库准备 创建数据库。具体操作，请参见 创建数据库 中的创建数据库。创建普通用户并授权读写权限。具体操作，...
同步EMR Kafka数据至Hive
本文为您介绍如何使用Flume同步EMR DataFlow集群的数据至EMR DataLake集群的Hive。前提条件 已创建DataLake集群，并且选择了Flume服务，详情请参见 创建集群。已创建DataFlow集群，并且选择了Kafka服务，详情请参见 创建集群。操作步骤 ...
Power BI
本文介绍如何通过Power BI连接 AnalyticDB MySQL版 集群并进行实时...连接成功后，右侧列表中显示数据库中的表，单击表名可以查看表数据。使用Power BI 在Power BI中获取 AnalyticDB MySQL版 表数据后，您就可以通过Power BI制作各类报表。
Hive服务异常排查及处理
解决方案：需要手动初始化Hive Meta数据库。具体步骤，请参见 Metastore初始化。HiveMetaStore问题 常见异常：org.apache.hadoop.hive.ql.metadata.HiveException:MetaException(message:Could not connect to meta store using any of the...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
DataWorks on EMR数据安全方案
开源Ranger方案：您需要在集群拉起Ranger服务，管理HDFS、Yarn、Hive库和Hive表等数据权限。DLF Auth方案：您需要在集群拉起DLF Auth服务，来管理库、表、列、函数等数据权限，详细介绍请参见 DLF-Auth。DLF Auth的相关授权操作可直接通过...
MaxCompute+Hadoop搭建实践
映射目标数据库 Hadoop集群目标数据库。例如：myhive。单击 完成创建并预览。说明 如果创建Hadoop集群时，选择的Hive组件为3.x版本，则会导致数据预览失败。MaxCompute查询外部项目数据。登录 DataWorks控制台，单击左侧导航栏的 数据建模...
Hive连接器
该元数据存储在数据库（例如，MySQL）中，并通过Hive Metastore Service（HMS）访问。一种称为HiveQL的查询语言。该查询语言在分布式计算框架（例如，MapReduce或Tez）上执行。前提条件 已创建EMR-3.45.0及后续版本和EMR-5.11.0及后续版本...
在EMR集群运行TPC-DS Benchmark
hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据库。重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。...
在EMR Hive或Spark中访问OSS-HDFS
执行以下命令，在新建的数据库下创建表。CREATE TABLE IF NOT EXISTS employee(eid int,name String,salary String,destination String)COMMENT 'Employee details';向表中插入数据。使用INSERT INTO语句向表写入数据，该语句会产生...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并...同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。
- 产品推荐
- 这些文档可能帮助您