在EMR集群运行TPC-DS Benchmark
重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。hive-e"drop database tpcds_bin_partitioned_orc_$SF cascade"配置Hive服务地址。tpcds-setup...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
重要 如果Hive数据库tpcds_bin_partitioned_orc_$SF已经存在，需要执行下面的命令清理数据库，否则后续流程会报错。如果不存在，则跳过该步骤。hive-e"drop database tpcds_bin_partitioned_orc_$SF cascade"配置Hive服务地址。tpcds-setup...
数据源Hive
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
使用Hive查询JindoFS上的数据
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
数据清理
清理范围 选择清理数据库中部分表（部分归档）或者清理数据库中所有表（整库归档）。自定义变量 可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行清理。执行方式 选择 立即执行/定时执行/周期执行 设置任务执行方式。任务...
Hive
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
迁移服务（MMA）
数据库黑名单 不需要迁移的Hive数据库，多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
Hive数据迁移
表黑名单,格式为db.table 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单，格式为db.table 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename，多个表之间以英⽂逗号分隔。单击...
Quick BI上传文件入口按钮是灰色的
产品名称 Quick BI 产品模块 数据源 概述...更多信息 目前数据库类型只有mysql、Oracle、maxcompute、SQLserver四种类型数据库，支持本地文件上传，其他数据库会直接没有上传本地文件的入口，如下所示（hive数据库）相关文档 创建文件数据源：...
自建Hive数据仓库迁移到阿里云E-MapReduce
可靠性 使用阿里云数据库RDS保存Hive的元数据信息，可以提升数据可靠性和服务可用性，免除客户运维自建MySQL数据库的工作。架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created'...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
DLF统一元数据
切换为MySQL（包括集群内置MySQL、统一meta数据库和自建RDS）：设置 hive.imetastoreclient.factory.class 的值为 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。切换为DLF统一元数据：设置 hive....
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
快速使用EMR Notebook
数据库 待访问的Hive数据库名称。访问方式 支持以下访问方式：LDAP：EMR集群中设置的用户名和密码，详情请参见 管理用户。免密登录：仅需设置用户名。网络检测 单击 测试连通性，可以测试网络连通性。单击 添加数据库。步骤三：新建...
如何清理孤立文档
如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行，也可以自行修改脚本通过遍历的方式执行。function cleanupOrphanedOnShard(shardName,fullCollectionName){ var nextKey={ };var result;while...
Dataphin即席查询报错："Can not read value at 0 in ...
问题描述 Dataphin集成任务同步成功，在即席查询中查询目标表报错："java.io.IOException:parquet.io.ParquetDecodingException:Can not read value at 0 in...解决方案 hive数据库作为输出组件时，表中所有字段必须全部映射。适用于 Dataphin
同数据库归档
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
Hive连接器
该元数据存储在数据库（例如，MySQL）中，并通过Hive Metastore Service（HMS）访问。一种称为HiveQL的查询语言。该查询语言在分布式计算框架（例如，MapReduce或Tez）上执行。前提条件 已创建EMR-3.45.0及后续版本和EMR-5.11.0及后续版本...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
云数据库MongoDB版（分片集群架构）同步至云数据库...
如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行，也可以自行修改脚本通过遍历的方式执行。function cleanupOrphanedOnShard(shardName,fullCollectionName){ var nextKey={ };var result;while...
数据归档至RDS MySQL
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
数据归档至PolarDB MySQL版
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
CREATE SCHEMA
不同数据源的语法示例 创建hive数据库 CREATE DATABASE oss_log_schema with DBPROPERTIES(catalog='hive',location='oss:/analyticdb-bucket/log/');创建MySQL数据库 CREATE SCHEMA mysql_db WITH DBPROPERTIES(CATALOG='mysql',LOCATION=...
使用DMS进行数据归档
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
云数据库MongoDB版（分片集群架构）同步至云数据库...
如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行，也可以自行修改脚本通过遍历的方式执行。function cleanupOrphanedOnShard(shardName,fullCollectionName){ var nextKey={ };var result;while...
数据归档至AnalyticDB MySQL 3.0
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
数据归档至AnalyticDB PostgreSQL版
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
数据归档至用户OSS
清理备份临时表：通过新建普通数据变更工单，清理数据库中的备份临时表。新建普通数据变更工单，请参见 普通数据变更。说明 在数据归档工单详情页的最下方，单击 查看临时表drop SQL，复制清理备份临时表的SQL语句。如果您没有开启后置行为...
ListMetaDB
调用ListMetaDB查询数据库列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListMetaDB ...
Hive连接器
该元数据存储在数据库（例如，MySQL）中，并通过Hive Metastore Service（HMS）访问。一种称为HiveQL的查询语言。该查询语言在分布式计算框架（例如，MapReduce或Tez）上执行。本文为您介绍Hive连接器相关的内容和操作，具体如下：修改Hive...
数据归档至Lindorm
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。若您...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
pg_dump
if-exists 使用条件命令（例如，添加 IF EXISTS 子句）清理数据库对象。使用时需要同时指定-clean，否则此选项无效。inserts 将数据备份为 INSERT 命令。重要 使用此选项后，如果在恢复数据时对数据进行重新排序可能会执行失败。建议使用-...
数据归档至Lindorm
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。若您...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
- 产品推荐
- 这些文档可能帮助您