配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
迁移数据库账号
使用DTS同步或迁移数据的库表结构。即在 配置任务对象及高级配置 阶段中，同步类型 勾选了 库表结构同步 或者 迁移类型 勾选了 库表结构迁移。注意事项 当前仅MySQL实例间的同步或迁移、MySQL实例同步或迁移到 PolarDB MySQL版 集群、...
DeleteDatabase-删除元数据库
元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade：true：删除 db 下的表，false：不删除 db 下的表，如果 db 还存在表，那么删除失败 返回参数 名称 类型 描述 示例值 ...
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
元数据导出
RunOptions 运行时参数 参数名称 是否必选 参数说明 schema 必选 hive元数据库的名称。说明 MySQL connectionUrl中的库名要与schema保持一致，修改时要同时修改。batchSize 必选 批量调用 DLF SDK 的批次大小，最大不能超过 500，太大可能...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
迁移服务（MMA）
Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单 需要迁移的Hive数据库表。单个表的格式为 ...
E-MapReduce数据迁移方案
Hive元数据同步 概述 Hive元数据，一般存在MySQL里，与一般MySQL同步数据相比，要注意两点：Location变化 Hive版本对齐 E-MapReduce支持Hive Meta DB：统一元数据库，E-MapReduce管控RDS，每个用户一个Schema 用户自建RDS 用户ECS自建MySQL...
集群高可用
元数据库 Cloudera Manager、Hive和Hue等组件都需要使用数据库存储他们的元数据信息，目前元数据库部署在Utility节点和Master-1节点上，采用主备的架构，Utility节点上的元数据库作为Master，Master-1节点上的元数据库作为Slave去复制...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta mysql库的最大连接数上限调大一些，一般建议设置为1000（通常默认值是200）。...
EMR元数据迁移DLF最佳实践
查看运行记录和日志 单击右侧操作“运行记录”，可以查看运行的详情信息 单击查看日志，可以查看运行中的日志信息，如下 确认元数据迁移到DLF 在元数据管理-元数据库/元数据表中，可以查询到期望同步的元数据库表信息。如下 EMR集群 切换...
使用CDH6集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
DLF数据探索快速入门-淘宝用户行为分析
第三步：在DLF上抽取元数据 3.1 创建元数据表 DLF中元数据库可以理解为在关系型数据库中的Database，其下一级为Table。a.在 DLF控制台 中，进入元数据库页面，创建元数据库。b.填入数据库名称。并选择刚才存有用户行为分析的 如下图所示，...
Hive内存参数调整
关于不同元数据的更多信息，请参见 Hive元数据说明。调整Hive内存参数 在集群Hive组件页面，单击 配置，输入配置项名称进行修改。调整HiveMetaStore内存。调整 hive_metastore_heapsize（默认内存500 MiB），例如2048（代表2 GiB内存），可...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
管理Hive Catalog
配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
使用E-Mapreduce访问
Hive的元数据存储在MySQL中，进入存储Hive元数据的MySQL数据库hivemeta中，修改DBS表和SDS表，如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
Hive数据源
本文介绍 云数据库 SelectDB 版 如何通过Hive Catalog集成Hive进行数据查询和分析，以及集成使用其他以Hive Metastore为元数据存储的系统。注意事项 支持Hive1、Hive2、Hive3版本。支持Managed Table和External Table，支持部分Hive View。...
Hive数据导入
功能介绍 AnalyticDB MySQL版 湖仓版（3.0）支持新建Hive数据迁移任务，通过迁移任务将Hive元数据和数据一键迁移到OSS，或多库多表并行迁移到OSS。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0...
参数配置
catalog_trash_expire_second 86400 删表或数据库之后，元数据在回收站中保留的时长，单位为s，默认1天。如果超过该时长，则数据无法恢复。alter_table_timeout_second 86400 Schema change超时时间，单位为s，默认1天。balance_load_disk_...
参数配置
catalog_trash_expire_second 86400 删表或数据库之后，元数据在回收站中保留的时长，单位为s，默认1天。如果超过该时长，则数据无法恢复。alter_table_timeout_second 86400 Schema change超时时间，单位为s，默认1天。balance_load_disk_...
Dataphin中SQL脚本任务在元数据库存放位置
概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
自建Hive数据仓库迁移到阿里云E-MapReduce
可靠性 使用阿里云数据库RDS保存Hive的元数据信息，可以提升数据可靠性和服务可用性，免除客户运维自建MySQL数据库的工作。架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created'...
数据管理DMS中重新加载库表结构的元数据说明
概述 本文主要介绍数据管理DMS中，为什么需要重新加载库表结构的元数据。详细信息 通过数据管理DMS登录某个数据库实例时，DMS会加载该实例当前的数据库、表等元数据的结构信息。例如，数据库的名称列表、表的名称列表、当前表的结构字段、...
共享集群（OSS数据湖加速）
创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema，并且检验是否存在该外部表，若存在，则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER dlf_...
EMR-3.33.x版本说明
支持Hive元数据和作业运行信息输出至DataWorks。Metastore 新增Hive Statistics功能。HCatalog支持Data Lake Formation。优化STSToken的获取方式。HDFS 升级jQuery至3.5.1版本。YARN 升级jQuery至3.5.1版本。调整Fair Scheduler配置。优化...
创建TDH Inceptor计算源
前提条件 若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
新功能发布记录
表详情 结构只读用户角色 新增 在普通用户的基础上额外具有查看实例、库、表的元数据的权限，包含查看表详情、导出整个数据库结构等，若需要查询数据，仍需申请对应的查询权限。系统角色 03月 功能名称 变更类型 功能描述 相关文档 任务...
DLF数据访问权限控制
授权粒度包括字段级权限、表级权限、元数据库级权限。选择字段级权限和表级权限时：您可以在 待添加表 区域，勾选需要申请的目标表，勾选目标表后，右侧会显示目标表的相关信息。单击 表名称 前 图标，显示当前表的所有字段，您可以选择...
数据源Hive
本文为您介绍如何创建数据源Hive。...将Hive数据库中的数据表或自建的自定义SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
访问控制权限概述
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行等进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作权限...
系统角色
结构只读 适用于数据分析师等角色，在DMS中具有查看实例、库、表的元数据的权限，包含查看表详情、导出整个数据库结构等。不需要拥有实例、库、表的查询、变更或导出权限，即可查看所有实例、库、表的元数据。说明 如何设置系统角色，请...
HDFS数据源
支持的字段类型 离线读 由于文件表的元数据信息由Hive维护，并存放在Hive自己维护的元数据库（如MySQL）中。目前HDFS Reader不支持对Hive元数据的数据库进行访问查询，因此您在进行类型转换时，必须指定数据类型。RCFile、ParquetFile、...
使用Hadoop作为元仓计算引擎进行元仓初始化
前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 Dataphin支持通过直连元数据库或Hive Metastore Service服务方式获取元数据。各方式获取元数据优劣势对比详情如下：元数据获取方式 优势...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果 在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。
- 产品推荐
- 这些文档可能帮助您