新建Paimon数据源
通过新建Paimon数据源能够实现Dataphin读取Paimon的业务数据或向Paimon写入数据。本文为您介绍如何新建Paimon数据源。权限说明 仅支持具备新建数据源权限的账号进行新建。更多信息，请参见 数据源权限说明。使用限制 Paimon数据源不支持以...
安装云盾证书后谷歌浏览器无法访问的IIS服务
问题描述 购买云盾证书并且在Windows系统部署IIS服务后，谷歌浏览器无法访问IIS服务，但是其他浏览器可以正常访问。解决方案 请参考以下两种方法。使用IIS加密套件优化工具 下载 ITrusIIS.rar 压缩包，解压后运行软件，选择 最佳配置，单击...
元数据管理
说明 default库为DLF默认创建数据库，该数据库无法删除。生产环境建议使用其他数据库。在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-...
EMR元数据迁移DLF最佳实践
本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
详细信息 物理表每天的增量没法直接看到，只能从元数据上每天计算差值。查看表的存储量需要在元数据仓库中查看表dim_dataphin_table，获取相关信息。此表在Dataphin的元数据仓库（Dataphin中的项目绑定MaxCompute的项目），不在Dataphin的...
EMR元数据迁移到数据湖构建（DLF）
元数据迁移 准备工作 在元数据迁移之前，需要先检查元数据库远程访问权限、MySQL或RDS网络连接。登录RDS或MySQL元数据库，执行以下语句进行远程访问授权（以root账号，hivemeta库为例）。GRANT ALL PRIVILEGES ON hivemeta.*TO 'root'@'%' ...
权限设置
开启权限后影响如下：DLF的元数据管理，数据探索功能将会受到权限控制，如用户未被授予权限，则无法访问对应元数据和数据。E-MapReduce中如同时开启引擎（如Hive/Spark/Presto/Impala）的权限控制，则通过这些引擎访问数据时，如用户未设置...
修改一台实例的元数据信息
设置该取值后，普通模式无法访问实例元数据。默认值：optional。说明 有关访问实例元数据的模式，请参见 实例元数据访问模式。optional HttpPutResponseHopLimit integer 否 说明 该参数正在邀测中，暂未开放使用。1 InstanceMetadataTags ...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin...访问元仓共享模型 若您需要访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。具体操作，请参见 元数据仓库共享模型标准访问方式。
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
集群高可用
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
IIS Web网站访问故障
您可以通过删除IIS中绑定空主机头的方式来禁止通过IP地址直接访问IIS网站，操作步骤如下：远程连接Windows实例。具体操作，请参见 连接方式概述。打开IIS管理器。在桌面左下角，选择>服务器管理器。在 服务器管理器 页面右上角，选择 工具>...
0037-00000002
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据...
Dataphin中SQL脚本任务在元数据库存放位置
概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin
使用数据探索查询Iceberg表
本文为您介绍如何使用DLF数据探索查询Iceberg表。目前DLF数据探索可以直接支持Delta、Hudi、CSV、Parquet、JSON、ORC等格式的表；受限于Spark和Iceberg的底层设计，在DLF数据探索中查询Iceberg表需要指定特定的Catalog。准备工作 已开通DLF...
LockObj
名称 类型 描述 示例值 object LockObj CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称，非必填 dt TableName string 元数据表名称 ...
产品简介
产品功能架构 元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过 新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...
Quick BI中元数据库中记录报表使用分析的数据
概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中，每天凌晨4:30更新数据。适用于 Quick BI
OSS数据湖加速
基于阿里云数据湖构建（Data Lake Formation，DLF）和对象存储（Object Storage Service，OSS）推出的Hologres数据湖加速服务，提供了灵活的数据访问和分析能力以及高效的数据处理能力，显著加快了对OSS数据湖的查询和分析过程。...
MySQL整库实时同步至OSS数据湖
比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test_table”等等，此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
Hive元数据基本操作
在 表管理 页面的中间区域，单击已创建的元数据库。单击右上角的 新建表。在 新建表 对话框中，配置各项参数。配置项 操作 表名 表名称。字段分隔符 从 字段分隔符 中选择分隔符或者自定义。外部表 默认不选中。需要创建外部表时，执行以下...
项目级别Information Schema
不同视图存在不同的时效性或系统默认的保留周期，超过保留周期的数据将无法访问。您可以手工从Information_Schema周期性导出数据到本地表中，备份更长周期的历史数据。费用说明如下。对于使用按量计费计算资源的项目，针对Information ...
通过ECS实例RAM角色授权ECS访问其他云资源
当ECS实例或部署在ECS实例上的应用需要访问其他云资源时，必须先通过访问凭证来验证身份信息和访问权限。实例RAM角色允许您将一个角色关联到ECS实例，使ECS实例及其上的应用基于STS临时凭证访问其他云资源，无需透露长期AccessKey，既可...
元数据导出
前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...
UpdateTablePartitionColumnStatisticsRequest
类型 描述 示例值 object UpdateTableColumnStatistics CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ColumnStatisticsList array 字段统计信息列表 ColumnStatistics 字段统计 DatabaseName string 元数据库名称 ...
查询授权
本文档主要为您说明如何进行查询已有的数据授权信息。...资源类型：包括元数据表、元数据库、元数据列三种类型。资源名称：指定具体的资源名称，如数据库的库名。数据权限：授权的权限名称，关于权限描述可参考 权限配置。
在IIS服务器安装SSL证书
成功配置SSL证书后，您将能够通过HTTPS加密通道安全访问IIS服务器，确保数据传输的安全性。重要 本文以Windows Server 2012 R2操作系统、IIS 8为例介绍，不同版本的Windows操作系统或IIS服务器，导入证书或为网站绑定证书的操作有所差异，...
GetTableVersion-获取元数据表指定版本
请求语法 GET/api/metastore/catalogs/databases/tables/versions 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...
租户级别Information Schema
不同视图存在不同的时效性或系统默认的保留周期，超过保留周期的数据将无法访问。您可以从Information_Schema周期性导出数据到本地表中，备份更长周期的历史数据。说明 导出数据时，建议显性地选择视图的字段名称，尽量避免使用 insert ...
MSHA应用双活架构接入Helloworld
本文通过一个Helloworld示例为您介绍如何接入MSHA应用双活架构并进行功能...测试步骤 主备切换前，杭州单元内的应用：执行数据库读操作（即查询商品详情），应该访问到杭州单元数据库。执行数据库写操作（即下单），应该访问到杭州单元数据...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
Function
CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ClassName string 包含了函数实现的 Java 类名 com.xxx.xxxxFunction CreateTime integer 创建时间，Unix 时间戳秒数 1608863962 DatabaseName string 元数据库名称 ...
数据探索简介
数据探索是一种线上的交互式查询服务，开通即用。它是完全托管的，并且具备了高性能、弹性、易用等特点，无需申请任何资源即可直接使用。用户可以对入湖后的数据使用Spark SQL快速的进行数据探索，以便对湖内数据进行审核，质量检查，分类...
- 产品推荐
- 这些文档可能帮助您