本章节主要介绍数据目录(Catalog)的基本能力。什么是数据目录(Catalog)数据目录(Catalog)是数据湖构建(Data Lake Formation)的元数据最上层实体,它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景,比如多个E-MapReduce...
您可以通过新建数据目录,对数据进行分类管理。本文介绍如何新建数据目录。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产加工。在左侧导航栏,单击 图标,...
操作概览 添加备份网关 确认源实例的Oracle版本号 创建Oracle SID 创建数据恢复目录 获取数据库程序目录 添加备份网关 数据库备份DBS 支持通过数据库网关DG(Database Gateway)将已备份的数据库恢复至本地或第三方云的私网。您需要在目标...
操作步骤 开启权限 打开 数据构建控制台 依次打开菜单:数据权限-权限设置 在数据目录(Catalog)的右侧,如数据目录处于关闭状态,点击“开启”操作,将会提示确认开启弹出框,确认后,完成权限开启。关闭权限 打开 数据构建控制台 依次...
如果因为磁盘空间或者磁盘性能等问题,希望更改ZooKeeper的数据目录,您可以按照以下步骤逐个节点修改并迁移数据目录,实现不停止ZooKeeper服务的平滑迁移。说明 例如,将数据目录从/mnt/disk1/zookeeper/data 更改为/mnt/disk2/zookeeper/...
EMR集群的环境隔离 分别设置2个EMR集群中各个引擎的catalog信息,保证EMR开发环境的集群引擎使用上述创建的开发环境的数据目录(dev catalog),生产环境集群引擎使用的是生产环境的数据目录(prod catalog)。以Hive引擎为例,用于开发...
添加数据目录。在目录栏选中目录,单击 图标,在目录输入框中输入目录名称,按回车键。页面提示新增成功,在目录栏可查看添加的目录。说明 系统预置以下三个互相隔离的目录:系统目录:将资源放到该目录下,具体租户管理员权限的用户可以...
选择所属数据目录。输入元数据库名称。(选填)输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后,选择 创建元数据表。配置元数据表参数。输入数据表的名称。选择所属数据目录。选择数据目录下的数据库。(选填)...
StarRocks 2.3及以上版本提供以下两种数据目录:Internal Catalog:内部数据目录,用于存储StarRocks内部所有的数据库和数据表。您可以使用内部数据目录管理内部数据。例如,执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据...
执行以下命令创建部数据目录:CREATE EXTERNAL CATALOG catalog_name properties(' connector.name '='mysql' ' connection-url '='jdbc:mysql:/mapping_ip:mapping_port/database_name' ' connection-user '='$user' ' connection-...
数据类型:在 数据目录 页签左侧 数据类型 区域,选中需要查看敏感数据识别结果的数据类型。仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型,不支持跨分类同时选择多个数据类型。如果您未...
创建数据湖数据目录。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/metastore/catalogs 请求...
本文介绍的恢复方案中,是将数据恢复到一个新建的数据库数据目录中,对自建数据库中原数据无影响。技术实现 本文介绍的物理备份恢复方式主要是通过如下流程实现的:在RDS MySQL的管理控制台中,对数据库进行全量物理备份。将物理备份文件...
选择授权资源 授权方式:目前仅支持资源授权,资源授权指对数据目录、数据库、数据表、数据列、函数这类资源进行数据权限配置。资源类型:可选数据目录、数据库、数据表、数据列、函数。选择资源实体,可以进行模糊搜索,找到您想授权的库/...
本文为您介绍什么是Catalog(数据目录),以及如何使用Catalog查询内外部数据。基本概念 内部数据:保存在StarRocks中的数据。外部数据:保存在外部数据源(例如,Apache Hive、Apache Iceberg和Apache Hudi)中的数据。Catalog StarRocks ...
本文为您介绍什么是Catalog(数据目录),以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据:保存在StarRocks中的数据。外部数据:保存在外部数据源(例如Apache Hive、Apache Iceberg和Apache Hudi)中的数据。Catalog ...
DLF数据权限:主要控制DLF内部资源的访问和使用权限,包括数据库,数据表,数据列,函数,数据目录等。以及数据权限的操作权限。DLF权限校验的示例图:第一层:RAM OpenAPI 权限 主要控制DLF所有OpenAPI的访问权限,决定RAM用户是否可以...
已创建数据目录,具体操作,请参见 编制目录。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 运营。在顶部菜单栏,单击 资产管理。在左侧导航栏,选择 系统资产管理>数据表管理。在资产对象管理页面,选择表资产“dws...
在左侧导航栏,单击 图标,将鼠标悬停在 添加数据 或数据目录上,单击 图标。在 数据管理 页面,单击目标数据 操作 列的 入库。在 入库 面板,配置入库任务名称、入库目标表和入库选项。配置完成后,单击 确定。跳转到 入库任务 页面,等待...
专题广场入口 在Dataphin首页,单击顶部菜单栏的 资产,默认进入数据 目录 页面。在数据 目录 页面,单击 专题广场 进入资产专题广场页面。专题广场页面介绍 区域 描述 ① 专题搜索区 您可根据专题的名称或描述关键字进行模糊搜索。② 快捷...
专题广场入口 在Dataphin首页,单击顶部菜单栏的 资产,默认进入数据 目录 页面。在数据 目录 页面,单击 专题广场 进入资产专题广场页面。专题广场页面介绍 区域 描述 ① 专题搜索区 您可根据专题的名称或描述关键字进行模糊搜索。② 快捷...
已创建数据目录,具体操作,请参见 编制目录。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 运营。在顶部菜单栏单击 资产管理,在左侧导航栏选择 系统资产管理>API管理。在资产对象管理页面,选择API资产“银行客户...
将my.cnf(数据库配置文件)中的 datadir 参数修改为当前已恢复的数据目录。执行启动数据库命令,例如在Linux操作系统中,可以通过如下命令启动。service mysqld start 恢复逻辑备份的下载数据 下载后的备份数据说明 包含数据库的建表语句...
资产全景及目录基于Dataphin平台,为数据资产提供系统化管理,使资产好找、好用、好管理。整体概述 Dataphin的数据资产功能,基于数据资产管理的规范及方法论,...资产入口 在Dataphin首页,单击顶部菜单栏的 资产,默认进入数据 目录 页面。
概述 云数据库SelectDB 提供多源数据目录功能(Multi-Catalog或Catalog),支持对接数据湖、数据库等外部数据源,进行简单快速地数据分析。Multi-Catalog功能在原有元数据层级之上新增一层Catalog,构成 Catalog->Database->Table 的三层...
在左侧导航栏,单击 图标,将鼠标悬停在 添加数据 或数据目录上,单击 图标。在 数据管理 页面,单击 添加数据。在 添加数据 面板的 选择数据类型与格式 配置向导页,选择地图瓦片数据类型,单击 下一步。在 添加数据 配置向导页,选择 ...
删除数据目录。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/api/metastore/catalogs 请求参数...
带有一行“不能初始化数据库目录”的错误大部分与在数据目录上权限不足、磁盘满或其他文件系统问题有关。使用 DROP DATABASE 移除一个数据库。程序 createdb 是这个命令的一个包装器程序,为了使用方便而提供。数据库层面的配置参数(参见 ...
系统化构建数据目录:基于规范化建模、高效自动化的元数据抽取,以标准的技术框架系统地构建规范的业务化数据目录,形成数据资产地图,方便业务查找及应用。高效的数据检索:基于元数据及业务数据构建数据图谱,实现快速、智能检索数据表及...
公共数据 在区域②,公共数据 目录需要通过单击 图标进行添加。公共数据为您展示数据分析默认提供且不需要申请权限的表,您可使用该表快速体验SQL查询产品功能。个性化设置 支持您单击左下角的 图标进入设置页面,进行一些个性化设置:主题...
Default Catalog StarRocks 2.3及以上版本提供了Internal Catalog(内部数据目录),用于管理StarRocks的内部数据。每个StarRocks集群都有且只有一个 Internal Catalog,名为 default_catalog。StarRocks暂不支持修改Internal Catalog的...
主要包括:所属数据目录:选择所属数据目录(Catalog)。目标元数据库:目标表所在的元数据库。目标元数据表名称:定义目标表名称。存储格式:选择数据在数据湖中的存储格式,目前支持Delta,Iceberg,Hudi,Parquet,ORC。数据湖存储位置...
my_project(项目空间目录)|_|_wc_in(表数据目录)|_data(文件)|_(文件)|_wc_out(表数据目录)|_data(文件)|_(文件)|_|_table_resource_name(表资源)|_|_file_resource_name(文件资源)my_project 的同级目录表示项目空间。wc_in 及 wc_...
在 DLF数据目录 下拉列表中,选择您新建的数据目录。自建RDS:选择您自有的或阿里云RDS实例作为元数据存储。选择该方式时,需要配置RDS相关的参数,详情请参见 配置自建RDS。内置MySQL(不推荐):该方式的元数据存储在集群本地环境的MySQL...
湖仓一体 SelectDB提供多源数据目录功能(Multi-Catalog或Catalog),支持对接数据湖(如Hive、Iceberg、Hudi)、数据库(如MySQL、ES)等大量外部数据源,进行简单快速的数据分析。通过使用Catalog,您可以快速访问和分析存储在外部数据源...
系统化构建数据目录:基于规范化建模、高效自动化的元数据抽取,以标准的技术框架系统地构建规范的业务化数据目录,形成数据资产地图,方便业务查找及应用。高效的数据检索:基于元数据及业务数据构建数据图谱,实现快速、智能检索数据表及...
此时,可以通过ECS实例层面的操作,将分区副本数据挪到当前Broker的其他磁盘并修改相应Kafka数据目录元数据的方式来解决故障盘空间不足的问题。适用场景 故障磁盘所在Broker使用容量不均衡、存在空间使用率较低的磁盘。注意事项 该方法只能...
页面入口 在Dataphin首页,单击顶部菜单栏的 资产,默认进入数据 目录 页面。资产目录页面介绍 区域 描述 ① 资产搜索区 您可根据资产对象的名称或描述关键字进行搜索,详情请参见 搜索数据。② 对象列表及专题广场 对象列表:可查看不同...
页面入口 在Dataphin首页,单击顶部菜单栏的 资产,默认进入数据 目录 页面。资产目录页面介绍 区域 描述 ① 资产搜索区 您可根据资产对象的名称或描述关键字进行搜索,详情请参见 搜索数据。② 对象列表及专题广场 对象列表:可查看不同...
此外,您还可以选择数据湖构建DLF作为数据目录服务,DLF可以提供统一的元数据服务,并支持湖上数据的管理,通过DLF可以简化和加速湖上数据的治理过程。在数据湖场景下,通过采集程序,将用户的埋点日志近实时写入到OSS-HDFS,并使用Sqoop...