CatalogId string 数据库分类命名空间,默认填写主账号 Uid 1344371 ClassName string 包含了函数实现的 Java 类名 com.xxx.xxxxFunction CreateTime integer 创建时间,Unix 时间戳秒数 1608863962 DatabaseName string 元数据库名称 ...
各同步模式需配置不同参数:hms:Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms,则hive需开启metastore server。jdbc:Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
前提条件 若以TDH Inceptor作为元仓,或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时,需要具备以下条件:已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户,需具备dataphin_meta项目...
数据湖构建(Data Lake Formation,DLF)产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源,当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表,指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型,选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...
获取数据湖具体的一个元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句...
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库,兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表,示例如下:select*from TABLES where table_schema='test' ...
数据库类型 选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应元数据库的连接地址,格式为 jdbc:postgresql:/<host>:<port>/<database name>。用户名、密码 填写登录元数据库的用户名和密码。说明 为保证任务正常执行,请...
为了保证更稳定的大规模Hive元数据服务,您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS,详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本;系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
参数 描述 数据库类型 请根据集群中使用的元数据库类型,选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址:MySQL:格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...
均采用 JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInput PartitionInput 否 更新后的分区信息,和 CreatePartition 相同 ...
获取数据湖元数据库列表,分页查询,可以根据数据库名称匹配。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,...
已开通DLF,并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了元数据表。运行查询 登录 数据湖构建控制台,在左侧菜单中选择 数据探索。左侧数据库/表区域,会列举出当前账户下所有元数据库和元数据表。您可以在此区域...
JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否 元数据表对象,注意仅需填写 TableName 即可 TableName string 否 元数据表...
元数据库方式 数据库类型:仅支持MySQL数据库类型,支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL:填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码:填写访问元数据库的用户名和密码。...
元数据库名称前缀:元数据库是根据来源库名自动建立,但是可以手工指定元数据库的名称前缀。指定的前缀,将会应用到所有库中。数据湖格式:选择 Hudi。分区信息 设置数据入湖存储时的分区,后续入湖同步写入数据时,根据来源端数据的写入...
第三步:在DLF上抽取元数据 3.1 创建元数据表 DLF中元数据库可以理解为在关系型数据库中的Database,其下一级为Table。a.在 DLF控制台 中,进入元数据库页面,创建元数据库。b.填入数据库名称。并选择刚才存有用户行为分析的 如下图所示,...
名称 类型 描述 示例值 object Table Cascade boolean 是否级联删除 false CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问这个 table 的时间戳 1608707407 ...
TPC-DS是一套决策支持系统测试基准,提供99个SQL查询(SQL99或2003),分析数据量大,测试数据与实际商业数据高度相似,同时具有各种业务模型(分析报告型,...执行完成后,就可以在查询输入框中,对新生成的TPC-DS元数据库进行SQL查询了。
均采用 JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否 如果相同名字的表已经存在,是否忽略异常 true TableInputs array 否 ...
CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test SkipArchive boolean 否 默认情况下,更新元数据表会创建一个新的归档版本,但如果 skipArchive 设置 true 则...
名称 类型 描述 示例值 object Table Cascade boolean 是否允许级联删除 false CreateTime integer 创建时间,Unix 时间戳秒数 1608707407 CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test ...
DataWorks为您提供DLF可视化权限申请、权限审批及权限审计等功能,帮助您实现数据湖全托管的统一权限管理,本文为您详细介绍如何进行DLF数据访问权限管控。前提条件 已将DLF设置为计算引擎元数据服务。例如,EMR已将DLF设置为元数据服务,...
请求语法 DELETE/api/metastore/catalogs/databases/tables/versions 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...
默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionNamePattern string 否 函数名匹配的正则表达式.*NextPageToken string 否 翻页 token,从返回结果返回,无则传空字符串或'' '' PageSize integer ...
请求语法 DELETE/api/metastore/catalogs/databases/tables/columnstatistics 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...
步骤一:创建数据湖的元数据库 登录 数据湖管理控制台,在页面上方选择地域,在 元数据>元数据管理 页面创建元数据库。具体操作请参见 创建元数据库。步骤二:DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台,选择地域...
请求语法 DELETE/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称...
数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test NextPageToken string 否 翻页 token,从返回结果返回,无则传空字符串或'' 2cb472ec1bf84f8d92f9c4baa0d21c19aa PageSize integer 否...
存储概览开通 打开数据湖构建控制台,点击左侧湖管理-存储概览菜单,点击立即启用,开启存储概览功能 重要 开通湖资产,元数据库的OSS地址将写入文件的统计信息到OSS中,将产生少量存储成本。首日开通无统计数据,需要等待第二天数据产出后...
Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否 元数据表名称 test_table_20200715162543389 VersionIds array 否 版本号列表 integer 否 版本号 1 返回参数 名称 类型 描述 示例值 object 返回结果...
根据函数名称,获取数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM...
登录 数据湖管理控制台,新建元数据库,详情请参见 创建元数据库。创建元数据抽取任务,导入OSS测试数据,详情请参见 元数据抽取。已创建MaxCompute项目,详情请参见 创建MaxCompute项目。已创建DataWorks工作空间,并绑定MaxCompute数据源...
数据湖作为一个集中化的数据存储仓库,支持的数据类型具有多样性,包括结构化、半结构化以及非结构化的数据,数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
背景信息 因为数据湖元数据DLF具有高可用和易维护的特点,所以以下场景适合使用数据湖元数据:当您的EMR集群均为生产环境时,您无需维护独立的元数据库。横向使用多种大数据计算引擎时,元数据可以集中管理。例如,MaxCompute、Hologres和 ...
Dataphin元数据仓库(简称:元仓),是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库,存在于Dataphin元仓租户中(OPS租户)的一个Dataphin项目空间中,由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
批量获取数据湖元数据库的用户自定义函数列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...
Hive数据源配置参数中,集成配置 是为了支持数据集成,实时研发配置 是为了支持实时研发的场景,而 元数据库配置 是基础的配置,用来获取元数据。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据...
本示例中创建的元数据库名称为flink_dlf_hive,选择路径为 oss:/<yourBucketName>/flink_dlf_hive/db。在DataLake集群中,查看已经创建的元数据库。通过SSH方式登录DataLake集群,详情请参见 登录集群。执行以下命令,切换为hadoop用户并...
本文通过一个Helloworld示例为您介绍如何接入MSHA应用双活架构并进行功能...测试步骤 主备切换前,杭州单元内的应用:执行数据库读操作(即查询商品详情),应该访问到杭州单元数据库。执行数据库写操作(即下单),应该访问到杭州单元数据...