JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 待更新的函数详情 FunctionName string 否 函数名称 func2 返回参数 ...
数据库类型:根据集群中使用的元数据库类型,选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本:数据库类型为 MySQL,需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL:填写对应元数据库的链接...
前提条件 已有一个EMR集群,且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务,以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上,如果location的路径为...
各同步模式需配置不同参数:hms:Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms,则hive需开启metastore server。jdbc:Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
连接异常 连接异常即应用程序或者客户端与数据库的连接出现异常,例如已经创建的连接,提示连接不存在或连接超时,无法与数据库实例建立连接等。连接异常经常发生在网络闪断,或者数据库服务重启时,您需要在应用程序中就此类异常,添加重...
数据库类型 根据集群中使用的元数据库类型,选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为:jdbc:hive2:/hsot:port/dbname。认证方式 支持3种认证方式,无认证、LDAP、Kerberos。Kerberos认证方式还...
各同步模式需配置不同参数:hms:Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms,则hive需开启metastore server。jdbc:Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
前提条件 若以TDH Inceptor作为元仓,或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时,需要具备以下条件:已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户,需具备dataphin_meta项目...
CatalogId string 数据库分类命名空间,默认填写主账号 Uid 1344371 ClassName string 包含了函数实现的 Java 类名 com.xxx.xxxxFunction CreateTime integer 创建时间,Unix 时间戳秒数 1608863962 DatabaseName string 元数据库名称 ...
数据湖构建(Data Lake Formation,DLF)产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源,当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表,指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库,兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表,示例如下:select*from TABLES where table_schema='test' ...
元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型,选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...
获取数据湖具体的一个元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句...
数据库类型 选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应元数据库的连接地址,格式为 jdbc:postgresql:/<host>:<port>/<database name>。用户名、密码 填写登录元数据库的用户名和密码。说明 为保证任务正常执行,请...
为了保证更稳定的大规模Hive元数据服务,您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS,详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本;系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
参数 描述 数据库类型 请根据集群中使用的元数据库类型,选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址:MySQL:格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...
均采用 JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInput PartitionInput 否 更新后的分区信息,和 CreatePartition 相同 ...
获取数据湖元数据库列表,分页查询,可以根据数据库名称匹配。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,...
已开通DLF,并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了元数据表。运行查询 登录 数据湖构建控制台,在左侧菜单中选择 数据探索。左侧数据库/表区域,会列举出当前账户下所有元数据库和元数据表。您可以在此区域...
JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否 元数据表对象,注意仅需填写 TableName 即可 TableName string 否 元数据表...
元数据库方式 数据库类型:仅支持MySQL数据库类型,支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL:填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码:填写访问元数据库的用户名和密码。...
第三步:在DLF上抽取元数据 3.1 创建元数据表 DLF中元数据库可以理解为在关系型数据库中的Database,其下一级为Table。a.在 DLF控制台 中,进入元数据库页面,创建元数据库。b.填入数据库名称。并选择刚才存有用户行为分析的 如下图所示,...
名称 类型 描述 示例值 object Table Cascade boolean 是否级联删除 false CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问这个 table 的时间戳 1608707407 ...
CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test SkipArchive boolean 否 默认情况下,更新元数据表会创建一个新的归档版本,但如果 skipArchive 设置 true 则...
TPC-DS是一套决策支持系统测试基准,提供99个SQL查询(SQL99或2003),分析数据量大,测试数据与实际商业数据高度相似,同时具有各种业务模型(分析报告型,...执行完成后,就可以在查询输入框中,对新生成的TPC-DS元数据库进行SQL查询了。
名称 类型 描述 示例值 object Table Cascade boolean 是否允许级联删除 false CreateTime integer 创建时间,Unix 时间戳秒数 1608707407 CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test ...
DataWorks为您提供DLF可视化权限申请、权限审批及权限审计等功能,帮助您实现数据湖全托管的统一权限管理,本文为您详细介绍如何进行DLF数据访问权限管控。前提条件 已将DLF设置为计算引擎元数据服务。例如,EMR已将DLF设置为元数据服务,...
请求语法 DELETE/api/metastore/catalogs/databases/tables/versions 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...
请求语法 DELETE/api/metastore/catalogs/databases/tables/columnstatistics 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...
默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionNamePattern string 否 函数名匹配的正则表达式.*NextPageToken string 否 翻页 token,从返回结果返回,无则传空字符串或'' '' PageSize integer ...
步骤一:创建数据湖的元数据库 登录 数据湖管理控制台,在页面上方选择地域,在 元数据>元数据管理 页面创建元数据库。具体操作请参见 创建元数据库。步骤二:DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台,选择地域...
请求语法 DELETE/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称...
存储概览开通 打开数据湖构建控制台,点击左侧湖管理-存储概览菜单,点击立即启用,开启存储概览功能 重要 开通湖资产,元数据库的OSS地址将写入文件的统计信息到OSS中,将产生少量存储成本。首日开通无统计数据,需要等待第二天数据产出后...
数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test NextPageToken string 否 翻页 token,从返回结果返回,无则传空字符串或'' 2cb472ec1bf84f8d92f9c4baa0d21c19aa PageSize integer 否...
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名,输入目标元数据表前缀后,会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时,采取...
Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否 元数据表名称 test_table_20200715162543389 VersionIds array 否 版本号列表 integer 否 版本号 1 返回参数 名称 类型 描述 示例值 object 返回结果...
根据函数名称,获取数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM...
背景信息 因为数据湖元数据DLF具有高可用和易维护的特点,所以以下场景适合使用数据湖元数据:当您的EMR集群均为生产环境时,您无需维护独立的元数据库。横向使用多种大数据计算引擎时,元数据可以集中管理。例如,MaxCompute、Hologres和 ...
登录 数据湖管理控制台,新建元数据库,详情请参见 创建元数据库。创建元数据抽取任务,导入OSS测试数据,详情请参见 元数据抽取。已创建MaxCompute项目,详情请参见 创建MaxCompute项目。已创建DataWorks工作空间,并绑定MaxCompute数据源...
Dataphin元数据仓库(简称:元仓),是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库,存在于Dataphin元仓租户中(OPS租户)的一个Dataphin项目空间中,由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...