新建MaxCompute计算源
不支持从MaxCompute元数据获取外部项目表的存储量。资源不支持存储健康分及存储量。计算项目 填写作为计算资源的MaxCompute外部项目名称。计算源名称 填写计算源的名称。命名规则如下：包含中文、数字、字母及下划线（_）或中划线（-）。不...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
资产目录
特殊的，如果您搜索的是数据表且数据表非Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以使用点击 手动同步 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。刷新元数据详情请参见 刷新...
资产目录
特殊的，如果您搜索的是数据表且数据表非Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以使用点击 手动同步 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。刷新元数据详情请参见 刷新...
创建Impala数据源
参数 描述 数据库类型 请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
dlf:ListDatabases 获取数据库列表。dlf:ListFunctionNames 获取函数名称列表。dlf:ListFunctions 获取函数列表。dlf:ListPartitionNames 获取分区名称列表。dlf:ListPartitions 获取分区列表。dlf:ListPartitionsByExpr 按条件获取元数据...
Shibboleth与云SSO进行单点登录的示例
单击 上传文件，上传从 步骤五：在Shibboleth获取SAML IdP元数据 获取的IdP元数据文件。打开SSO登录开关，启用SSO登录。说明 启用SSO登录后，用户名和密码登录将自动禁用，即云SSO用户将不能通过用户名和密码登录。而且，SSO登录是一个全局...
使用Shibboleth进行角色SSO的示例
在 元数据文档 区域，单击 上传文件，上传从 步骤三：在Shibboleth获取SAML IdP元数据 获取的IdP元数据。单击 确定。查看新创建的身份提供商详情，记录其ARN，方便您后续使用。步骤五：在阿里云创建RAM角色 在RAM控制台的左侧导航栏，选择 ...
实例动态数据（实例标识）
在有效期内可重复使用实例标识获取命令获取数据；超过有效期后，凭证失效需重新获取。访问凭证仅适用于一台实例，如果将凭证复制到其他实例使用，将会被拒绝访问。需替换为具体的实例标识文档/签名。实例标识文档：dynamic/...
配置自建RDS
获取数据库内网地址。设置白名单，详情请参见 设置IP白名单。在实例详细页面，单击左侧导航栏中的 数据库连接。在 数据库连接 页面，单击内网地址进行复制。请记录内网地址，步骤二：创建集群 时会用到。步骤二：创建集群 在创建集群的 ...
数据索引
bucket.open_bucket_meta_query()获取元数据索引库信息 以下代码用于获取指定Bucket的元数据索引库信息。coding:utf-8-*-import oss2 from oss2.credentials import EnvironmentVariableCredentialsProvider#从环境变量中获取访问凭证。...
Dataphin集成任务ClickHouse数据源获取元数据失败...
问题描述 Dataphin集成任务ClickHouse数据源获取元数据失败“ClickHouseException ClickHouse exception,code:47,host:cc-uf6q754w66vu462d0.ads.rds.aliyuncs.com,port:8123;Code:47,e.displayText()=DB:Exception:Missing columns:'...
创建Hadoop计算源
元数据获取方式：支持 元数据库、HMS、DLF 三种源数据获取方式。获取方式不同，所需配置信息不同。元数据库获取方式 参数 描述 数据库类型 根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 ...
实例元数据
ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...
云存储网关软件版公测
元数据 元数据存储管理 下表详细列举了ossfs与云存储网关软件版元数据相关的原理对比：对比项 云存储网关软件版 ossfs 元数据缓存 云存储网关软件版采用KV数据库存储数据，它会将元数据全量缓存到缓存盘里，能够处理大规模的文件数目。...
数据索引
} } } 获取元数据索引库信息 以下获取指定Bucket的元数据索引库信息。import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import com.aliyun.oss.common.auth.*;import com.aliyun.oss.OSSClientBuilder;import ...
使用Shibboleth进行用户SSO的示例
修改/opt/shibboleth-idp/conf/ldap.properties 文件的以下数据：#LDAP认证模式 idp.authn.LDAP.authenticator=bindSearchAuthenticator#LDAP的地址 idp.authn.LDAP.ldapURL=ldaps:/[LDAP服务地址]:389#禁用TSL和SSL idp.authn.LDAP....
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
元数据仓库共享模型标准访问方式
元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存储在Dataphin元仓租户下的元仓项目中，产出时效为T+1。若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI实例信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
Hologres物理表和字段详情
刷新元数据：若数据表不是通过Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以点击 刷新元数据 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。② 明细信息 为您展示 表结构、分区信息、...
数据索引
nil { fmt.Println("Error:",err)os.Exit(-1)} fmt.Println("Open data query success")} 获取元数据索引库信息 以下代码用于获取指定Bucket的元数据索引库信息。package main import("fmt""github....
搭建与管理（基于Hadoop）
映射目标数据库 Hadoop集群目标数据库。步骤三：通过DataWorks管理湖仓一体 使用湖仓一体 在DataWorks控制台页面左侧导航栏，单击 数据湖集成（湖仓一体）。在 数据湖集成（湖仓一体）页面，选择目标外部项目，开始使用湖仓一体。使用湖仓...
StarRocks物理表和字段详情
刷新元数据：若数据表不是通过Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以点击 刷新元数据 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。② 明细信息 为您展示 表结构、分区信息、...
逻辑表和字段资产详情
刷新元数据：若数据表不是通过Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以点击 刷新元数据 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。② 明细信息 明细信息：为您展示 表结构、...
MMA概述
MMA任务与子任务 MMA可以以单个数据库、多个表、多个分区为单位提交迁移任务。迁移任务以“分区”和“⾮分区表”为单位进⾏子任务分割，子任务是实际执⾏迁移操作的单位。⼀个子任务迁移⼀个⾮分区表或⼀个/多个分区。MMA迁移作业方案 本文...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
DLF统一元数据
说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告。进入Hive服务页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，单击目标集群所在行的 集群服务。单击Hive服务区域的 配置...
UpdateDatabase-更新元数据库信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称，更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
常用SQL
针对源端为数据库的元数据操作 MSCK REPAIR DATABASE：自动关联源数据库的所有表。CREATE TABLE LIKE MAPPING：自动根据源端的表的结构推断表结构。常见的查询DDL SHOW SCHEMAS：查询用户所有的SCHEMA/DATABASE。SHOW TABLES：查询用户当前...
在Azure中获取SAML配置说明
需获取元数据文件，不同IDP下的获取元数据文件方式的不同，如何获取ADFS元数据文件，请参见 ADFS。在 Azure中 获取SAML的元数据配置文件 单击列表页，选择 Azure Active Directory-企业应用程序，进入企业应用程序页面。新建应用程序。在 ...
元数据采集的数据源有白名单访问控制时需要配置的白...
为保证您能正常使用数据地图的元数据采集和类目管理功能，您需要提前配置好白名单，将使用的DataWorks所在地域的IP网段添加至目标项目或数据库中，并为所使用的账号配置类目管理权限。本文为您介绍如何配置白名单及类目管理权限。背景信息 ...
DeleteDatabase-删除元数据库
操作 访问级别 资源类型 条件关键字 关联操作 dlf:DeleteDatabase WRITE 全部资源*无 无 请求语法 DELETE/api/metastore/catalogs/databases 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主账号...
内核发布记录
本文介绍 云数据库 SelectDB 版 的内核功能动态。3.0 说明 云数据库 SelectDB 版 的内核版本3.0基于Apache Doris 2.0开发。Apache Doris 2.0的版本说明，请参见 Release 2.0.0。版本号 发布时间 说明 3.0.6 2024年02月05日【新增】支持了...
在DMS中自定义屏蔽系统库
背景信息 在实例录入 DMS 后，系统将自动采集实例中数据库的元数据（字典）信息。为保护系统库，同时减少系统库对您的干扰，可自定义屏蔽 DMS 部分系统库（如MySQL的information_schema库）或高敏感业务的数据库。屏蔽后，DMS 将不会采集...
DeleteFunction-删除元数据库的函数
操作 访问级别 资源类型 条件关键字 关联操作 dlf:DeleteFunction WRITE 全部资源*无 无 请求语法 DELETE/api/metastore/catalogs/databases/functions 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认...
CreateFunction-新增元数据库的函数
JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 函数定义详情 返回参数 名称 类型 描述 示例值 object 返回结果 Code...
- 产品推荐
- 这些文档可能帮助您