新建ArgoDB计算源
JDBC URL 填写对应元数据库的连接地址，格式为 jdbc:postgresql:/<host>:<port>/。用户名、密码 填写登录元数据库的用户名和密码。说明 为保证任务正常执行，请确保填写的用户有所需数据权限。单击 测试连接。连接测试通过后，单击 提交。...
创建TDH Inceptor计算源
前提条件 若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
许可证配置
自定义元数据：输入需要额外限制服务的自定义数据。输入的自定义元数据内容长度不超过1024个字符，格式不限。调用校验许可证接口的时，会返回此处设置的内容。说明 自定义元数据设置后，不论校验自定义许可证还是云市场许可都会返回此处...
创建Hadoop计算源
参数 描述 JDBC URL 支持配置以下三种连接地址：Hive Server的连接地址，格式为 jdbc:hive:/{连接地址}:{端口}/{数据库名称}。ZooKeeper的连接地址。例如 jdbc:hive2:/zk01:2181,zk02:2181,zk03:2181/;serviceDiscoveryMode=zooKeeper;...
DataWorks的审计事件
DataWorks已与操作审计服务集成，您...ExportConnections 导出数据源连接。ExportDataSources 导出数据源。ExportDISyncTasks 导出数据集成任务。ExportExcel 导出Excel。GenerateDISyncTaskConfigForCreating 生成数据集成任务配置用于创建。...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI实例信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
Hudi连接器
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
独立RDS元数据库
参数 描述 元数据选择 选择独立RDS MySQL 数据库连接 数据库连接填写格式为jdbc:mysql:/rm-xxxxxx.mysql.rds.aliyuncs.com/<数据库名称>。rm-xxxxxx.mysql.rds.aliyuncs.com为 hive元数据库 所在RDS实例的内网地址。数据库名称>为 hive...
为Spark集群设置元数据
EMR on ACK支持使用数据湖元数据DLF（Data Lake Formation）和自建Hive Metastore元数据两种方式，为Spark集群设置元数据。本文为您介绍如何在EMR on ACK中设置Spark集群的元数据。背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
ALIYUN:RAM:SAMLProvider
SAMLMetadataDocument String 否 是 元数据文档内容。大小为1～102,400字节。必须指定SAMLMetadataDocumentURL或SAMLMetadataDocument，但不能同时指定二者。EncodedSAMLMetadataDocument String 否 是 元数据文档。经过Base64编码。由支持...
落标监控概述
注意，如果指定的元数据字段无法从数据源获取相应值，则无法进行落标评估。例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据...
落标监控概述
注意，如果指定的元数据字段无法从数据源获取相应值，则无法进行落标评估。例如：希望通过数据标准约束字段数据类型，其中“会员注册渠道“标准的“数据类型”属性值为STRING，该标准映射到的字段registration_channel在数据库中存储的数据...
功能简介
支持对已配置连通的数据源进行元数据同步及数据对象查看，帮助用户了解元数据资产内容。数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时...
数据同步
支持对已配置连通的数据源进行元数据同步及数据对象查看，帮助用户了解元数据资产内容。数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时...
功能简介
支持对已配置连通的数据源进行元数据同步及数据对象查看，帮助用户了解元数据资产内容。数据模板管理 针对半结构化、非结构化数据，支持创建数据模板，支持自定义数据字段及字段类型，并提供编辑、删除等功能。支持在离线数据同步、实时...
数据容灾
目标Bucket中的对象是源Bucket中对象的精确副本，它们具有相同的对象名、版本信息、元数据以及内容，例如创建时间、拥有者、用户定义的元数据、Object ACL、对象内容等。支持复制未加密的对象和使用SSE-KMS、SSE-OSS方式进行服务器端加密的...
配置数据保护规则
全密态数据库会将您配置的数据保护规则内容持久化到数据库内的系统表上（简称全密态元数据表，即mysql.encdb_sensitive_rules和mysql.encdb_auth_users），仅有高权限或者被授权用户可以进行写操作。前提条件 RDS MySQL实例的大版本为MySQL...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
HoloWeb简介
元数据管理 元数据管理模块提供对Hologres引擎对象（包括实例、数据库、schema、表、视图等）的管理功能，您可以在元数据管理页面连接Hologres实例，并在实例内进行对象创建，包括可视化建内表、外表、一键数据导入等，也可以对实例对象...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
使用SQL查询时序数据
说明 如果要通过多值模型映射关系读取时间线元数据的属性列（_attributes）或者元数据最近更新时间列（_meta_update_time），您需要将这两列添加到多值模型映射关系中，系统会自动填充这两个元数据列的内容。字段名称 类型 描述_m_name ...
Dataphin离线管道中Hive输出组件配置...获取元数据失败...
问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta mysql库的最大连接数上限调大一些，一般建议设置为1000（通常默认值是200）。...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
项目级别Information Schema
元数据及作业历史数据保存在Information Schema空间下，如果需要对历史数据进行快照备份或获得超过14天的作业历史，您可以定期将Information Schema的数据备份到指定项目。获取Information Schema服务 自2024年03月01日开始，MaxCompute...
元数据采集的数据源有白名单访问控制时需要配置的白...
使用独享调度资源组VPC内网直接连接数据库，使用专有网络白名单分组。使用公共资源组访问VPC网络数据源（例如，实例模式配置的专有网络 RDS MySQL），使用专有网络白名单分组。使用公网连接地址、经典网络地址直接访问数据库，走的是经典...
实例元数据
ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...
管理中心概述
在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。变更管控 创建变更策略 变更策略是根据您已经创建好的...
变更日志
修复元数据侧展示数据不同步。[0.2.0-alpha+2]Added 平台侧修复：添加元数据。元数据侧展示。Fixed 引用到错误类型时的提示。提示优化。跳过 get set 方法。[0.2.0-alpha+1]Added 平台侧修复：添加字段。删除字段。添加方法。删除方法。...
管理中心概述
在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。跨租户发布设置 跨租户发布设置用于配置跨租户发布的权限、发布文件的保留时间及获取发布凭证。跨租户发布 跨租户发布概述 跨租户发布数据用于迁移租户间的数据，以满足不同...
管理自定义Catalog
如果内置的Catalog类型无法满足您的业务需求，您可以使用自定义Catalog类型。本文为您介绍如何配置自定义Catalog。注意事项 自定义Catalog类型间的名称需要唯一。当自定义Catalog类型的名称与内置的名称相同时，优先使用您的自定义Catalog...
管理文件元数据
print(objectmeta.headers['Content-Type'])print(objectmeta.headers['Last-Modified'])print(objectmeta.headers['x-oss-object-type'])相关文档 关于文件元数据的更多内容，请参见 管理文件元数据。关于在简单上传过程中设置文件元数据...
什么是自定义连接器
自定义连接器是事件流的补充功能，它基于Serverless应用引擎SAE（Serverless App Engine）构建底层资源，存储各个自定义连接器的元数据信息，协调并组织各资源完成相关连接器的创建。更多信息，请参见 什么是Serverless应用引擎？消息...
单点登录（SSO）常见问题
本文为您介绍云SSO中单...完成后，下载元数据文件检查上传内容是否完整。自建IdP的metadata参数缺失或参数不正确，怎么办？问题原因 解决方法 metadata参数未按SAML 2.0协议配置。参照SAML 2.0协议正确配置参数。更多信息，请参见 SAML 2.0。
通过ECS实例RAM角色授权ECS访问其他云资源
超过有效期后，需要重新获取凭证，否则无法获取实例RAM角色的临时授权访问凭证。取值范围为1~21600，单位为秒。详细说明，请参见 实例元数据。实例RAM角色名称>：需替换为具体的实例RAM角色名称。例如EcsRamRoleDocumentTesting。普通模式...
- 产品推荐
- 这些文档可能帮助您