使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
管理服务单元权限
服务单元对数据表进行统一的元数据配置。在您生成API前，需要对数据表进行统一的元数据配置。如果您需要使用他人的服务单元生成API，则需要申请服务单元的使用权限。前提条件 已购买数据服务模块，详情请参见 开通Dataphin。申请服务单元...
基础使用
背景信息 本文以数据湖元数据为例，详细配置请参见 数据湖元数据配置。前提条件 已在E-MapReduce控制台上，创建Hadoop的EMR-5.3.0及后续版本的集群，详情请参见 创建集群。使用限制 由于Iceberg的Spark SQL Extensions不适用于Spark 2.4，...
管理元数据
转交负责人 重要 转交后原负责人将无法对该元数据配置进行变更操作。可供选择的转交负责人是当前使用租户下所有成员。系统元数据不允许转交。在元数据注册页面，单击需转交元数据所在行 操作 列下的 图标。您也可以选择多个元数据后单击...
管理元数据
转交负责人 重要 转交后原负责人将无法对该元数据配置进行变更操作。可供选择的转交负责人是当前使用租户下所有成员。系统元数据不允许转交。在元数据注册页面，单击需转交元数据所在行 操作 列下的 图标。您也可以选择多个元数据后单击...
关于自定义分析
多维即时自定义分析指基于客户端自定义埋点模型的即时分析，主要包括以下部分：事件元数据配置管理 自定义分析模型 自定义分析模式 前端自定义分析报表 其中：事件元数据配置管理：维护当前 App 需要即时分析的各种指标数据，是分析的基础...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
进行角色SSO时阿里云SP的SAML配置
进行角色SSO时，为了建立阿里云对企业IdP的信任，需要将企业IdP元数据配置到阿里云。前提条件 请确保已获取到企业IdP的元数据文档。元数据文档为XML格式，包含IdP的登录服务地址、用于验证签名的公钥及断言格式等信息。操作步骤 使用阿里云...
采集管理概述
Quick Tracking采集管理，旨在通过系统提供采集管理相关功能，助力客户高效构建自己业务网站&APP&小程序的流量采集埋点体系、开发测试流程和分析元数据。组织应用管理：包含 组织...用户客户通过分析元数据，管理分析相关的元数据配置信息。
基本概念
基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin数据源）的权限主体。分组 将数据服务和应用根据特定功能或场景进行分类管理。API服务 集中为...
华为云 SSO
在 元数据配置 点击添加文件，选择在步骤二中在 IDaaS 下载的 IdP 元数据，并点击 上传文件，确认元数据配置（一般无需修改）。复制 登录链接，回填到上文第二步中 IDaaS 应用详情中的 初始化登录地址。完成后，点击确定按钮，完成身份提供...
Spark批式读写Iceberg
以下是在Spark SQL中使用数据湖元数据的配置，集群版本不同默认的Catalog名称不同，需要配置的参数也不同，具体请参见 数据湖元数据配置。EMR-3.40及后续版本和EMR-5.6.0及后续版本 sparkConf.set("spark.sql.extensions","org.apache....
SetExternalSAMLIdentityProvider-配置SAML身份提供商...
元数据文档：通过 EncodedMetadataDocument 参数配置元数据文档。手动配置：通过 EntityId、LoginUrl、WantRequestSigned 和 X509Certificate 参数手动配置 IdP 信息。如果已经配置过 SAML IdP 信息，则调用本 API 会替换已有的配置信息。...
Spark流式写入Iceberg
具体版本对应的配置请参见 数据湖元数据配置。def main(args:Array[String]):Unit={/配置使用数据湖元数据。val sparkConf=new SparkConf()sparkConf.set("spark.sql.extensions","org.apache.iceberg.spark.extensions....
新建和管理落标映射规则
说明 全量评估可能会导致任务执行时间过长，影响资产目录等功能体验，建议您根据映射对象的元数据配置过滤条件。按对象属性过滤：基于选中元数据字段的字段值进行过滤，如：所属环境为生产环境。系统为您默认添加常用的过滤条件，若不需要...
新建和管理落标映射规则
说明 全量评估可能会导致任务执行时间过长，影响资产目录等功能体验，建议您根据映射对象的元数据配置过滤条件。按对象属性过滤：基于选中元数据字段的字段值进行过滤，如：所属环境为生产环境。系统为您默认添加常用的过滤条件，若不需要...
迁移上云操作
注意事项 云消息队列 RocketMQ 版 迁移工具按照最小范围粒度仅访问源自建集群如下信息：Topic元数据配置信息 Group元数据配置信息 Topic动态路由注册信息 消费者连接信息及消费堆积信息 不会访问源集群其他信息，也不会对源自建集群的配置...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
元数据采集的数据源有白名单访问控制时需要配置的白...
使用限制 目前只支持实例形式配置的数据源，或者连接串形式使用公网地址配置的数据源进行元数据采集，暂不支持通过内网地址配置的数据源进行元数据采集，即 连接串模式 配置数据源的时候暂不支持 JDBC URL 设置为VPC的地址。如果您在元数据...
EMR+DLF数据湖解决方案
步骤六（可选）：使用生命周期对数据湖存储进行合理规划，节省存储成本 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于分区/表创建时间、分区/表最近修改时间、分区值三种规则类型，对数据定期进行OSS存储...
新建Paimon数据源
元数据配置 元数据获取方式 支持 元数据库 和 HMS 方式。元数据库方式 数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/...
在Azure中获取SAML配置说明
在 Azure中 获取SAML的元数据配置文件 单击列表页，选择 Azure Active Directory-企业应用程序，进入企业应用程序页面。新建应用程序。在 浏览Azure AD库 页面，单击 创建你自己的应用程序，自建应用程序。输入应用名称，并选择 集成未在库...
管理Hive Catalog
创建Hive Catalog 完成前面的Hive元数据配置后，您可以创建Hive Catalog，支持UI与SQL命令两种方式配置Hive Catalog，推荐使用UI方式配置Hive Catalog。UI方式 进入元数据管理页面。登录 实时计算控制台，单击目标工作空间 操作 列下的 ...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
时序表操作
查询表描述信息 当需要查看时序表的详细配置信息时，您可以调用 DescribeTimeseriesTable 接口查询时序表的配置信息（例如数据生命周期）、表状态或者时间线元数据配置（例如是否允许更新时间线属性列）。删除时序表 调用 ...
管理数据流动任务
删除（Evict）将释放CPFS上文件的数据，删除后文件在CPFS上只保留元数据，您仍能看到该文件，但文件的数据块已清除，不占用CPFS上的存储空间，访问该文件数据时，再从源端存储（例如OSS）按需加载。说明 删除前，请务必确认对应文件在OSS上...
创建多物理表服务单元
多物理表服务单元用于关联多个物理表，并对关联后的字段进行元数据配置。后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的...
Hudi连接器
数据湖元数据配置的详细信息如下表。参数 描述 备注 hive.metastore MetaStore类型。固定值为DLF。dlf.catalog.region DLF服务的地域名。详情请参见 已开通的地域和访问域名。说明 请和 dlf.catalog.endpoint 选择的地域保持一致。dlf....
在本地搭建 ACM 服务器
在 配置内容 文本框中修改配置内容，并单击 发布。删除配置 在查询结果列表的 操作 栏中，单击 删除。在弹出对话框中单击 确定。ACM-SDK 测试 绑定 acm.aliyun.com 域名。由于 ACM-SDK 默认使用 acm.aliyun.com 域名连接 ACM 服务器，为了...
Spring Cloud Gateway应用路由
例如，配置 {"response-timeout":2000,"connect-timeout":2000}，控制请求超时时间和连接超时时间，在自定义插件中可以获取元数据配置信息。方式二 在 路由管理 页面，单击 使用YAML创建。使用YAML创建时，YAML定义的格式为Spring Cloud ...
迁移元数据上云
迁移元数据上云是指将开源RabbitMQ集群的元数据导出，并将其导入到阿里云 云消息队列 RabbitMQ 版 实例。云消息队列 RabbitMQ 版 会根据成功导入的元数据在目标 云消息队列 RabbitMQ 版 实例中创建对应的Vhost、Queue、Exchange、Binding，...
修改集群模版
MetaStoreType String 否 local 统一元数据类型，取值如下：local：集群内部元数据 unified：统一元数据 user_rds：用户自建RDS MetaStoreConf String 否 rdsxxx.com 统一元数据配置信息。HostGroup.N.HostGroupId String 否 0 保留字段。...
身份认证和访问控制
限制节点对实例元数据API的访问 ECS实例元数据概述包含了ECS实例在阿里云系统中的信息，您可以在运行中的实例内方便地查看实例元数据，并基于实例元数据配置或管理实例。实例元数据中能够查询到用户使用的云资源和用户数据等敏感信息，若不...
初始化
所有数据表的时间线元数据写入到同一个元数据表中，您通过TimestreamDBConfiguration配置元数据表的表名。伴随数据的写入，后台默认不断更新时间线的lastUpdateTime，您可以通过设置TimestreamDBConfiguration中的dumpMeta来控制是否需要...
使用定制版 confd 以无侵入方式使用 ACM 配置
confd 是一款开源轻量配置管理工具，通过将存储于 etcd、Dynamodb、Redis、Vault、Zookeeper 等后端存储系统的数据与配置模板结合起来使用，可实现保持配置处于最新状态的目的。confd 支持的后端存储系统不包括 ACM，因此本文以支持 ACM 的...
自定义购买实例
元数据访问模式 实例元数据（metadata）包含了实例在阿里云系统中的信息，您可以在运行中的实例内方便地查看实例元数据，并基于实例元数据配置或管理实例。关于如何查看实例元数据，请参见 实例元数据。自定义数据 实例自定义数据可以作为...
为什么文件签名URL过期后仍可以访问？
如果您希望文件签名URL过期即失效，建议您将文件元数据的配置项Cache-Control设置为 no-cache 或将Expires设置为小于文件签名URL过期时间的值。更多信息，请参见 管理文件元数据。重要 以上配置会导致浏览器不再缓存OSS文件或缓存时间变短...
通过ACM动态推送配置
配置格式 配置内容的数据格式。配置内容 输入配置的内容，例如：threadPoolSize=5 logLevel=WARN 配置描述 配置描述信息。更多配置 应用：配置归属的应用名。标签：在文本框中输入标签信息，并单击标签选择器。步骤二：使用ACM原生API监听...
利用配置中心规范构建 PaaS 服务配置
配置目录结构-app|-src|-config|-application.properties/配置内容 RCV_INTERVAL_TIME=20 但是，如果是为分布式 PaaS 服务编写分布式规则，PaaS 服务提供方（而非应用方）在设计配置时会遇到许多问题。以 MQ 限流场景为例，可能遇到的问题...
- 产品推荐
- 这些文档可能帮助您