PolarDB-X 2.0和1.0功能对比
计算层感知存储发生切换，依赖于Paxos的元数据信息，切换的SLA在秒级。数据同步 PolarDB-X 1.0中的数据同步到下游，需要使用DTS来订阅其中的每一个MySQL实例，并仔细处理同一个逻辑表的不同分表之间，例如表名的差异等细节，并且在同步链路...
集群高可用
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
为什么云存储网关与OSS上的文件不一致
通过调用TriggerGatewayRemoteSyncRequest接口手动反向同步指定的文件夹，只进行 一次性的元数据的同步更新，之后不会追踪OSS发生的变化。适用场景 对于将OSS变化同步至网关侧的 实时性要求不高，能容忍文件数目多时通过 ls、stat 等命令...
单点登录（SSO）常见问题
问题原因 解决方法 企业IdP中使用的签名公私钥对发生了轮转，但未更新在阿里云中配置的IdP元数据。更新在阿里云中配置的IdP元数据。您可以从企业IdP下载最新的元数据文件，重新上传到阿里云中。企业IdP中使用的签名公私钥对发生了轮转，且...
单点登录（SSO）常见问题
问题原因 解决方法 企业IdP中使用的签名公私钥对发生了轮转，但未更新在阿里云中配置的IdP元数据。更新在阿里云中配置的IdP元数据。您可以从企业IdP下载最新的元数据文件，重新上传到阿里云中。企业IdP中使用的签名公私钥对发生了轮转，且...
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
日志节点发布说明
发布日期：2023-04-07 版本号：polarx-cdc-kernel-2.0.0-4206104 类别 说明 修复 修复元数据信息超过数据类型 mediumtext 的长度导致数据截断的问题。发布日期：2023-03-29 版本号：polarx-cdc-kernel-2.0.0-4180250 类别 说明 修复 修复...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
迁移元数据上云
元数据存储于RabbitMQ集群的内部数据库，在集群的各个节点之间自动复制。集群内各节点的元数据内容都相同。使用限制 由于RabbitMQ和 云消息队列 RabbitMQ 版 在权限管控机制等方面存在差异，rabbit_version、users、permissions、...
Hive元数据说明
DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
PolarDB MySQL版DDL操作指南
仅当数据类型的存储大小不发生改变，且向ENUM或SET的末尾追加元素时，才可以仅修改元数据，不重建整张表。否则需要使用COPY算法进行表重建。PolarDB MySQL版 8.0.1版本 操作 允许并发DML 重建表 仅修改元数据 支持并行DDL 增加列 是 否 1 ...
概述
例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息 或者 IndexFileMeta-索引文件元信息 接口为照片建立元数据索引，使用人脸聚类功能，将相册中存在相似人脸的多张照片进行分组。具体操作，请参见 创建...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
元数据仓库共享模型概述
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
元数据导入
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
通过元数据文件迁移上云
本文介绍如何在 云消息队列 Kafka 版 控制台创建迁移任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据...
SAML配置
2.进入 Microsoft Azure AD界面，配置SP的元数据信息，获取IDP的元数据信息 步骤一：在Azure AD中创建应用 管理员用户登录 Microsoft Azure AD界面，点击 查看。在左侧导航栏，选择 企业应用程序>所有应用程序。单击 新建应用程序。在 浏览...
实例元数据
访问 实例元数据 重要 实例或实例元数据中若包含了敏感数据，建议您采取适当的措施来保护敏感数据，例如访问控制、数据加密等。实例元数据访问 模式说明 实例元数据支持普通模式和加固模式两种访问模式。普通模式和加固模式 的区别 对比项 ...
数据查询
接入性能监控数据后，您可以通过数据查询页面，查看目标Profile在某一段时间内的数值情况。前提条件 已接入性能监控数据。具体操作，请参见 接入Pyroscope性能监控数据。背景信息 接入性能监控数据后，性能监控数据被存储于名为${实例ID}-...
set-meta（管理文件元数据）
ossutil64 set-meta oss:/examplebucket/exampleobject.txt X-Oss-Meta-Createdby-delete 示例二：批量删除多个Object的自定义元数据 批量删除多个Object的自定义元数据步骤如下：将待删除自定义元数据的Object名称写入本地文件localfile....
元数据导出
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
元数据中心
元数据的本质就是用来管理各个实体以及各个实体之间的关联关系，RMS 的元数据中心支持多种方式对接元数据信息：支持对接第三方 CMDB 系统来接入元数据。支持对接 SPI 接口的方式对接客户的发布平台接入元数据。支持对接客户的 kubeconfig，...
为Spark集群设置元数据
EMR on ACK支持使用数据湖元数据DLF（Data Lake Formation）和自建Hive Metastore元数据两种方式，为Spark集群设置元数据。本文为您介绍如何在EMR on ACK中设置Spark集群的元数据。背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，...
时序数据生命周期
当要实现自动清理时序表中的历史数据时，您可以使用数据生命周期（TTL）功能有效地管理时序数据，减少数据存储空间，降低存储成本。配置TTL后，如果希望延长数据保存时间，您可以修改TTL。注意事项 数据清理后无法恢复，请谨慎操作。通过...
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
- 产品推荐
- 这些文档可能帮助您