云存储元数据-云存储元数据文档介绍内容-阿里云

Hive元数据说明

DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...

产品架构

集群云数据库SelectDB版集群，支持存算分离架构，多计算集群共享存储数据。云数据库SelectDB版集群包括计算资源（vCPU、内存）和缓存资源（Cache），以集群粒度进行算力隔离，满足各个业务的不同性能规模和使用时长需求。云数据库...

工作流模板与算子

在为存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据索引时，引擎将根据配置的工作流模板来决定要执行的算子操作，算子对元数据进行采集并将元数据索引到元数据存储引擎中。注意事项在通过绑定OSS Bucket或调用 ...

Impala概述

可以使用单个、开放和统一的元数据存储。所有数据均可立即查询，无需等待ETL（Extract-transform-load）。所有硬件均用于Impala查询以及MapReduce。仅需单个计算机池即可扩展。Impala的详细信息，请参见 Apache Impala。架构 E-MapReduce中...

EMR元数据迁移公告

阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...

管理元数据

您也可以单击图标，通过选择数据对象、存储类型、引用状态、负责人快速筛选元数据。参数描述 元数据名称 元数据的名称。存储类型 元数据的存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，...

管理元数据

您也可以单击图标，通过选择数据对象、存储类型、引用状态、负责人快速筛选元数据。参数描述 元数据名称 元数据的名称。存储类型 元数据的存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，...

计费模式

本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...

Paimon数据源

paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...

存储类型

存储类型说明云原生多模数据库Lindorm支持的存储类型及其适用场景如下：存储类型访问延迟适用场景支持的引擎类型扩展能力标准型云存储 3ms~5ms Feed流数据、聊天、实时报表、在线计算等实时访问数据。宽表引擎、时序引擎、搜索引擎、...

Paimon数据源

paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...

表操作

Timestream数据存储包含元数据表和数据表。数据表可以有多个，您可以根据自身的场景需求将数据写入到不同的表中，例如按数据精度分表。元数据表只能有一个，所有数据表的元数据信息全部记录到同一张表中。Timestream提供了元数据表和数据表...

迁移元数据上云

元数据存储于RabbitMQ集群的内部数据库，在集群的各个节点之间自动复制。集群内各节点的元数据内容都相同。使用限制由于RabbitMQ和云消息队列 RabbitMQ 版在权限管控机制等方面存在差异，rabbit_version、users、permissions、...

存储概览

存储概览主要包括存储，元数据对象的基本信息，还包括存储趋势、存储归档分布，表格式分布，小文件分布等信息，可以方便您快速了解当前存储资源使用情况及问题，并进行优化。前提条件已经开通OSS产品。已经在DLF中完成 Location托管。存储...

通过命令行工具快速使用云存储网关软件版

说明默认情况下，收到一个读请求时，如果数据缓存未命中，云存储网关软件版会去OSS Bucket下载数据并且存储到本地磁盘缓存，会有一定的数据预读。但是如果您的读请求完全是随机请求，并且设置的缓存容量远小于对应的OSS Bucket容量，这时...

通过元数据文件迁移上云

Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出成一份JSON文件，然后被导入另一个Kafka集群，实现自建Kafka集群...

时序模型计量计费

单个设备每次读吞吐量：20 MB/4 KB=5000 CU 单月费用：5000 CU*1000次/日*30日*0.004元/万CU=60元时间线元数据计费 元数据存储 高性能存储单价为1.08元/GB/月。存储量：1万*4 KB=39 MB 单月费用：39 MB*1月*1.08元/GB/月=0.04元元数据...

创建集群

元数据支持以下方式存储和管理元数据：DLF统一元数据（推荐）：表示元数据存储在数据湖构建DLF中。重要选择该方式时，需要开通数据湖构建DLF产品，您可以单击下方的开通，前往DLF控制台操作。开通DLF后，系统会为您选择默认的 DLF数据...

宽表模型设计

数据表结构假设存储车辆元数据的数据表名称为vehicles_metadata，表结构请参见下表。说明关于表设计的更多信息，请参见表设计。字段名称类型描述 vin_id（主键列）String 车辆识别代码，即车架号，用于唯一标识车辆。v_color String ...

时序模型设计

时序表结构假设存储车辆元数据的数据表名称为vehicles_timeseriesdata，表结构请参见下表。字段名称类型描述 measurement String 度量名称，表示时间线数据所度量的物理量或者监控指标的名称。data source String 数据源，表示产生时间...

应用场景

云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。

实例元数据

访问实例元数据 重要实例或实例元数据中若包含了敏感数据，建议您采取适当的措施来保护敏感数据，例如访问控制、数据加密等。实例元数据访问模式说明实例元数据支持普通模式和加固模式两种访问模式。普通模式和加固模式的区别对比项 ...

ST_SetTypeStorage

描述当数据类型的单个对象比较大时，可以使用元数据信息存储在行内，对象实体信息存储在行外的存储模式，平常查询和分析只需要取出行内的元数据部分，从而减少磁盘I/O。size代表存储在行内的字节数，0表示仍按原来的main模式存储，不同...

附录1 云产品监控指标

EventBus 事件总线-EventStreaming 网络型负载均衡专属块存储集群块存储异步复制对弹性云手机存储与CDN CDN 数据库文件系统DBFS 全站加速边缘节点服务ENS 混合云备份 云存储网关文件存储HDFS 文件存储NAS 文件存储CPFS 对象存储OSS...

ST_SetTypeStorage

描述当数据类型的单个对象比较大时，可以使用元数据信息存储在行内，对象实体信息存储在行外的存储模式，平常查询和分析只需要取出行内的元数据部分，从而减少磁盘I/O。size代表存储在行内的字节数，0表示仍按原来的main模式存储，不同...

ST_SetTypeStorage

描述当数据类型的单个对象比较大时，可以使用元数据信息存储在行内，对象实体信息存储在行外的存储模式，平常查询和分析只需要取出行内的元数据部分，从而减少磁盘I/O。size代表存储在行内的字节数，0表示仍按原来的main模式存储，不同...

Transaction Table2.0概述

很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...

AD FS与云SSO进行单点登录的示例

选择从文件导入有关信赖方的数据，然后单击浏览，导入从步骤一：在云SSO获取服务提供商元数据 获取的元数据文档，最后单击下一步。输入自定义的信赖方显示名称，然后单击下一步。本示例中使用名称CloudSSODemo。根据您的需要，选择...

Okta与云SSO进行单点登录的示例

步骤一：在云SSO获取服务提供商（SP）元数据 登录云SSO控制台。在左侧导航栏，单击设置。在 SSO登录区域，复制服务提供商（SP）的 ACS URL 和 Entity ID。步骤二：在Okta创建应用程序登录 Okta门户。单击页面右上方的账号图标，然后...

Shibboleth与云SSO进行单点登录的示例

步骤一：在阿里云获取SAML服务提供商元数据 登录云SSO控制台。在左侧导航栏，单击设置。在 SSO登录区域，下载服务提供商（SP）元数据文件，并另存到/opt/shibboleth-idp/metadata/aliyun-cloudsso-metadata.xml。同时，保存服务提供商...

Azure AD与云SSO进行单点登录的示例

本文为您提供Azure AD（Azure Active Directory）与云SSO进行单点登录（SSO登录）的示例。背景信息假设企业在本地IdP Azure AD中有大量用户，且已在阿里云资源目录（RD）中搭建了多账号体系结构。企业希望经过配置，使Azure AD的用户通过...

通过云存储网关挂载OSS

通过云存储网关挂载OSS，您可以将OSS映射为一个共享的文件存储系统，实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后，您可以像使用本地文件夹和磁盘一样操作OSS资源。前提条件已开通 云存储网关服务，并授予访问OSS、ECS及...

时空大对象特征签名

时空大对象特征签名是Ganos针对时空大对象存储优化的手段，它可以将时空大对象的元数据信息存储在数据库行内，将对象实体信息存储在行外，从而减少时空索引创建、Spatial Join查询等场景的I/O开销，提升处理性能。设置GUC开关您可以在连接...

时空大对象特征签名

时空大对象特征签名是Ganos针对时空大对象存储优化的手段，它可以将时空大对象的元数据信息存储在数据库行内，将对象实体信息存储在行外，从而减少时空索引创建、Spatial Join查询等场景的I/O开销，提升处理性能。设置GUC开关您可以在连接...

存储资源包概述

适用场景在 云数据库专属集群MyBase 中，若您的数据库实例为云盘实例，需要购买存储空间，您可以在创建数据库云盘实例时选择购买存储资源包。产品规格存储资源包支持500 GB、1 TB、2 TB、3TB、5 TB、10 TB、12TB、16TB、20 TB、25TB、30...

数据表-数据概况

功能说明在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...

对象概述

对象（Object）是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，Object没有文件目录层级结构的关系。Object类型 Object包含以下三种类型：通过简单上传生成的Object类型为Normal。通过分片上传生成的Object类型为...

文件网关反向同步的使用场景及配置

文件网关支持反向同步功能，将OSS上的元数据同步回本地，您可以在云存储网关侧观察OSS上数据的变化。使用场景当多台云存储网关实例共同访问一个OSS Bucket时，可以实现多实例数据共享。当您需要从OSS恢复数据到云存储网关时，反向同步功能...

宽表模型介绍

宽表（WideColumn）模型是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、过滤器等功能。宽表模型在车联网场景中主要用于车辆元数据的存储与分析。说明关于宽表模型的更多信息...

云存储 元数据

新品推荐

云存储元数据