文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
AlterDatabase
LocationUri String 是 oss:/xxxx 数据库的存储路径。OldDbName String 是 oldDB001 旧数据库的名称。Parameters Map 否 key001=value=002 数据库的参数。String 否 key001=value=002 数据库的参数。返回数据 名称 类型 示例值 描述 Code ...
基本概念
本章节将为您介绍Raster SQL的基本概念。名称 描述 raster object 简称raster，栅格对象，是将空间分割成有规律的网格，每一个网格称为一个像元，并...metadata 栅格的存储元数据（空间范围、投影类型、像素类型等），不包含遥感平台元数据。
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
管理元数据
存储类型 元数据的 存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，因此存储类型包括Hive和MaxCompute。单租户模式下只能选择和计算引擎一致的类型；单实例多租户模式下只能选择和元数据仓库一致...
快速玩转Tablestore入门与实战
场景实战-典型场景架构与实现 元数据 用户存储海量的文档、媒体文件等数据的同时，对文件元数据的存储和分析不可或缺。此外，电商的订单、银行流水、运营商话费账单也需要存储及分析大量的元数据。表格存储 单表支持PB级存储、千万QPS，...
管理元数据
存储类型 元数据的 存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，因此存储类型包括Hive和MaxCompute。单租户模式下只能选择和计算引擎一致的类型；单实例多租户模式下只能选择和元数据仓库一致...
概述
参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前支持RDS MySQL 用户名 连接MySQL数据库的用户名 密码 连接MySQL数据库的密码 虚拟专有网络（VPC）数据库所在的vpc 交换机（Switch）数据库所在的交换机 安全组 数据库所在的安全组...
Hadoop集群迁移至DataLake集群
步骤二：迁移及校验 新集群环境构建完毕后，需要对旧集群元数据、数据和作业进行迁移。元数据迁移 EMR新旧平台均支持自建RDS、DLF和内置MySQL三种元数据管理方式。针对新平台，我们强烈推荐您采用DLF元数据服务。根据新旧集群不同的元数据...
常见问题
表格存储 适用于以下场景：元数据 用户存储海量的文档、媒体文件等数据的同时，对文件元数据的存储和分析不可或缺。此外，电商的订单、银行流水、运营商话费账单也需要存储及分析大量的元数据。表格存储 单表支持PB级存储、千万QPS以及多种...
DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务...方式二：使用阿里云关系型数据库RDS（Relational Database Service）的两个不同数据库DataBase存储。
Paimon数据源
StarRocks从3.1版本开始支持Paimon Catalog。Paimon Catalog是一种External ...查看Paimon表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Paimon更多介绍，请参见 Paimon概述。
基本概念
Catalog是一个逻辑概念，它由一个Lindorm（HBase）数据库中所有Layer（一个Layer一个表）与一个Metadata元数据表（其中每一行代表一个Layer的元数据）构成。Cover或Coverage：多幅栅格数据构成的数据集合，等同于镶嵌数据集。Layer：由多个...
宽表模型介绍
宽表模型在车联网场景中主要用于车辆元数据的存储与分析。说明 关于宽表模型的更多信息，请参见 宽表模型。模型构成 组成部分 描述 主键（Primary Key）主键是数据表中每一行的唯一标识，主键由1到4个主键列组成。分区键（Partition Key）...
Presto Server配置和SQL示例
常用SQL示例 使用PrestoDB操作表格存储的SQL常见示例包括创建Schema、创建映射表、Schema相关操作、映射表相关操作和数据操作。创建Schema 创建Schema用于配置要访问的Tablestore实例信息以及进行用户鉴权。创建一个访问Tablestore ...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
产品架构
元数据管理层 基于处理引擎提供的功能，通过对场景的深入理解和梳理，智能媒体管理封装了场景的元数据设计，对外提供场景的元数据访问接口，简化场景应用的设计难度、无需关注元数据索引数据库的运维工作，目前支持的元数据索引如下：人脸...
数据地图概述
网络连通 如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理，需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制，请在数据库白名单列表中，添加您使用的DataWorks...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
时空大对象特征签名
时空大对象特征签名是Ganos针对时空大对象存储优化的手段，它可以将时空大对象的元数据信息存储在数据库行内，将对象实体信息存储在行外，从而减少时空索引创建、Spatial Join查询等场景的I/O开销，提升处理性能。设置GUC开关 您可以在连接...
时空大对象特征签名
时空大对象特征签名是Ganos针对时空大对象存储优化的手段，它可以将时空大对象的元数据信息存储在数据库行内，将对象实体信息存储在行外，从而减少时空索引创建、Spatial Join查询等场景的I/O开销，提升处理性能。设置GUC开关 您可以在连接...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
UpdateDatabase-更新元数据库信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称，更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
数据转发到表格存储（Tablestore）宽表模型
表格存储（Tablestore）的宽表引擎是一个分布式的数据表，可用于设备元数据的存储与更新。本文以物模型数据上报Topic为例，介绍使用云产品流转功能将设备数据转发到表格存储（Tablestore）宽表模型中的完整流程。工作原理 云产品流转将设备...
创建集群
内置MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。说明 测试场景：推荐使用 DLF统一元数据。生产场景：可以使用 DLF统一元数据 或 自建RDS。集群存储根路径 当您在可选服务区域选择了OSS-HDFS服务时，需要配置该...
配置说明
collect.storage.intermediate.path/mnt/disk1/log/doctor/derby/存储元数据采集过程产生的中间数据的路径。存储元数据采集过程会产生中间数据，数据大小与FSImage成正比。collect.storage.max.depth 6 高级配置。存储元数据遍历目录层深，...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤四：查看数据湖的元数据 在 数据湖管理控制台 单击 元数据>元数据管理，进入目标数据库，在 表列表 页签查看数据表信息。重要 如果通过元数据抽取后的表的序列化方式为：org.apache.hadoop.hive.serde2.OpenCSVSerde，会导致MaxCompute...
数据转发到表格存储（Tablestore）
表格存储（Tablestore）的宽表引擎是一个分布式的数据表，可用于设备元数据的存储与更新。本文介绍使用云产品流转功能将设备数据转发到表格存储（Tablestore）宽表模型中的完整流程。工作原理 云产品流转将设备的Topic消息转发到表格存储...
GetMetaQueryStatus
调用 GetMetaQueryStatus 接口获取指定存储空间（Bucket）的元数据索引库信息。注意事项 要获取存储空间的元数据索引库信息，您必须有 oss:GetMetaQueryStatus 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。请求语法 GET/?...
时序模型设计
时序表结构 假设存储车辆元数据的数据表名称为vehicles_timeseriesdata，表结构请参见下表。字段名称 类型 描述 measurement String 度量名称，表示时间线数据所度量的物理量或者监控指标的名称。data source String 数据源，表示产生时间...
模型介绍
该轨迹数据的元数据是快递本身，包含了单号、物流平台、快递当前位置信息以及快递寄件/收件等元信息，其中单号以及物流平台的组合（Identifier）唯一确定这个快递。数据存储方式分析 将物流平台作为Name进行存储，一个快递平台的数据属于同...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
产品整体介绍
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能，支持数据高吞吐实时写入与...在 AnalyticDB PostgreSQL版 数据库中，所有对象作为系统元数据将同时被保存在Master服务器和Segment服务器上。
宽表模型设计
数据表结构 假设存储车辆元数据的数据表名称为vehicles_metadata，表结构请参见下表。说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String 车辆识别代码，即车架号，用于唯一标识车辆。v_color String ...
时序模型介绍
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景，支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据，能提供高并发写入和查询...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果 在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。
- 产品推荐
- 这些文档可能帮助您