产品功能

一套与计算引擎无关的统一数据湖表存储服务,开源开放平权支持计算、分析、AI等多种范式

数据湖构建 Data Lake Formation

    产品功能

    元数据管理

    • 种类丰富
      支持结构化、半结构化、非结构化数据的元数据管理,存储格式包括Paimon、Iceberg、Parquet、ORC、Avro、Lance等。
    • 引擎丰富
      深度整合阿里云各大数据&搜索&AI引擎,包括全托管版Flink、MaxCompute、EMR Serverless Spark、EMR Serverless Starrocks、Hologres、OpenSearch等。可快速构建统一数据目录,各引擎共享一套湖上元数据,打破数据孤岛。
    • Paimon开源增值能力
      提供符合Apache Paimon REST Catalog标准的表管理API,其文件存储结构与开源社区完全兼容,任何兼容Paimon的引擎和应用都能够轻松地在DLF中创建、更新、查询和删除表。并支持在控制台可视化查看和管理数据湖中的实时元数据信息。

    权限管理

    • 双重访问控制
      基于阿里云通用RAM账号体系,提供API权限和数据权限的双重访问控制
    • 细粒度权限控制
      支持Catalog、库、表、字段级的细粒度权限控制
    • 引擎平权
      各引擎平权,在阿里云RAM体系下,一套权限配置,所有引擎统一生效

    存储管理

    • 全托管存储服务
      深度集成Paimon,提供流批统一全托管存储,实现高性能写入与更新。支持本地冗余和同层冗余两种存储冗余类型,提高稳定性和灵活性。
    • 存储概览
      统计当前数据目录、数据库和数据表的物理存储数据,以及变化趋势等指标,帮助用户快速了解当前存储资源使用情况。
    • 智能湖表存储优化
      支持一系列优化策略,如小文件合并、过期快照清理、过期分区清理及废弃文件清理,有效提升存储效率,降低存储成本。
    • 智能存储分层
      支持标准、低频、归档、冷归档类型,用户可按需配置生命周期规则或手动转换存储类型,并支持低频存储和归档存储访问后自动转标准。

    资源管理

    • 计费指标
      提供当前数据目录下各计费项对应的资源用量,以及使用趋势。便于全面掌握当前资源的使用情况、计费状态,更好地进行资源规划和管理。
    • 限额指标监控
      提供当前数据目录下QPS和带宽的监控情况,便于及时调整资源限额。
    • 资源购买灵活
      计算资源支持按量付费和包年包月混合计费模式,可以按需购买资源。