阿里云OSS-HDFS服务（JindoFS服务）元数据导出使用...
本文为您介绍如何使用OSS-HDFS服务元数据导出功能。使用元数据导出功能，您可以将当前OSS-HDFS Bucket下的文件元数据清单导出到OSS，格式为JSON文件，方便您对元数据进行统计分析。元数据导出说明 配置Jindo命令行工具，应配置对应OSS-HDFS...
产品简介
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
使用独立的Trino集群
背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...
购买及登录数据资源平台
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
为Spark集群设置元数据
横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 人工智能平台 PAI 等。多个EMR集群时，可以统一管理元数据。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 步骤一：创建集群。使用...
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
基于Delta lake的一站式数据湖构建与分析实战
2.统一元数据服务 对象存储本身是没有面向大数据分析的语义的，需要结合Hive Metastore Service等元数据服务为上层各种分析引擎提供数据的Meta信息。数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统...
SLS的OSS投递数据源
以前这些数据不可进行分析计算，使用DLA的元信息发现功能，能够一键构建数据湖的元数据，接入DLA的统一数据分析平台。使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据，可以支持ETL后数据交付、低频全量日志...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
基本概念
资产运营 资产目录：是对数据资源平台元数据的有序组织，是记录数据体系的保障。数据类目是目录信息与服务、保障与支撑所组成的一个整体。针对资产的合理组织，需要对资产进行对应分类，如部门类目、主题类目、行业类目，可进行该类目下...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
Hudi存储
Apache Hudi是一个支持插入、更新、删除的...元数据自动同步 借助 AnalyticDB MySQL 统一元数据服务，数据写入Hudi后可通过 AnalyticDB MySQL Serverless Spark和XIHE引擎无缝访问，无需手动同步表元数据，一份入湖数据支持上层多个计算引擎。
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
了解数据资源平台用户和角色体系
数据资源平台提供了完善的权限管控机制，支持以租户或工作组为管控粒度，通过对用户授予不同的角色实现全局或工作组内的各组件功能权限管控。本文为您详细介绍租户、工作组粒度下的角色体系。背景信息 数据资源平台功能权限是基于角色的...
Hadoop集群迁移至DataLake集群
旧平台元数据方案 新平台元数据方案 迁移方式 DLF DLF 无需重新迁移数据，只需确保新集群指向与旧集群相同的DLF数据目录即可。统一meta数据库 DLF 详情请参见 EMR元数据迁移公告。本地MySQL DLF 详情请参见 元数据迁移。自建RDS DLF 详情请...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
什么是数据资源平台
基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据管理平台。依托数据资源平台，可设计高质量的标准化数据模型，减少重复开发工作，用户可...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
快速玩转Tablestore入门与实战
通道服务：表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由数据资源平台提供，供所有用户使用，对于QPS和并发有限制，...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
数据湖构建之MaxCompute湖仓一体最佳实践
背景信息 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。与数据湖相比数据仓库具备易优化、易治理等优点，但同时面临数据种类单一，灵活性低，仅向特定引擎开放等不足，提高了数据存储和加工的成本，...
产品服务等级协议
2.服务可用性 2.1 服务可用性计算公式 服务可用性以单个实例为维度，按照如下方式计算：服务可用性=（服务周期总分钟数-服务不可用分钟数）/服务周期总分钟数╳100%2.2 服务可用性承诺 数据资源平台服务可用性不低于99.95%，如数据资源平台...
基本概念
此外，Ganos Raster允许多源栅格数据（如遥感、摄影测量和专题地图）之间的融合与分析以及数据服务发布等功能（如TMS或WMTS等）。Ganos Raster可用于包括基于位置的服务、地理图像存档、环境监测和评估、地质工程和勘探、自然资源管理、...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由企业数据智能平台提供，供所有用户使用，对于QPS和并发有...
Kyuubi概述
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
方案背景
因此车联网场景下车辆元数据存储与分析的需求如下：数据存储：车辆元数据定时上报到数据网关并且转发到下游存储，需要支持大规模数据存储。数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索...
查询服务列表
本文介绍如何通过SAE控制台查询部署的Spring Cloud应用和Dubbo应用的服务列表和服务详情。使用限制 服务查询包含新、旧两个版本，您可以在 服务列表 页面单击 切换新版本...Metadata数据：包含服务的元数据，以及用于使用微服务能力的元数据。
政务舆情分析系统的数据库解决方案
实时计算（Blink）和 大数据计算服务·MaxCompute：网页数据采集入库后，增量采集数据的计算机元数据抽取可以选用Blink和MaxCompute。当有新增页面需要提取时触发Blink进行网页元数据抽取。抽取后的结果进入TableStore存储后，同时推送至...
云存储网关软件版公测
上报的信息包括：挂载点上传队列大小、剩余元数据空间、数据缓存使用量、读、写性能数据、数据上传、下载量等等。ossfs并未集成相应的控制台，运维途径较少。控制台监控信息后续可以接入云监控，用户可以自主制定一些告警策略，提升运维...
功能特性
数据管理 数据处理包括创建和管理项目、操作数据集、设置自动触发器、执行批量任务以及查询任务状态等功能，满足从文件元数据的提取分析到任务创建和管理的一系列需求。功能集 功能 功能描述 参考文档 基础操作 项目操作 开通 IMM 后，用户...
Spark SQL
Spark与DLA SQL引擎以及数据湖构建服务共享元数据。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 ...
- 产品推荐
- 这些文档可能帮助您