通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
通过大数据平台搭建设备监控大屏
本文介绍如何对接物联网平台和阿里云大数据平台，以实现设备数据分析、统计、计算和可视化实时展示。前提条件 开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据平台处理物联网平台设备相关数据，涉及多个阿里云产品，包括 云数据...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
产品架构与功能特性
云游戏平台架构 阿里云游戏架构图如下图所示。阿里云游戏平台主要功能模块包括：管控中心：定位于游戏调度管理和游戏运维监控，通过认证、调度和运维管理，帮助您快捷接入云游戏PaaS服务，保障您的业务发展范围内都能得到优质服务，提高...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
技术架构选型
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
阿里云电子政务云架构
平台系统架构 阿里云电子政务云基于飞天技术架构，提供完整的管控、运维、运营体系，以及多款阿里云核心产品。下图为某案例的系统技术架构。此案例包括：资源管理控制台、运维系统、运营管理系统、公网API几个主要模块。系统技术架构图如下...
功能特性
离线数据集成（DataWorks+MaxCompute）可以将数据服务中的平台系统表、产品属性时序表、产品事件表和自定义存储表数据，集成到阿里云大数据开发治理平台（DataWorks）中构建数据仓库，以提升数据应用效率。实时数据集成（Flink版）可以将...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
创建阿里云账号
在阿里云控制台页面，鼠标悬停至右上方的用户图像，单击 AccessKey管理。在 安全提示 对话框中，选择 继续使用AccessKey，为主账号创建AccessKey。如果选择 开始使用子用户AccessKey，则系统进入创建子账号页面，您可以为子账号创建...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
OSS/OSS-HDFS概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。单击左侧导航栏中的 数据平台。单击 ...
什么是工业互联网平台
平台基于阿里云的物联网、云计算和工业大数据的技术，构建用数字化控制并管理资源、收集分析历史信息、基于数据分析结果进行业务决策和优化的技术和方法。工业互联网企业级平台将制造企业中的设备通过物联网技术连接到云端，把运营业务对象...
专家成长计划技术培训课程
现场面授（特殊情况可调整为线上钉钉群直播）大数据方向 阿里云大数据计算平台解析 2天 30人 本课程将全面介绍大数据产品体系，技术架构及产品特性，学员可以熟悉大数据计算平台（MaxCompute）和数据工场（DataWorks）基础概念、术语、产品...
最佳实践概览
场景 文档链接 Elasticsearch迁移 迁移方案选取指南 阿里云Elasticsearch间数据迁移 通过reindex迁移数据 基于reindex实现低版本多type数据迁移 自建Elasticsearch数据迁移 通过OSS将自建Elasticsearch数据迁移至阿里云 通过阿里云Logstash...
物联网数据处理分析架构参考
本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务，搭建企业物联网大数据应用架构。背景信息 随着物联网应用场景的深入，企业开始挖掘设备上传的数据，用于客户端应用扩展和服务营收，用于数字化运营、风控，帮助企业高效治理，...
技术白皮书
深入介绍阿里云物联网平台技术能力，包括技术架构设计、核心技术优势、高可用保障和全球化服务等。下载PDF，了解详细技术能力：深度剖析阿里云物联网平台技术能力，V2.0版本新增数据服务、数据智能和全球化相关内容，并对V1.0版本内容进行...
产品简介
主要包括：大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...
注册EMR集群至DataWorks
背景信息 开源大数据开发平台 E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还...
数据统计
阿里邮箱管理平台支持数据统计，包括账号使用量统计、账号邮件收发量统计和域邮件收发量统计。一、账号使用量统计 账号使用量是已分配给员工的每个邮箱账号的使用情况，邮箱管理员在邮箱管理平台的行为统计功能中，可以查看每个邮箱账号的...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
基于Hadoop集群支持Delta Lake或Hudi存储机制
创建外部数据湖连接 参数 说明 异构数据平台类型 选择 阿里云E-MapReduce/Hadoop集群。网络连接 选择已创建的网络连接。操作详情请参见 创建外部数据湖连接。选择外部数据源 选择已创建的外部数据源。操作详情请参见 创建外部数据湖连接。...
什么是Dataphin
Dataphin兼容多种计算平台，并开放可拓展的能力，以适应不同行业客户的平台技术架构和特定诉求。Dataphin产品能力大图如下图所示。您可以在 阿里云数据中台，进一步了解Dataphin。视频简介及核心功能介绍 Dataphin简介 核心功能特性速览 ...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
什么是开放平台
为什么选择阿里云开放平台 阿里云开放平台集成了阿里巴巴集团十数年发展沉淀的计算能力、人工智能算法以及完备的互联网安全体系架构。目标是把人工智能与大数据技术接入到传统的生产线中，帮助生产企业实现数据流、生产流与控制流的协同，...
快速体验
说明 本次实验数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。技术选型 数据建模：大数据开发治理平台 DataWorks数据建模（可选），标准版及以上版本可使用，需要单独购买。原始数据存储：云...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
上海新能源汽车车辆基础数据
2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，依托于阿里...
产品优势
阿里云游戏平台基于阿里云的技术底座，同时具备低门槛、高质量、生态支持三大优势，帮助游戏行业客户快速搭建云游戏方案，实现业务升级。低门槛 阿里云游戏平台结合云服务特性与云游戏PaaS平台开发能力，通过技术能力大大降低客户接入、...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
购买及登录数据资源平台
使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件 已创建阿里云账号，具体操作，请参见 创建阿里云账号。背景信息 数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台 在数据...
数据出口
Link WAN支持通过阿里云物联网平台流转数据，也支持用户自建云服务流转数据。数据出口至 物联网平台控制台，使用内部接口，Link WAN的节点信息会自动映射到物联网平台中的设备中。数据出口至 自建云，使用的是消息队列MQ，透过MQTT订阅与...
- 产品推荐
- 这些文档可能帮助您