环境大数据平台-环境大数据平台文档介绍内容-阿里云

需求分析

本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

应用场景

建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和非结构化数据进行高效分析处理的能力。EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松...

设备接入物联网平台

LoRa设备通过LoRa网关接入物联网平台，并上报环境数据。LoRa设备上线将LoRa设备通电，设备便可使用LoRa网关接入物联网平台。登录物联网平台控制台，在对应的实例下，选择设备管理>设备。在设备列表下查看设备状态。对应的设备显示为 ...

Spark本地调试环境搭建

本文为您介绍如何在本地搭建Spark的调试环境（以IDEA为例）。背景信息本文示例使用的工具如下所示：Maven 3.8.6 Java 8 IntelliJ IDEA 环境准备在IDEA中通过 File>New>Project，新建一个Maven项目。在 pom.xml 中添加Spark的相关依赖，...

EMR Workbench

阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...

Kyuubi概述

使用场景交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...

数据导入概览

使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...

创建并管理数据源

同一个数据源名称可分别配置开发环境数据源、生产环境数据源，且不同环境的数据源配置是相互独立的。管理数据源在数据源管理页面，您可根据数据源类型、数据源名称筛选需要查看的数据源。同时，支持您对目标数据源执行如下管理操作：...

SubmitFile

调用SubmitFile接口，提交文件至调度系统的开发环境，生成对应的任务。该API是异步处理，您可以使用GetDeployment接口获取文件的提交状态。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...

互联网、电商行业离线大数据分析

概述电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景电商...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

03创建开发环境场景并运行

步骤一：新建开发环境场景登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。说明若您已在资产加工页面，请跳过“单击资产加工”的操作。在左侧导航栏，单击 ...

ECS实例说明

大数据型使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型使用本地...

安全设置

同一项目，用户可以在Dev环境直接操作Prod环境的数据，造成Prod环境数据泄漏或意外变更。下表以开发者角色为例，介绍安全模式开启与关闭的情况下，对项目的操作权限。操作默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式...

安全设置

同一项目，用户可以在Dev环境直接操作Prod环境的数据，造成Prod环境数据泄漏或意外变更。下表以开发者角色为例，介绍安全模式开启与关闭的情况下，对项目的操作权限。操作默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

01创建解决方案

已创建“全域数据平台”应用，具体操作，请参见新建API归属应用。已创建“银行客户根据证件号码查询”API，具体操作，请参见新建API-向导模式。背景信息根据应用关联对应资源信息，包括服务、物理表、逻辑表、场景、场景节点、单节点、...

数据模型概述

DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。

其他问题

为什么不能在调度资源组上进行大数据计算？其他如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...

新建开发环境场景并运行

步骤一：新建开发环境场景登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。说明若您已在资产加工页面，请跳过“单击资产加工”的操作。在左侧导航栏，单击 ...

必读：简单模式和标准模式的区别

绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块标准模式简单模式数据开发操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心开发环境运维中心：操作...

什么是阿里云Cloudera CDP

企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...

云产品集成

常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现前提条件已获取 OceanBase 数据库的基本连接信息，详细步骤请参见获取连接参数。大数据开发治理平台 ...

什么是EMR Notebook

EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...

产品优势

提高开源组织版本管理效率，快速支持业务创新更多开源软件支持更高软件版本支持覆盖从边缘到AI全场景企业级的服务支持，降低运维成本，缩短故障处理时间来自阿里云和Cloudera的7*24小时大数据专家服务支持快速定位使用中遇到的问题，...

概述

背景信息在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...

JindoFS介绍和使用

JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...

数据仓库研发规范概述

在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...

概述

数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...

数据库克隆

数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...

JindoCache概述

大数据分析（Hive/Spark 报表）：减少报表生成时间，优化计算集群成本。湖仓一体：减少请求费用，优化数据目录（catalog）的响应延迟。AI：加速训练等场景，降低AI集群使用成本，提供更全面的能力支持。缓存策略 JindoCache支持数据缓存...

快速体验

大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...

快速体验

数据采集数据加工配置数据质量监控数据可视化展现目标人群开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...

Spark概述

Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...

Delta Lake概述

Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息通常的数据湖方案是选取大数据存储引擎...

概述

Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域从技术领域的角度，Flink主要用于以下...

准备环境

为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和人工智能平台 PAI。前提条件注册阿里云账号，详情请参见注册阿里云账号。实名认证，详情请参见个人实名认证背景信息本次...

环境大数据平台

新品推荐