大数据平台使用工具-大数据平台使用工具文档介绍内容-阿里云

风险识别规则

您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控，也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则，从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。使用限制 ...

下载建模工具（DDM）

DDM是数据建模DATABLAU支持的线下客户端，您可以使用DDM客户端进行自定义数据标准、创建模型和管理模型库等操作。数据建模前，您需要先下载并安装DDM，为后续的建模操作准备好工具。本文为您介绍如何下载DDM建模工具。前提条件开通数据...

HDFS Balancer

HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据。本文通过为您介绍如何使用HDFS Balancer工具以及Balancer的主要调优参数。使用HDFS Balancer 方式一：使用HDFS Balancer命令 HDFS Balancer命令语句如下。...

使用独立的Trino集群

背景信息在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...

开源大数据平台 E-MapReduce

开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。

Cloudera CDP 企业数据云平台

企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造阿里云上的大数据平台。

面临的业务挑战

系统极复杂 大数据平台普遍存在使用复杂的问题。用户希望专注于核心业务，而非底层技术。用户希望使用的是“开箱即用”的方案，而不是陷入到高昂的学习成本、繁复的技术细节之中。用户渴望拥有一个简单易用的平台。此外，大数据平台的组合...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

ECS实例说明

大数据量（10 TB或以上）情况下，推荐使用大数据机型，可以获得极高的性价比。重要当Core核心实例使用本地盘时，HDFS数据存储在本地盘，需要您自行保证数据的可靠性。Task计算实例用于补充集群的计算能力，可以使用除大数据型外的所有...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...

连接Impala

本文为您介绍如何在E-MapReduce（简称EMR）上使用命令行工具操作Impala。前提条件已创建集群，并且选择了Impala服务，详情请参见创建集群。impala-shell连接方式在连接Impala前，您可以执行 impala-shell-help 命令获取帮助。普通集群 ...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...

产品简介

深度巡检：基于阿里云大数据产品，提供深层次的诊断与咨询建议，如实例参数配置调优、计算/存储资源优化、稳定性风险排查与解决策略等服务，从而提升大数据平台的稳定性与使用率。预案演练：帮助客户在阿里云大数据平台上进行核心业务无损...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志数据，通过数据集成服务同步至...

采集数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。章节目标将MySQL存储的用户基本信息及OSS存储的网站访问日志，通过数据集成服务将数据同步至...

快速体验

大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...

云产品集成

常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现前提条件已获取 OceanBase 数据库的基本连接信息，详细步骤请参见获取连接参数。大数据开发治理平台 ...

购买及登录数据资源平台

使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件已创建阿里云账号，具体操作，请参见创建阿里云账号。背景信息数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台在数据...

EMR Studio概述

能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...

到期提醒与停机策略

本文将为您介绍数据资源平台的到期提醒与停机策略。到期提醒数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略数据资源...

产品服务等级协议

本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的数据资源平台的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于数据资源平台公测、邀测、免费的功能及版本，也不适用于数据...

入门概述

快速使用说明准备工作：在使用数据资源平台前，需要完成的准备工作，具体操作，请参见创建阿里云账号和购买及登录数据资源平台。配置租户角色：在系统设置模块中为本账号配置租户角色，具体操作，请参见配置租户角色。新建工作组：在...

Hadoop集群迁移至DataLake集群

背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...

新建工作组

在使用数据资源平台时，可以通过创建工作组来隔离数据，对数据进行分域管理，以达到各工作组之间空间隔离的效果。本文介绍如何新建工作组。前提条件您的账号具有租户管理员角色权限，才能创建工作组。操作步骤登录数据资源平台控制台...

基因数据文件

本文介绍基因分析平台中基因数据文件的使用方法，包括上传、下载、删除等操作。基因分析平台并不直接提供基因数据的存储功能，而是依赖于阿里云对象存储OSS 来帮助用户管理自己的基因数据文件。在开通基因分析平台时，由用户授权给基因...

需求分析

本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...

新建云计算资源

添加云计算资源为使用数据资源平台做数据支撑。以新建ApsaraDB for RDS和MaxCompute云计算资源为例，介绍如何新建云计算资源。前提条件您已经购买ApsaraDB for RDS云计算资源，并完成RDS快速入门，具体操作，请参见 RDS快速入门。您已经...

数据服务概述

Dataphin数据源可以作为 Quick BI 的数据源，对业务数据进行展示、分析、探查和制作报表等场景及使用流程在开始使用数据服务前，需要您了解数据服务的使用场景，及在不同场景下对应角色的操作流程。入口介绍在Dataphin首页，单击服务，...

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...

什么是DataWorks

中国国际大数据产业博览会十佳大数据案例中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测学习路径您可以通过DataWorks文档首页的学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...

新建云计算资源

支持新建多种类型的数据源，为使用数据资源平台做数据支撑。本文介绍如何新建云计算资源。前提条件已创建工作组，具体操作，请参见新建工作组。背景信息当前支持的云计算资源类型有RDS MySQL、AnalyticDB MySQL、AnalyticDB MySQL 2.0...

保险行业解决方案与案例

与此同时国寿数据应用全面进入实时化，通过DTS将 PolarDB PostgreSQL版（兼容Oracle）实时变化的数据同步到KAFKA平台，下游业务系统和大数据平台通过数据订阅以满足监管报送等各种场景；通过上线前完整兼容性评估，上线过程中全量SQL回归压...

在EMR集群运行TPC-DS Benchmark

实例规格：如果想获得最佳性能，Core实例推荐使用大数据型或本地SSD。如果想用小规模数据快速完成所有流程，Core实例也可以选择4 vCPU 16 GiB规格的通用型实例。重要根据您选择运行的数据集确定集群规模，确保Core实例的数据盘总容量大于...

客户案例

价值体现从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...

MongoDB 4.4

使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将腾讯云数据库迁移至阿里云数据库MongoDB ...

Kyuubi概述

使用场景交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...

MongoDB 4.0

同步数据功能通用型云盘版功能影响及建议使用DTS实现云数据库MongoDB实例间同步使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）单节点实例不支持使用DTS或MongoShake工具实现数据同步。副本集实例计费管理功能通用型...

MongoDB 7.0

使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将腾讯云数据库迁移至阿里云数据库MongoDB ...

大数据平台使用工具

新品推荐