大数据云平台设计方案-大数据云平台设计方案文档介绍内容-阿里云

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...

RAM角色授权

首先进行RAM角色授权：说明使用CDP企业数据云产品之前需要主账号或权限管理员创建如下服务关联角色角色名称：AliyunServiceRoleForCDP 角色权限策略：AliyunServiceRolePolicyForCDP Cloudera企业数据云平台集群实例创建需要访问云服务器...

服务关联角色

本文介绍Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP以及如何删除该角色。背景信息 Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP是Cloudera企业数据云平台在某些情况下，为了完成自身的某个功能，需要获取...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

集群管理常见问题

为什么我的RAM用户无法自动创建Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP？您需要拥有指定的权限，才能自动创建或删除AliyunServiceRoleForCDP。因此，在RAM用户无法自动创建AliyunServiceRoleForCDP时，您需为其添加...

什么是阿里云Cloudera CDP

Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大数据平台。该平台可以灵活地运行各种企业工作负载（包括实时摄取和分析、批处理、交互式SQL、企业搜索、高级分析...

面临的业务挑战

此外，大数据平台的组合方案在细粒度的访问权限控制、高可靠性方面，特别对于金融等行业客户的数据容灾、高可用的需求无法很好支持。使用成本高数据在企业中的使用，具有明显的周期性和不确定性。一方面，业务发展变化很快，其数据规模...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景当...

典型场景

基于湖构建数据平台，支持BI、挖掘等业务对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...

在大数据平台中集成Tair

本文介绍如何在不同大数据分析平台中接入云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下：大数据开发治理平台DataWorks：请参见配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，但...

大数据上云及巡检服务内容说明

数据迁移设计基于需求详细调研的结果，设计【XXX】项目的数据迁移方案增量数据迁移方案设计 存量数据迁移方案设计 数据割接方案设计 任务迁移设计基于需求详细调研的结果，设计【XXX】项目的任务迁移方案作业迁移方案设计 作业改造方案...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...

备份大小

本文介绍如何查看和管理云数据库专属集群MyBase MySQL的备份大小。备份大小=数据备份的大小+日志备份的大小查看备份大小登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择实例列表>MySQL。找到目标实例，...

阿里云MaxCompute数据源

概述云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，并保障数据...

授权信息

本文为您介绍云原生大数据计算服务 MaxCompute（MaxCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 ...

升级数据库大版本

本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

实验介绍

数据采集数据加工配置数据质量监控数据可视化展现目标人群开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...

产品服务等级协议

本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的数据资源平台的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于数据资源平台公测、邀测、免费的功能及版本，也不适用于数据...

受众与核心能力

工作空间管理（公共云）/平台管理（专有云）：从系统层面，为管理者提供对使用DataWorks的用户（成员）权限、DataWorks底层计算引擎配置的管理能力。总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、...

应用场景

阿里云游戏将游戏部署运行在阿里公共云平台，通过GPU虚拟化、边缘计算、容器技术、音视频编解码技术，将重度游戏作品推向低配设备玩家，大大降低玩家接触重度游戏的门槛，让游戏开发商可以触达更多的用户。游戏运营商背景随着线上流量的...

客户案例

MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见行业客户案例...

什么是云数据库HBase

云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...

使用产品前的准备工作

不同模块对云资源的依赖目前数据管理平台不同的功能，需要挂载的云资源如下：功能模块功能描述所需挂载云资源任务调度产品上创建的任务发送到计算资源上运行 ACK 容器服务 ECS 云服务器任务中包含需要使用GPU的算子 GPU 云服务器 ...

应用场景

DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...

应用场景

DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...

新建集群

23.6 样例测试数据云数据库ClickHouse 企业版集群支持导入的样例测试数据分别为cell towers、NewYorkTaxi data,和UK Prorperty Price Paid。默认选择不导入任何样例数据。不导入任何样例数据计算单元（CCU）最大值集群计算单元（CCU）...

新建集群

23.8 样例测试数据云数据库ClickHouse 企业版集群支持导入的样例测试数据分别为cell tower、NewYorkTaxi和UK Prorperty Price Paid。默认选择不导入任何样例数据。不导入任何样例数据计算单元（CCU）最大值集群计算单元（CCU）的最大值...

备份费用

云盘实例跨地域备份存储费用 BackupStorageSize 数据库备份DBS 跨地域备份网络流量费用 NetworkOutDuplicationSize 数据库备份DBS 备份下载外网流量费用 NetworkOutSize 数据库备份DBS 下载备份云盘实例备份转换费用 BackupAnalyticSize ...

准备工作

开通企业数据智能平台企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版控制台开通。登录云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。单击左侧导航栏中的 数据平台。单击 ...

应用场景

云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。

发展历程

2021年 IDC发布《IDC MarketScape：中国政务大数据管理平台市场厂商评估2021》报告，阿里云位居行业领导者位置，产品能力居中国第一。以MaxCompute为核心代表的阿里云数仓进入 Forrester Wave 2021 Q1云数据仓库卓越表现者象限，成为入选...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

应用场景

数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

产品简介

（仅限公共云）AI算法专家服务 AI算法建模咨询针对用户提供算法架构方案，数据梳理和建模方案规划设计的咨询服务。AI算法方案POC 全托管或指导客户完成针对特定算法建模和模型训练、服务的功能，并提供基于算法建模、模型训练、模型预测、...

使用限制

云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集架构或分片集群架构）使用MongoShake实现MongoDB副本集间的单向同步使用MongoShake实现MongoDB实例间的延迟同步分片集群实例功能约束实例部署目前不是所有地域和可用...

购买及登录数据资源平台

使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件已创建阿里云账号，具体操作，请参见创建阿里云账号。背景信息数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台在数据...

批量或异步插入数据

异步插入数据云数据库ClickHouse适合大批次的数据写入方式，这样可以节省计算周期和磁盘I/O，节省成本。在client端常用的写入方式为批量写入，如果想在ClickHouse Server侧支持批量写入，可以使用异步插入模式。启动异步写入方式需要启用 ...

大数据云平台设计方案

新品推荐