物联网平台通信方式概述
本文介绍设备、物联网平台、服务器间通信的方法。背景信息 设备通过消息Topic实现消息的发送和接收，消息通信Topic的定义、使用和分类说明，请参见 什么是Topic。设备上报的原始数据格式，需您在设备端完成开发。阿里云物联网平台提供的...
开源大数据平台 E-MapReduce
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
Cloudera CDP 企业数据云平台
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造阿里云上的大数据平台。
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
审批中心概述
您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控，也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则，从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
如何在ECS上查看Linux服务器的内存大小
问题描述 购买的ECS服务器实际内存大小和在服务器里面查看到的内存大小不一致。问题原因 系统内核也会占用一部分内存，查看服务器的内存命令不对。解决方案 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
从厂商云服务端获取证书
本方案不在设备上烧录设备证书，而是设备上电联网后，向厂商服务器发起请求，获取设备证书（ProductKey、DeviceName和DeviceSecret）。本文介绍厂商云服务端开发方案。设备获取设备证书的方案介绍，请参见 获取设备证书方案概述。原理 本...
RDS SQL Server如何收缩事务日志
如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果您在阿里云平台授权或者提交过登录账号、密码等安全信息，建议您及时修改。日志空间充足 如果日志空间充足，可以通过RDS控制台...
通信消息相关问题
使用物联网平台的数据服务，将平台系统表、产品属性时序表、产品属性快照表、产品事件表和自定义存储表等数据，通过 大数据开发治理平台DataWorks 集成到 云原生大数据计算服务MaxCompute 中构建数据仓库，进而实现数据可视化。详细内容，...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
常见问题
从到期时间开始计算，15天内服务器的状态显示为 已禁用，该状态下服务器的数据保留，您只需要续费服务器即可启动服务器。如果在15天内您没有续费服务器，服务器将会被释放，数据无法找回。如果您需要对服务器进行续费，具体操作，请参见 ...
第三方教程
一图帮你彻底区分 轻量应用服务器助力初创型建站服务企业降本提效 轻量应用服务器如何帮助大学生在大数据课程中高效学习 搭建网站 3步！完成WordPress博客迁移与重新部署 只需5步！在轻量应用服务器部署Hexo博客 使用轻量应用服务器搭建扫...
物联网平台相关问题
本文介绍阿里云物联网平台功能特性相关的常见问题。类目 问题 云服务 物联网平台在中国境外可以使用吗？物联网平台支持开通中东地域服务吗？物联网平台服务如何收费，SDK功能是否全部免费？如何获取物联网相关解决方案？物联网平台的整体...
无法更换轻量应用服务器的操作系统
如果重置系统还是失败，建议您仔细阅读以下 内容，排查是否满足重置系统的要求：含有数据盘数据的自定义镜像创建的轻量应用服务器，不支持重置系统。选择自定义镜像重置系统时：仅支持选择与当前服务器同一地域下的自定义镜像。不支持选择...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
负载均衡SLB后端服务器中TIME_WAIT状态连接数较多
问题描述 负载均衡SLB对后端多台服务器进行负载，且在客户端请求访问量为0的情况下，发现服务器中有大量TIME_WAIT状态的连接。登录后端服务器，执行以下命令，确认TIME_WAIT状态的连接数过多。while true;do netstat-n|awk '/^tcp/{+S[$NF]...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
EMR数据开发停止更新公告
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
各源环境迁移至阿里云
如果需要保证源服务器和数据完全同步，可以先将源服务器中的数据迁移至阿里云，然后使用增量迁移，在自定义的时间段内将源服务器系统产生的增量数据同步至阿里云。具体操作，请参见 增量迁移源服务器。在迁移前，您需要在源服务器中完成...
MongoDB 5.0新特性概览
每个发布版本都需在20多个MongoDB支持的平台上进行验证，验证工作量大，降低了MongoDB新功能的交付速度，所以从MongoDB 5.0开始，MongoDB发布的版本将分为Major Release（大版本）和Rapid Releases（快速发布版本），其中Rapid Releases...
本地盘最佳实践
此外，如果您有大数据集群，建议使用部署集将实例分散部署在不同的物理服务器上，从而降低某一本地盘损坏带来的影响。如果您的应用没有高可用架构，建议您使用其他实例。实例的详细参数请参见 实例规格族。最佳实践请参见 选型最佳实践。...
- 产品推荐
- 这些文档可能帮助您