应用场景
物联网边缘计算平台的典型应用场景有：未来酒店、工业生产、风力发电效率提升等。...大数据处理：数据上传至阿里云后，使用大数据训练模型。即时反馈：算法或规则导入本地边缘节点后，实时自动调整机组参数，实现最优化生产。
Hive统一元数据
EMR上可以支持将数据存放在阿里云OSS中，在大数据量的情况下将数据存储在OSS上会大大降低使用的成本，EMR集群主要用来作为计算资源，在计算完成之后可以随时释放，数据在OSS上，同时也不用再考虑元数据迁移的问题。数据共享。使用统一的...
关于我们
阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践，所以她的提出是基于解决实际的数据安全问题和大数据场景需要，这就决定了她的基因里面就是贴身于实际产业应用。目前团队中拥有全职博士4名，研究型密码学博士实习...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
简介
云渲染管理系统（Render Manager 简称渲管）是一个开源的 Web 应用，可以帮助用户轻松搭建阿里云上的私有渲染系统，直接调用海量计算资源，一键管控集群规模，在加速渲染任务的同时省去自建集群的烦恼。渲管建立在阿里云 BatchCompute、OSS...
从Amazon RDS for PostgreSQL全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
DAS Auto Scaling弹性能力
背景信息 为业务应用选择一个合适的数据库计算规格（CPU和内存），是每个数据库运维人员都会经常面临的一个问题。若规格选得过大，会产生资源浪费；若规格选的过小，计算性能不足会影响业务。通常情况下，运维人员会采用业务平稳运行状态下...
什么是图计算服务
图计算服务Graph Compute是阿里云自主研发的高性能分布式图计算产品，为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、...
数据导入概览
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
行业趋势与背景
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 核心能力通过标准关系型数据库技术实现，配合完善的管控运...
快速体验
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
从Amazon RDS for PostgreSQL全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据上云工具
您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传和下载，Tunnel命令的使用请参见 Tunnel命令...
什么是阿里云Cloudera CDP
阿里云版CDP 您可以在阿里云心选市场选择合适您工作负载的CDP版本，基于阿里云环境，可以为您解决以下两方面的痛点：开源社区版Cloudera CDH License到期的问题 —— 阿里云商业版CDP提供正版license，并且只需较低成本即可享受。...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
通过函数计算节点实现GitHub实时数据分析与结果发送
阿里云原生大数据计算MaxCompute 阿里云对象存储OSS 阿里云函数计算FC MaxCompute配置 数据源类型 显示当前数据源类型，即MaxCompute。数据源名称 选择 步骤二 中创建的MaxCompute数据源。OSS配置 数据源类型 显示当前数据源类型，即OSS。...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
前言
经过阿里巴巴集团多年双十一技术的积累与云原生环境的创新结合，2017年9月，阿里云正式对外发布了自主研发的云原生数据库PolarDB。PolarDB通过存储计算分离以及基于Kubernetes的容器化云原生架构及技术创新，既解决了传统数据库容量有限、...
新用户免费试用
成功登录后，在 产品类别 下选择 大数据计算>数据应用与可视化。在试用产品中，单击 数据可视化 DataV 下的 立即试用。同意相关协议后，单击 立即试用。在提交成功页面，单击 前往控制台。查看 工作台 模块、设计中心 模块和到期时间等信息...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
使用MongoDB工具将腾讯云MongoDB迁移至阿里云
使用MongoDB数据库自带的备份还原工具mongodump和mongorestore，您可以将腾讯云MongoDB副本集实例全...根据业务需求选择合适的时间，将业务切换至阿里云MongoDB实例中。如何连接阿里云MongoDB数据库 副本集实例连接说明 分片集群实例连接说明
教程概述
说明 物联网平台转发至DataHub，是因为DataHub可以将数据同步至MaxCompute，为后续数据计算做准备。本案例的整体步骤如下：创建RDS MySQL数据库表。创建DataHub项目。配置物联网平台设备。运行MQTT客户端。配置DataV数据源。查看结果。
添加数据源概述
本文档为您介绍DataV支持的所有数据源，帮助您选择合适的数据源进行大屏项目的开发。进入 DataV控制台，单击 我的数据，可以对接入的数据源进行统一管理。DataV支持以下数据源的接入。数据源类型 数据源 说明 数据库类 说明 如果您在其它...
云产品事件触发器概述
事件总线EventBridge 作为一种Serverless的事件总线服务，支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源。事件总线EventBridge 与 函数计算 集成后，接入 事件总线...
云产品事件触发器概述
事件总线EventBridge 作为一种Serverless的事件总线服务，支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源。事件总线EventBridge 与 函数计算 集成后，接入 事件总线...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
复合指标
由于派生指标只是针对某业务活动某段时间的数据量统计，无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求（例如，统计某业务活动的周环比增长率）。因此，DataWorks为您提供了由派生指标通过运算规则进行计算而形成的复合...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
本地邮件数据迁移Foxmail+IMAP
本文旨在对某些企业原邮箱数据只保存在本地的用户，通过Foxmail客户端配置IMAP的模式反传本地邮件数据到阿里邮箱的操作说明。顺序 步骤 说明 接收迁移数据的阿里邮箱域名MX解析已经切换到阿里邮箱。接收迁移数据的阿里邮箱账号IMAP服务已经...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
最佳实践概览
场景 文档链接 Elasticsearch迁移 迁移方案选取指南 阿里云Elasticsearch间数据迁移 通过reindex迁移数据 基于reindex实现低版本多type数据迁移 自建Elasticsearch数据迁移 通过OSS将自建Elasticsearch数据迁移至阿里云 通过阿里云Logstash...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品架构
本章主要介绍物联网边缘计算的产品架构。产品架构如下图所示。物联网边缘计算主要涉及设备端、边缘计算端和云端三个部分：设备端...云端 设备数据上传云端后，可以结合阿里云功能，如大数据、AI学习等，通过标准API接口，实现更多功能和应用。
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
- 产品推荐
- 这些文档可能帮助您