创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
什么是边缘应用
函数计算应用继承了阿里云函数计算事件驱动的编程模型，同时作为Serverless计算框架，让您专注于业务逻辑开发，无需为程序启动、消息流转、日志查询、进程保活等基础工作耗费精力。函数计算应用的代码来源有两种：使用阿里云函数计算服务...
查询并下载数据
在使用Hadoop计算源时，支持开启Impala任务，开启后除支持创建HIVE_SQL即席查询任务外，还支持创建IMPALA_SQL即席查询任务。因Impala基于内存计算，IMPALA_SQL即席查询相对于HIVE_SQL即席查询具备更好的查询响应。同时Dataphin支持IMPALA_...
ECS的安全责任共担模型
虚拟化系统安全：虚拟化技术是云计算的主要技术支撑，通过计算虚拟化、存储虚拟化、网络虚拟化实现云计算环境下的多租户资源隔离。阿里云的虚拟化安全技术主要包括租户隔离、安全加固、逃逸检测修复、补丁热修复、数据擦除等五大基础安全...
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
政务云等保现状及安全资质
阿里云等保现状 2017年11月，政务云平台通过新的云计算安全等级保护三级要求的测评。按照新的云等保要求和监管部门的意见，在具体的云上应用等级保护合规和测评中，涉及阿里云平台侧的相关要求，客户无需再次审查平台侧资质，可以根据实际...
Python内置资源包
在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
Python内置资源包
在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
普通集成
产品分类 产品名称 弹性计算 函数计算 云工作流 云服务器 容器镜像服务 分布式云容器平台 弹性容器实例 Serverless 应用引擎 Web应用托管服务 云桌面 容器服务Kubernetes版 弹性云手机 弹性伸缩 弹性加速计算实例 服务器迁移中心 资源编排 ...
新建Flink计算源
Flink计算源用于承载Dataphin项目下基于Flink的计算资源，只有绑定了Flink计算源的项目，才支持基于Flink引擎研发计算任务。本文将为您介绍如何新建Flink计算源。操作步骤 在Dataphin首页，单击顶部菜单栏的 规划。进入数仓 规划 页面。...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
产品计费
地域 流量单价（元/GB）连接单价（元/个/月）华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北5（呼和浩特）、华北6（乌兰察布）、华南1（深圳）、华南3（广州）、西南1（成都）1 1 云连接器费用计算示例 假设您总共购买...
云计算资源类型
节点模式 支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source HiveStorage 在线类：Elastic Service 流式类：Blink Blink...
云计算资源类型
节点模式 支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job Hologres PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source HiveStorage 在线类：Elastic Service 流式类：...
引擎类型
通信协议级兼容HDFS，可使用开源HDFS客户端直接访问，功能100%兼容HDFS标准，无缝接入所有HDFS开源生态与云计算生态。基于HDFS深度定制开发，具备低成本、EB级数据存储、分钟级存储弹性扩容、带宽水平弹性扩展等能力，适合构建基于HDFS的...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
自建Hive数据仓库迁移到阿里云E-MapReduce
深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。安全 E-MapReduce整合了阿里云RAM资源权限管理系统，通过主子账号对服务...
2022年
新实践 现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群...
实时计算 Flink版
阿里云实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。
Hudi
完善的数据连通性 对接多个阿里云大数据计算分析引擎，数据与计算引擎解耦，可以在Flink、Spark、Presto或Hive间无缝流转。深度打磨DB入湖场景 与Flink CDC连接器联动，降低开发门槛。提供企业级特性 包括集成DLF统一元数据视图、自动且轻...
GPU云服务器
GPU云服务器提供GPU加速计算能力，实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。
术语表
A AccessKey 简称AK，包括AccessKey ID和AccessKey Secret，是访问阿里云API的密钥。在阿里云官网注册云账号后，可以在 AccessKey管理 页面生成该信息，用于标识用户，为访问MaxCompute、其他阿里云产品或连接第三方工具做签名验证。请妥善...
函数计算
阿里云函数计算是事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码，并提供日志查询、性能监控、报警等功能。
函数计算（旧版）
阿里云函数计算是事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码，并提供日志查询、性能监控、报警等功能。
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
基于Hadoop集群支持Delta Lake或Hudi存储机制
涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目（非External...
大数据型
大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题，适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和...
隐私增强计算
阿里云隐私计算平台是行业领先的基于可信执行环境（Trusted Execution Environment，TEE）、安全多方计算（Secure Multi-Party Computation，MPC）、联邦学习（Federated Learning，FL）、差分隐私（Differential Privacy，DP）等隐私增强...
NVR注册、国标级联接入流程
在下级视图计算管理平台配置国标级联 说明 国标级联协议选择“GB/T28181-2016”信令网关编码处填写阿里云视图计算接入网关设备国标ID（在空间详情信息中可获取，20位国标ID）信令网关IP地址处填写阿里云视图计算接入网关IP（在空间详情信息...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
更新历史
本文档主要介绍阿里云视图计算产品功能的更新记录。时间 功能 描述 更多信息 2019-03 阿里云视频云产品视图计算（公测）发布。视图计算（Video Surveillance）是依托阿里云遍布全球的边缘接入节点和出色的视频技术，面向监控设备提供统一...
阿里云函数计算 FC 发布
Flow 提供了 阿里云函数计算（FC）发布能力，支持对已有的函数进行发布。支持使用 OSS 中保存的函数 zip 包发布到阿里云函数计算。函数计算（Function Compute）是一个事件驱动的全托管 Serverless 计算服务。您无需管理服务器等基础设置，...
API使用规范
API 本规范中“API”指：阿里云向您提供的应用程序编程接口（Application Programming Interface,简称API），您编程后通过该应用程序编程接口，可获取阿里云提供的弹性计算服务（ECS）、关系数据库服务（RDS）和对象存储服务（OSS）等阿里...
服务节点
函数计算：选择该服务的前提是需要开通阿里云函数计算，有关阿里云函数计算的产品介绍可参考《阿里云函数计算-产品简介》。短信服务：选择该服务的前提是需要开通阿里云短信服务，有关阿里云短信服务的产品介绍可参考《阿里云短信服务-产品...
视图计算
视图计算（Visual Edge Computing）依托阿里云遍布全球的边缘节点，是面向视图设备（如摄像头、车载终端、消费电子等）上云场景提供连接、视图AI计算、视图云存储的云PAAS服务，让终端设备在最近的边缘节点便捷上云计算，大大降低网络延时...
发展历程
2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换开源体系。2015~2018年，平台开始日趋成熟，ODPS更名为MaxCompute。单集群已过万台，...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
简介
函数调用 函数计算是基于事件驱动的编程模型。事件源可以是设备消息和定时器，也可以是其它函数的调用请求。每一个函数计算不仅以一个独立的程序任务存在，还可以跟普通函数一样被调用，接收调用时传入的参数，并返回处理结果。安装SDK ...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
公共节点
前提条件 您已创建用于进行节点运行、部署、上线的云计算资源，具体操作，请参见 新建云计算资源。背景信息 计算节点是用于定义不同数据类型处理逻辑的节点，而公共节点是可组成数据加工场景且能被多次复用的计算节点。公共场景支持计算...
- 产品推荐
- 这些文档可能帮助您