函数存储选型
持久 调用间共享 是 是 否 是 存储内容 可写 可写 可写 不可写 存储类型 文件系统 对象 文件系统 代码依赖归档 事件源集成 否 是 否 否 函数访问速度 较快 快 最快 快 计费 NAS计费概述 OSS计费概述 硬盘规格≤512 MB：免费，具体见 计费项...
数据湖集群
因此数据湖集群对每一个节点组增加了最多两个附加安全组，从而可以精细化控制节点组出入端口的规则。另外，EMR数据湖集群将挂载公网功能移到了节点组，这样可以更好的搭配附加安全组实现精细化的对外开放公网的管理。Spark部署 数据湖集群...
配置原生OSS触发器
前提条件 函数计算 创建函数 对象存储 OSS 控制台创建存储空间 使用限制 原生OSS触发器，一个Bucket最多支持关联10个触发器。说明 如果您需要在一个Bucket内，关联更多的OSS触发器，可以选择创建EventBridge类别的OSS触发器。通常情况下，...
HTTP触发器概述
出现客户端499错误后函数实例会重启，您可以通过配置健康检查避免实例重启，具体原因及操作请参见 为什么函数出现客户端499错误后函数实例会重启？如果客户端调用出现超时情况，您可以将耗时的逻辑放在新的函数中，使用函数的异步调用功能...
HTTP请求处理程序（HTTP Handler）
不设置 x-fc-status：函数计算 默认本次调用是成功执行的，但是您的函数可能有异常，没有向 函数计算 汇报，函数计算 会认为这次函数执行没有报错，在业务逻辑上可能没有影响，但是在监控可观测性上会有影响。如下图所示：设置 x-fc-status...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
基于函数计算一键部署Stable Diffusion进行AI绘画创作
本文介绍如何通过函数计算搭建Stable Diffusion的WebUI框架实现文本生成图片。背景信息 AIGC（Artificial Intelligence Generated Content）是指人工智能生成内容。“文生图”技术是指使用AI绘画创作图片。Stable Diffusion是一个可通过...
HTTP请求处理程序（HTTP Handler）
不设置 x-fc-status：函数计算 默认本次调用是成功执行的，但是您的函数可能有异常，没有向 函数计算 汇报，函数计算 会认为这次函数执行没有报错，在业务逻辑上可能没有影响，但是在监控可观测性上会有影响。如下图所示：设置 x-fc-status...
配置OSS文件系统
对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务。您可以通过为 函数计算 的服务配置OSS挂载，让服务下的函数使用OSS可以实现类似本地文件系统的操作体验，从而简化资源访问和数据处理流程。使用限制...
Web函数
本文介绍Custom Runtime中函数调用的方式、使用限制及代码示例。背景信息 Custom Runtime支持托管用户的HTTP Server，并将函数调用的请求转换为HTTP请求发送到HTTP Server，将HTTP Server的响应转换为函数调用的响应返回给Client。过程示意...
Kafka触发器
消息队列 Kafka 版 作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过 消息队列 Kafka 版 触发器（以下简称Kafka触发器）能够触发关联函数执行，通过函数可以对发布到 消息队列 Kafka 版 的消息进行自定义处理。本文介绍如何在...
自建Apache RocketMQ触发器
Apache RocketMQ作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过Apache RocketMQ触发器能够触发关联函数执行，通过函数可以对发布到Apache RocketMQ的消息进行自定义处理。本文介绍如何在 函数计算 控制台创建Apache ...
自建Apache RocketMQ触发器
Apache RocketMQ作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过Apache RocketMQ触发器能够触发关联函数执行，通过函数可以对发布到Apache RocketMQ的消息进行自定义处理。本文介绍如何在 函数计算 控制台创建Apache ...
Custom Container代码开发
本文介绍Custom Container中函数调用的方式、使用限制及代码示例。背景信息 Custom Container支持托管用户的HTTP Server，并将函数调用的请求转换为HTTP请求发送到HTTP Server，将HTTP Server的响应转换为函数调用的响应返回给Client。过程...
网络开通流程
为Hadoop集群的安全组配置如下信息，确保MaxCompute可以访问Hadoop集群。安全组配置内容如下：配置Hadoop集群所在安全组的入方向访问规则。授权对象为ENI所在的安全组，即步骤2中创建的安全组。HiveMetaStore端口：9083。HDFS NameNode端口...
基于函数计算快速部署可切换模型的Stable Diffusion
本文介绍如何通过函数计算搭建可切换模型的Stable Diffusion，实现更高质量的图像生成。背景信息 AIGC（Artificial Intelligence Generated Content）是指人工智能生成内容。Stable Diffusion是一个可通过文本生成图像的扩散模型，基于CLIP...
设置实例并发度
这要求您在编写函数时，对于非线程安全的变量修改要进行互斥保护。Java代码示例如下。public class App implements StreamRequestHandler { private static int counter=0;Override public void handleRequest(InputStream inputStream,...
函数创建方式选型
为满足不同场景下的用户需求，函数计算 提供事件函数、Web函数和容器镜像的创建方式。本文介绍 函数计算 支持的创建函数方式的适用场景及差异，供您进行技术选型。选型分析 对比项 事件函数 Web函数 容器镜像 适用场景 按照函数计算定义的...
为HTTP触发器配置JWT认证鉴权
在函数计算中，为HTTP触发器配置JWT认证鉴权，可以确保仅持有有效JWT的客户端才能访问函数，从而提升HTTP服务的安全性，有效防止未经授权的访问和阻挡恶意攻击。背景信息 简介 函数计算支持为HTTP触发器开启JWT认证鉴权。JWT（JSON Web ...
创建Web函数
如果您想基于各个语言的流行框架如Flask、Express、SpringBoot等编写程序，或者迁移已有的框架应用，请选择创建Web函数。通过设置实例并发度，您可以在流量高峰期有效管理资源使用，降低冷启动影响，从而提升性能和控制成本。创建函数 登录...
为HTTP触发器配置JWT认证鉴权
在函数计算为HTTP触发器配置JWT认证鉴权，可以确保只有持有有效JWT的客户端才能访问，从而提升HTTP服务的安全性，有效防止未经授权的访问和阻挡恶意攻击。背景信息 简介 函数计算支持为HTTP触发器开启JWT认证鉴权。JWT（JSON Web Token，...
配置原生OSS触发器
您可以在 函数计算 控制台创建并配置原生OSS触发器，当在OSS上发生特定事件时会自动触发函数执行。这可以让您轻松响应如文件上传等事件，无需在代码中增加监听事件逻辑即可快速实现完整的流程。示例场景 您可以配置一个OSS触发器，并将其...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
函数运行时选型
为满足不同场景下的用户需求，函数计算 提供内置运行时、自定义运行时和自定义容器运行时。本文介绍 函数计算 支持的函数运行时的适用场景及差异，供您进行技术选型。选型分析 对比项 内置运行时 自定义运行时 自定义容器运行时 适用场景 ...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
设置实例并发度
这要求您在编写函数时，对于非线程安全的变量修改要进行互斥保护。Java代码示例如下。public class App implements StreamRequestHandler { private static int counter=0;Override public void handleRequest(InputStream inputStream,...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
操作审计
您可以将这些行为事件下载或保存到日志服务SLS或对象存储OSS存储空间中，然后进行行为分析、安全分析、资源变更行为追踪及行为合规性审计等操作。操作步骤 登录 函数计算控制台。在左侧导航栏，选择 更多功能>审计日志。在顶部菜单栏，选择...
配置EventBridge类别的OSS触发器
前提条件 事件总线EventBridge 开通事件总线EventBridge并授权 函数计算 创建服务 创建函数 对象存储OSS 控制台创建存储空间 步骤一：创建EventBridge类别的OSS触发器 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在顶部菜单栏，...
配置自定义域名
启用后支持对函数或者应用的业务流量进行恶意特征识别，对流量进行清洗和过滤后，将正常和安全的流量回源至后端函数，避免函数被恶意侵入。更多信息，请参见 开启Web应用防火墙。CDN 设置 CDN 加速 根据需要启用或禁用CDN加速开关。为域名...
配置自定义域名
如果您希望通过浏览器正常访问函数或者希望通过固定域名访问函数，您需要配置自定义域名。典型应用场景 HTTP函数可以被看作为一个Web应用，该应用能处理HTTP请求，并将处理结果返回给调用端。在以下示例场景中，您需要为Web应用绑定自定义...
配置EventBridge类别的OSS触发器
前提条件 事件总线EventBridge 开通事件总线EventBridge并授权 函数计算 创建函数 对象存储OSS 控制台创建存储空间 步骤一：创建EventBridge类别的OSS触发器 登录 函数计算控制台，在左侧导航栏，单击 函数。在顶部菜单栏，选择地域，然后...
配置权限助手
权限助手简化了 函数计算 相关的RAM权限策略配置，帮助您快速自定义权限和划分角色。本文介绍如何在 函数计算 控制台快速创建RAM权限策略草稿并在RAM控制台完成最终权限配置。背景信息 权限助手是一个生成RAM权限策略的工具，能够协助您对 ...
构建基于Serverless架构的弹性高可用音视频处理系统
下文中选用点播视频中最常用的两个格式MP4和FLV之间进行相互转换，函数内存设置为3 GB，经实验验证，基于该方案MP4与FLV相互转换的费用如下表所示。成本下降百分比公式为：成本下降百分比=（某云视频处理费用-函数计算转码费用）÷某云视频...
配置NAS文件系统
文件存储NAS是一种分布式的网络文件存储系统，为ECS、HPC、Docker、BatchCompute等提供安全、高性能、高可靠、简单易用的文件存储服务。本文介绍如何通过 函数计算 控制台配置NAS文件系统。背景信息 阿里云 函数计算 支持与文件存储NAS无缝...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
创建EMR MR节点
使用EMR MR节点进行作业开发时，如果需要引用自定义函数时，您需要先将自定义函数作为资源上传至EMR JAR资源节点中，新建注册此函数，详情请参见 创建EMR函数。如果您使用本文的作业开发示例执行相关作业流程，则还需要创建好OSS的存储空间...
- 产品推荐
- 这些文档可能帮助您