Spark常见问题
object SparkPi {/必须是object，如果在IDEA创建文件的时候写为class，main函数是无法加载的。def main(args:Array[String]){ val spark=SparkSession.builder().appName("SparkPi").getOrCreate()检查主类代码配置。val spark=...
通过阿里云账号给RAM用户授权
应用场景 企业A开通了 函数计算 服务，该企业需要员工操作 函数计算 的相关资源，例如创建函数和删除函数等。由于每个员工的工作职责不一样，所以需要的权限也不一样。企业A的需求如下：出于安全或信任的考虑，不希望将阿里云账号密钥直接...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
术语表
F Function（函数）MaxCompute提供函数功能，包括内建函数和UDF。更多函数信息，请参见 函数。fuxi（伏羲）伏羲是飞天平台内核中负责资源管理和任务调度的模块，同时也为应用开发提供了一套编程基础框架。MaxCompute的底层任务调度模块为...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
通过阿里云账号给RAM用户授权
应用场景 企业A开通了 函数计算 服务，该企业需要员工操作 函数计算 的相关资源，例如创建服务、删除服务、创建函数和删除函数等。由于每个员工的工作职责不一样，所以需要的权限也不一样。企业A的需求如下：出于安全或信任的考虑，不希望...
2021年
2021-08-31 全部地域 复杂类型函数 日期与时间函数 字符串函数 数学函数 其他函数 MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
2017年功能发布记录
使用函数计算 阿里云函数计算商业化 新增 函数计算是一个无服务器的全托管的运行环境，您只需编写代码并设置运行的条件，就可以弹性、安全地运行。函数计算会自行维护服务器资源、网络资源，以及消息分发和负载均衡等功能。其特点如下：能...
通过第三方服务触发函数
在 函数代码 区域，选择 运行环境 为Node.js，选择 代码上传方式 为 使用示例代码，并单击 API网关触发函数。创建完成后，可在 函数详情 页面查看详情。步骤四：创建事件规则 登录 事件总线EventBridge 控制台，找到 步骤一：创建自定义...
弹性管理（含预留模式）
当指标超过扩容阈值时，开始以积极的策略扩容预留模式的函数实例量，最快速度将函数实例量扩容至目标值。当指标低于缩容阈值时，开始以保守的策略缩容预留模式的函数实例量，小幅度向缩容目标值贴近。如果在系统中设置了伸缩最大值和最小值...
创建Custom Container函数
当函数计算平台的标准运行时无法满足您的业务需求时，可以选择自定义容器函数。本文介绍如何在 函数计算 控制台或使用Serverless Devs工具创建Custom Container函数。注意事项 在函数计算中，创建Custom Container函数必须使用相同地域内 ...
函数级按量实例伸缩控制
本文介绍函数级按量实例伸缩控制的背景信息、应用场景、使用限制、使用说明以及TPS计算公式。背景信息 为了防止过度调用函数导致费用失控，每个账号在当前地域中按量实例数存在限制，该限制为账号级别限制，所有函数共享按量实例数的最大...
开启Web应用防火墙
阿里云Web应用防火墙（简称WAF 3.0）支持对函数或者应用的业务流量进行恶意特征识别，对流量进行清洗和过滤后，将正常和安全的流量回源至后端函数，避免函数被恶意侵入。本文介绍如何通过控制台为函数计算的自定义域名开启Web应用防火墙...
开启Web应用防火墙
阿里云Web应用防火墙（简称WAF 3.0）支持对函数或者应用的业务流量进行恶意特征识别，对流量进行清洗和过滤后，将正常和安全的流量回源至后端函数，避免函数被恶意侵入。本文介绍如何通过控制台为函数计算的自定义域名开启Web应用防火墙...
访问数据库
为了解决上述难题，您可以将数据库放置于安全的VPC中，为函数所在的服务配置允许访问该VPC内资源的功能，然后将在函数计算中配置的交换机网段添加至数据库访问白名单，即可通过VPC安全地访问您的云数据库。函数计算访问数据库工作流程如下...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
运行时介绍
函数计算 通过使用运行时支持多种编程语言。在创建函数时，需要选择上传代码需要的运行时环境；在更新函数时，可以通过更新函数的配置来更改或升级运行时环境。本文介绍 函数计算 支持的运行时以及运行时终止策略。背景信息 运行时执行环境...
运行时介绍
函数计算 通过使用运行时支持多种编程语言。在创建函数时，需要选择上传代码需要的运行时环境；在更新函数时，可以通过更新函数的配置来更改或升级运行时环境。本文介绍函数计算支持的运行时以及运行时终止策略。背景信息 运行时执行环境...
函数计算如何保证代码的安全？
函数计算 对代码进行加密并将其存储在对象存储OSS中。每当使用代码时，函数计算 都执行完整性检查。另外，代码属于用户数据，函数计算 严格其保证存储安全和隔离安全。阿里云不会读取用户数据，任何账号均无权限读取其他账号的代码。
配置实例生命周期
函数计算 在实例中调用您的函数，该实例提供一个安全和隔离的运行时环境。函数计算 基于实例生命周期增加多种回调操作，有效解决传统应用迁移至Serverless架构时遇到的指标数据延迟或丢失等痛点。本文介绍函数实例生命周期、如何配置实例...
使用WebIDE打包函数第三方依赖
WebIDE支持终端的实例环境和线上 函数计算 执行环境相同。基于WebIDE实例的终端可以完成和 函数计算 运行环境无平台差异的第三方依赖打包。本文介绍Python、Node.js、PHP运行时和自定义运行时如何通过WebIDE终端打包函数的第三方依赖。...
使用WebIDE打包函数第三方依赖
WebIDE支持终端的实例环境和线上函数计算执行环境相同。基于WebIDE实例的终端可以完成和函数计算运行环境无平台差异的第三方依赖打包。本文介绍Python、Node.js、PHP运行时和自定义运行时如何通过WebIDE终端打包函数的第三方依赖。Python ...
GetFunctionAsyncInvokeConfig-获取函数异步配置
获取一个服务下某个函数的异步调用配置。接口说明 配置中的 StatefulAsyncInvocation 即为异步任务的配置项。当 StatefulAsyncInvocation 取值为 true 时，代表您已开启异步任务，所有的异步调用将变为异步任务模式。调试 您可以在OpenAPI ...
ListFunctionAsyncInvokeConfigs-获取函数异步配置...
查询一个服务下某个函数的所有异步配置。当配置个数超过limit个数时，将返回nexttoken参数。可以使用该参数进行后续的分页查询。接口说明 配置中的 StatefulAsyncInvocation 即为异步任务的配置项。当 StatefulAsyncInvocation 取值为 true...
PutFunctionAsyncInvokeConfig-配置函数异步请求配置
创建或更新函数的异步调用配置。接口说明 配置中的 StatefulAsyncInvocation 即为异步任务的配置项。异步任务在普通的异步调用基础上增加了状态管理的功能，更适用于各类任务场景。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
使用限制
服务资源限制 限制项 资源上限 是否支持调整 单个服务下最大允许创建的函数个数 50个 支持 单个服务最多支持配置NAS挂载点个数 5个 不支持 单个服务最多支持配置OSS挂载点个数 5个 不支持 函数运行资源限制 限制项 资源上限（弹性实例）...
访问Redis示例
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
HTTP请求处理程序（HTTP Handler）
在 函数详情 页面，单击 函数代码 页签，在代码编辑器中输入上述示例代码，然后选择 Terminal>New Terminal，在终端框中执行 pip install flask-t.，将Flask库安装到当前目录下，最后单击 部署代码。单击 测试函数。函数执行成功后，查看...
功能特性
配置自定义域名 开启Web应用防火墙 阿里云Web应用防火墙（简称WAF 3.0）支持对函数或者应用的业务流量进行恶意特征识别，对流量进行清洗和过滤后，将正常和安全的流量回源至后端函数，避免函数被恶意侵入。开启Web应用防火墙 多语言运行时 ...
2023年功能发布记录
Custom Runtime环境说明 自定义域名的Web应用防火墙安全防护功能 新增 阿里云Web应用防火墙（简称WAF 3.0）支持对函数或者应用的业务流量进行恶意特征识别，然后将正常和安全的流量回源至后端函数，避免函数被恶意侵入。函数计算与WAF 3.0...
数据库访问失败的常见原因
本文介绍函数计算访问数据库失败的常见原因。常见原因排查 数据库连接偶现失败 如果您访问数据库偶现失败，可按照以下步骤进行原因排查。数据库断开连接时，是否使用 destroy()替换 end()使用。由于函数实例在空闲2~5分钟左右后，会自动...
访问RDS MySQL示例
访问数据库是指在 函数计算 中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
访问RDS SQL Server示例
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
访问RDS PostgreSQL数据库
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
访问MongoDB示例
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
配置HTTP触发器并使用HTTP触发
前提条件 创建函数 步骤一：创建触发器 登录 函数计算控制台，在左侧导航栏，单击 函数。在顶部菜单栏，选择地域，然后在 函数 页面，单击目标函数。在函数详情页面，选择 配置 页签，在左侧导航栏，单击 触发器，然后单击 创建触发器。在...
配置HTTP触发器并使用HTTP触发
步骤三：测试函数 方式一：使用控制台测试函数 同步调用 在函数详情页面，单击 函数代码 页签，然后单击 测试函数。异步调用 在函数详情页面，单击 测试函数 页签，勾选 我想通过异步的方式进行调用，然后单击 测试函数。方式二：使用浏览...
函数实例命令行操作
背景信息 实例是请求的执行环境，请求开始执行前，函数计算 会为每个请求分配一个最合适的实例，请求执行结束会将空闲实例释放。实例命令行操作功能能够支持在实例的真实运行环境中执行指定命令，例如登录进入实例查看实例环境信息，或者...
- 产品推荐
- 这些文档可能帮助您