新建用户自定义函数
系统支持新建的函数类型，根据Dataphin系统的计算引擎不同而不同：计算引擎类型 支持函数 离线引擎 MaxCompute MAXC函数 Hologres 不支持自定义函数 Hadoop Hadoop函数（Hive函数）、Impala函数 TDH Inceptor 不支持自定义函数 ADB for ...
函数可以访问多少个VPC？
每个函数最多可以配置一个VPC。如果您的函数需要访问一个以上的VPC内的资源，您可以将您的VPC拼接成一个大VPC，并授予您的函数访问这个大VPC的权限。
函数可以访问多少个VPC？
每个函数最多可以配置一个VPC。如果您的函数需要访问一个以上的VPC内的资源，您可以将您的VPC拼接成一个大VPC，并授予您的函数访问这个大VPC的权限。
在函数中配置自定义层
说明 一个函数最多支持配置5个层，包括自定义层和官方公共层。当函数配置多个层时，这些层的内容将被合并至/opt 目录，多个层按照层配置的逆序合并。如果多个层中有同名文件，先配置的层会覆盖后配置的层中的同名文件。
使用限制
函数资源限制 限制项 资源上限 是否支持调整 单个函数下最大允许创建的触发器个数 10个 支持 单个函数最多支持配置NAS挂载点个数 5个 不支持 单个函数最多支持配置OSS挂载点个数 5个 不支持 函数运行资源限制 限制项 资源上限（弹性实例）...
在函数中配置自定义层
说明 一个函数最多支持配置5个层，包括自定义层和官方公共层。当函数配置多个层时，这些层的内容将被合并至/opt 目录，多个层按照层配置的逆序合并。如果多个层中有同名文件，先配置的层会覆盖后配置的层中的同名文件。通过Serverless Devs...
在函数中配置官方公共层
说明 一个函数最多支持配置5个层，包括自定义层和官方公共层。当函数配置多个层时，这些层的内容将被合并至/opt 目录，多个层按照层配置的逆序合并。如果多个层中有同名文件，先配置的层会覆盖后配置的层中的同名文件。
在函数中配置官方公共层
说明 一个函数最多支持配置5个层，包括自定义层和官方公共层。当函数配置多个层时，这些层的内容将被合并至/opt 目录，多个层按照层配置的逆序合并。如果多个层中有同名文件，先配置的层会覆盖后配置的层中的同名文件。通过Serverless Devs...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
准实时推理场景
成本最优 函数计算平台提供的按量付费能力，以及秒级别的计费能力，帮助业务在GPU规格最优后，达到成本最优。对于低GPU资源利用率的工作负载，降本幅度可达70%以上。突发流量支撑 函数计算平台提供充足的GPU资源供给，当业务遭遇突发流量时...
准实时推理场景
成本最优 函数计算平台提供的按量付费能力，以及秒级别的计费能力，帮助业务在GPU规格最优后，达到成本最优。对于低GPU资源利用率的工作负载，降本幅度可达70%以上。突发流量支撑 函数计算平台提供充足的GPU资源供给，当业务遭遇突发流量时...
使用MapReduce处理JindoFS上的数据
Hadoop的job client再加上其他作业的参数提交给ResourceManager，进行调度执行。这种情况下，我们直接修改作业的输入和输出目录即可实现JindoFS的读写。MapReduce on JindoFS样例 以下是MapReduce作业通过修改输入输出实现JindoFS的读写的...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
实时推理场景
规格最优 函数计算平台提供的GPU实例规格，允许您根据自己的工作负载选择不同的卡型，独立配置CPU/GPU/MEM/DISK。最小GPU规格小至1 GB显存/算力，将为您提供最贴合业务的实例规格。突发流量支撑 函数计算平台提供充足的GPU资源供给，当业务...
触发器管理
前提条件 创建函数 创建触发器 重要 单个函数下最多允许创建10个触发器。双向集成触发器 创建定时触发器 创建OSS触发器 创建SLS触发器 创建CDN触发器 创建Tablestore触发器 创建HTTP触发器 创建MNS主题触发器 创建MNS队列触发器 创建...
触发器管理
前提条件 创建服务 创建函数 创建触发器 重要 单个函数下最多允许创建10个触发器。双向集成触发器 创建定时触发器 创建OSS触发器 创建SLS触发器 创建CDN触发器 创建Tablestore触发器 创建HTTP触发器 创建MNS主题触发器 创建MNS队列触发器 ...
SHOW
查看当前MaxCompute项目中所有内建函数、或符合某规则的内建函数的信息。实例操作 查看实例信息，包括StartTime（时间精确到秒）、RunTime（s）、Status（实例状态）、InstanceID、实例所有者、Query（执行语句）。查询权限信息 查询用户、...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
2021年
2021-08-31 全部地域 复杂类型函数 日期与时间函数 字符串函数 数学函数 其他函数 MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。...
利用MaxCompute External Volume处理非结构化数据
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
弹性管理（含预留模式）
当指标超过扩容阈值时，开始以积极的策略扩容预留模式的函数实例量，最快速度将函数实例量扩容至目标值。当指标低于缩容阈值时，开始以保守的策略缩容预留模式的函数实例量，小幅度向缩容目标值贴近。如果在系统中设置了伸缩最大值和最小值...
迁移HDFS数据到OSS
在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo ...
函数级按量实例伸缩控制
本文介绍函数级按量实例伸缩控制的背景信息、应用场景、使用限制、使用说明以及TPS计算公式。背景信息 为了防止过度调用函数导致费用失控，每个账号在当前地域中按量实例数存在限制，该限制为账号级别限制，所有函数共享按量实例数的最大...
函数存储选型
持久 调用间共享 是 是 否 是 存储内容 可写 可写 可写 不可写 存储类型 文件系统 对象 文件系统 代码依赖归档 事件源集成 否 是 否 否 函数访问速度 较快 快 最快 快 计费 NAS计费概述 OSS计费概述 硬盘规格≤512 MB：免费，具体见 计费项...
函数存储选型
持久 调用间共享 是 是 否 是 存储内容 可写 可写 可写 不可写 存储类型 文件系统 对象 文件系统 代码依赖归档 事件源集成 否 是 否 否 函数访问速度 较快 快 最快 快 计费 NAS计费概述 OSS计费概述 硬盘规格≤512 MB：免费，具体见 计费项...
使用WebIDE打包函数第三方依赖
WebIDE支持终端的实例环境和线上 函数计算 执行环境相同。基于WebIDE实例的终端可以完成和 函数计算 运行环境无平台差异的第三方依赖打包。本文介绍Python、Node.js、PHP运行时和自定义运行时如何通过WebIDE终端打包函数的第三方依赖。...
使用WebIDE打包函数第三方依赖
WebIDE支持终端的实例环境和线上函数计算执行环境相同。基于WebIDE实例的终端可以完成和函数计算运行环境无平台差异的第三方依赖打包。本文介绍Python、Node.js、PHP运行时和自定义运行时如何通过WebIDE终端打包函数的第三方依赖。Python ...
配置自定义域名
如果您希望通过浏览器正常访问函数或者希望通过固定域名访问函数，您需要配置自定义域名。典型应用场景 函数计算 支持创建函数处理HTTP请求。在以下示例场景中，您需要为Web应用绑定自定义域名。您创建了一个Web应用，并将该应用迁移到 ...
配置自定义域名
如果您希望通过浏览器正常访问函数或者希望通过固定域名访问函数，您需要配置自定义域名。典型应用场景 HTTP函数可以被看作为一个Web应用，该应用能处理HTTP请求，并将处理结果返回给调用端。在以下示例场景中，您需要为Web应用绑定自定义...
GetFunctionAsyncInvokeConfig-获取函数异步配置
获取一个服务下某个函数的异步调用配置。接口说明 配置中的 StatefulAsyncInvocation 即为异步任务的配置项。当 StatefulAsyncInvocation 取值为 true 时，代表您已开启异步任务，所有的异步调用将变为异步任务模式。调试 您可以在OpenAPI ...
ListFunctionAsyncInvokeConfigs-获取函数异步配置...
查询一个服务下某个函数的所有异步配置。当配置个数超过limit个数时，将返回nexttoken参数。可以使用该参数进行后续的分页查询。接口说明 配置中的 StatefulAsyncInvocation 即为异步任务的配置项。当 StatefulAsyncInvocation 取值为 true...
PutFunctionAsyncInvokeConfig-配置函数异步请求配置
创建或更新函数的异步调用配置。接口说明 配置中的 StatefulAsyncInvocation 即为异步任务的配置项。异步任务在普通的异步调用基础上增加了状态管理的功能，更适用于各类任务场景。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
函数创建方式选型
为满足不同场景下的用户需求，函数计算 提供事件函数、Web函数和容器镜像的创建方式。本文介绍 函数计算 支持的创建函数方式的适用场景及差异，供您进行技术选型。选型分析 对比项 事件函数 Web函数 容器镜像 适用场景 按照函数计算定义的...
使用限制
服务资源限制 限制项 资源上限 是否支持调整 单个服务下最大允许创建的函数个数 50个 支持 单个服务最多支持配置NAS挂载点个数 5个 不支持 单个服务最多支持配置OSS挂载点个数 5个 不支持 函数运行资源限制 限制项 资源上限（弹性实例）...
HTTP请求处理程序（HTTP Handler）
不设置 x-fc-status：函数计算 默认本次调用是成功执行的，但是您的函数可能有异常，没有向 函数计算 汇报，函数计算 会认为这次函数执行没有报错，在业务逻辑上可能没有影响，但是在监控可观测性上会有影响。如下图所示：设置 x-fc-status...
HTTP请求处理程序（HTTP Handler）
不设置 x-fc-status：函数计算 默认本次调用是成功执行的，但是您的函数可能有异常，没有向 函数计算 汇报，函数计算 会认为这次函数执行没有报错，在业务逻辑上可能没有影响，但是在监控可观测性上会有影响。如下图所示：设置 x-fc-status...
Web函数
本文介绍Custom Runtime中函数调用的方式、使用限制及代码示例。背景信息 Custom Runtime支持托管用户的HTTP Server，并将函数调用的请求转换为HTTP请求发送到HTTP Server，将HTTP Server的响应转换为函数调用的响应返回给Client。过程示意...
- 产品推荐
- 这些文档可能帮助您