操作流程
设置运行配置参数 通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理，实现处理多种类型的数据，以及查看同一租户内不同工作组中的任务依赖信息，并支持根据需要设置告警上报信息。具体操作，请参见 步骤三：设置...
管理引导操作
添加引导操作，可以安装您需要的第三方软件或者修改集群运行环境。本文为您介绍如何添加引导操作及其示例。背景信息 引导操作功能可以在集群扩容或弹性伸缩时自动在新增节点上运行指定脚本。手动执行功能可以批量选择在已有节点上运行指定...
全表统计
standarddeviation 标准差 standarderror 标准误差 skewness 偏度 kurtosis 峰度 moment2 二阶矩 moment3 三阶矩 moment4 四阶矩 centralmoment2 二阶中心距 centralmoment3 三阶中心距 centralmoment4 四阶中心距 sum 总和 sum2 平方和 ...
基于消息转发的M2M设备间通信
在 添加Topic 对话框，选择需要处理的消息Topic，然后单击 确定。本示例中，选择手机App设备 ControlApp 的Topic/al987654321/ControlApp/user/command，获取消息中的目标设备的名称 TargetDevice，消息时间戳 Timestamp 和 Switch 三个...
基本概念
项目类型 引擎类型 联邦建模 联邦学习 多方安全建模 训练和预测 多方安全分析 分析 隐私求交 分析 隐私求交 隐私求交（Private Set Intersection，简称 PSI）是一种隐私计算方法，是将各参与方的样本数据做求交集处理。该方法可以保证在...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，便可以实现MaxCompute SQL对其他脚本语言的支持。功能...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
配置脚本模式组件
脚本模式组件用于配置系统组件不支持的配置项，以满足业务场景。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入脚本模式输出配置对话框。在 脚本模式输出...
集群管理FAQ
kubectl get pods-n kube-system 预期输出如下。其中，以kube-开头的Pod都是Kubernetes集群的系统组件，coredns-开头的是DNS插件。预期输出表明，组件状态正常。如果组件状态异常，请执行下一步。执行以下命令，查看其日志信息，定位并解决...
主成分分析
OUT端口-输出参数 参数名 参数描述 输出数据类型 输出 输出参数与模型输出个数（即主成分数量）有关。配置规则：pca_i，i是从1到n的正整数，依次增加，n=主成分数量。例如：当主成分数量为3时，则预测输出参数有3个，分别为pca_1、pca_2、...
数据脱敏
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
AnalyticDB for PostgreSQL数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
提交训练作业
`-train.py#训练脚本，用户可以通过 python train.py 的命令拉起脚本 `-utils.py 获取PAI提供的公共镜像 您在提交训练作业时，需要指定作业的运行镜像，镜像中需要包含作业脚本的执行依赖，例如使用的机器学习框架，以及相关的第三方依赖。...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
UDT示例
本文为您提供常用的UDT示例。例如Java数组、JSON、复杂类型、聚合操作、表值函数、函数...UDT引用嵌入式代码 代码嵌入式UDF允许您将SQL脚本和第三方代码放入同一个源码文件，减少使用UDT的操作步骤，方便日常开发。详情请参见 UDF（嵌入式）。
混合云主控模式最佳实践
source offpremise_config_fetch.sh 脚本输出的OFFPREMISE_PARAMS文件即为配置信息。执行 cat 命令获取配置信息。步骤三：部署线下计算节点 您需要在线下计算节点上部署调度器客户端、用户管理客户端，并挂载云上存储。说明 操作前，请确保...
选择压测引擎
本文指导您如何选择合适的压测引擎快速发起业务场景压测。阿里云性能测试服务支持阿里云自研PTS压测引擎以及开源JMeter引擎。...业务场景复杂，需要动态语言脚本处理请求参数或响应体。非HTTP协议压测，需要使用JMeter插件来实现多协议压测。
配置Amazon S3输入组件
若需忽略前N行，请则将数据内容起始行设置为N+1。数据内容结束行 非必填，如不指定，则默认读到有数据的最后一行。重要 内容结束行需（>=）大于等于起始行，否则将导致任务报错。导出sheet名 默认不导出，如选择导出，则会在输出字段中加入...
配置Amazon S3输入组件
若需忽略前N行，请则将数据内容起始行设置为N+1。数据内容结束行 非必填，如不指定，则默认读到有数据的最后一行。重要 内容结束行需（>=）大于等于起始行，否则将导致任务报错。导出sheet名 默认不导出，如选择导出，则会在输出字段中加入...
服务编排设计器内节点说明
自定义脚本：用于在服务编排中插入自定义脚本，在脚本中支持通过Groovy语言编写脚本来实现循环、分支、变量赋值及自定义函数等编排操作。结束节点：标志着流程的结束，在节点内可设定某变量为当前服务方法的出参。说明 如果流程出参的类型...
HBase数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
新建函数
OUT 输出参数，调用函数时，函数会忽略输出参数本身的值并传入一个空值，在函数体中可以修改输出参数并将修改结果返回给输出参数所代表的实参。INOUT 输入输出参数，即同时具备输入参数和输出参数的功能。说明 Oracle 模式下函数和存储过程...
特征工程
通过推荐算法定制生成的特征工程，对原始数据集（包括用户表、物料表和行为表等）进行处理，并生成新的特征表，以供后续的召回和排序使用。前提条件 已开通PAI（Designer），并创建默认工作空间。具体操作，请参见 开通PAI并创建默认工作...
聚类模型评估
基于原始数据和聚类结果，评估聚类模型的优劣性，从而输出评估指标。使用限制 仅原PAI-Studio平台支持查看该组件的可视化报告。背景信息 评估指标Calinski-Harabasz又称VRC（Variance Ratio Criterion），其计算公式如下。参数 描述 SS B ...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
OpenSearch数据源
附录：OpenSearch脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本...
存储FAQ-Flexvolume
本文介绍您在使用云盘、NAS及OSS存储卷时常见问题的处理方法。类型 问题 存储常见问题 如何解决存储卷挂载不上的问题？如何查看存储相关日志？如何解决Kubelet出现不受ACK管理的Pod日志的问题？云盘存储卷常见问题 云盘挂载失败，出现...
字符串相似度
计算字符串相似度是机器学习领域的一个基本操作，主要用于信息检索、自然语言处理和生物信息学等领域。本文为您介绍字符串相似度算法组件的配置方法。背景信息 字符串相似度算法组件支持Levenshtein（Levenshtein Distance）、LCS（Longest...
配置脚本模式组件
脚本模式组件用于配置系统组件不支持的配置项，以满足业务场景。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 脚本模式输出配置 对话框。在 ...
存储FAQ-Flexvolume
本文介绍您在使用云盘、NAS及OSS存储卷时常见问题的处理方法。类型 问题 存储常见问题 如何解决存储卷挂载不上的问题？如何查看存储相关日志？如何解决Kubelet出现不受ACK管理的Pod日志的问题？云盘存储卷常见问题 云盘挂载失败，出现...
PostgreSQL数据源
附录一：PostgreSQL脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本...
视频播放
媒体处理支持通过播放地址和通过媒体ID播放视频。本文介绍了视频播放的方式以及视频播放步骤。播放方式 通过播放地址播放：场景：针对提交转码作业的输出视频，有确定的输出地址。直接把需要播放的URL地址（OSS URL或CDN URL）传给阿里云...
API概览
RunPython3Script 运行python3脚本 用于提交一段python3的代码片段并执行，只能用于数据处理。RevertPlaybookRelease 回滚剧本版本 用于回滚剧本到指定的版本，同时可以指定回滚时是否发布该版本。RenamePlaybookNode 重命令节点命称 用户...
被邀请方处理邀请
被邀请方收到邀请后，可以通过资源管理控制台、邀请邮件或站内消息查阅邀请信息，然后评估加入资源目录将产生的影响，最后选择接受或拒绝邀请。前提条件 请确保被邀请方未加入任何资源目录，一个阿里云账号只能加入一个资源目录。请确保被...
混淆矩阵
您可以使用SQL脚本组件进行PAI命令调用，详情请参见 SQL脚本。未指定阈值 pai-name confusionmatrix-project algo_public-DinputTableName=wpbc_pred-DoutputTableName=wpbc_confu-DlabelColName=label-DpredictionColName=prediction_...
偏最小二乘回归
模型端口 参数名 参数描述 输出参数 输出数据类型 模型 输出算法训练后模型存储的地址。模型地址 字符 算法参数 参数名 参数描述 是否必填 参数默认值 参数范围 主成分数量 要保留的主成分数量，需要同时小于等于样本数，特征变量个数和...
如何手动更新Windows实例的virtio驱动？
为确保virtio驱动的更新脚本或云助手插件顺利执行，建议您登录Windows实例，临时关闭实例中已安装的第三方杀毒软件（实例自带的杀毒软件无需关闭）。如果您确认您的Windows实例无需更新virtio驱动或者驱动已成功更新，请及时重启第三方杀毒...
- 产品推荐
- 这些文档可能帮助您