Model
描述模型解决问题所属领域，如 nlp（自然语言处理），cv（计算机视觉）等。nlp Task string 任务。描述模型解决的具体问题，如 text-classification（文本分类）等。text-classifiaction ModelDoc string 模型介绍文档。https://*.md ...
iTAG常见问题
本文汇总 iTAG 的常见问题及解决方法。如何解决iTAG内容加载失败的问题？控制台界面显示没有iTAG权限，该如何授权？使用iTAG API的过程中，租户ID如何查找？创建标注任务时，数据集格式解析失败，如何处理？如何解决 iTAG 内容加载失败的...
2020年
2020年12月15日 华北2（北京）华东2（上海）华东1（杭州）华南1（深圳）DSW概述 文本内容反垃圾模型 PAI-ModelHub提供了BERT分类模型，用于对文本内容进行反垃圾处理，输入为单句。该模型的结构与新闻分类模型相同。2020年12月22日 无 ...
流程中心
持续交付模块支持配置人工审批流程。在研发过程中，您可以按照实际需求，对代码流程、发布流程、验收流程进行审批条件的配置，从而更好的把握各个阶段的研发产出。说明 流程审批人会在流程发生变化时收到邮件通知。测试验证 此类型人工审批...
转人工设置
转人工回复话术 您可以自定义提示话术，用于机器人提示用户，即将转接到人工客服 参数设置 转人工技能组：用于指定转人工后承接的技能组 自定义参数：您可以自定义参数，在转人工时传递给人工客服 客服工作台响应 1、当您使用阿里云云客服...
分布式训练DLC 算力健康检测发布
支持对训练任务的资源健康度与性能进行检查，提升训练成功率及问题诊断效率。适用客户 AI大模型训练场景的客户。新增功能/规格 算力健康检测（Sanity Check）功能，旨在对分布式训练任务的算力资源健康度与性能进行检查。在创建DLC训练任务...
UpdateModel-更新模型
例如：nlp（自然语言处理）、cv（计算机视觉）等。nlp Task string 否 任务。描述模型解决的具体问题。例如：text-classification（文本分类）等。text-classification ModelDoc string 否 模型文档。https://*.md OrderNumber long 否 ...
CreateModel-创建模型
例如：nlp（自然语言处理）、cv（计算机视觉）等。nlp Task string 否 任务。描述模型解决的具体问题。例如：text-classification（文本分类）等。text-classification ModelDoc string 否 模型文档。https://*.md OrderNumber long 否 ...
新手指引
本文介绍从开通媒体处理服务到使用媒体处理提交任务的全流程，便于您快速上手使用媒体处理服务。快速使用媒体处理 前提条件 注册阿里云账号并完成账号实名认证。详细操作请参见 注册阿里云账号。步骤一、开通服务 开通媒体处理服务，详细...
LLM-删除LaTeX参考文献（MaxCompute）
LLM-删除LaTeX参考文献组件主要用于大语言模型（LLM）的文本数据预处理工作，适用于TEX文档格式数据。主要功能是删除LaTeX格式文本末尾的参考文献。支持的 计算资源 MaxCompute 算法说明 定义LaTeX格式文本参考文献的正则表达式为：r'(\\...
LLM-扩展LaTeX宏定义（MaxCompute）
LLM-扩展LaTeX宏定义组件主要用于大语言模型（LLM）的文本数据预处理工作，适用于TEX文档格式数据。主要功能是内联扩展所有无参数的宏，宏如果由字母和数字组成且没有参数，则将宏的名称替换成宏的值。支持的 计算资源 MaxCompute 算法说明...
复核人工审核结果
如果内容安全的人工审核结果不符合您的预想，您可以对审核结果进行复核。文本介绍如何复核人工审核的结果。背景信息 人工审核模块展示所有人工审核的数据，从审核模式来分，包括人机审核和纯人工审核。从审核结果来分，包括 正常（pass）、...
CreateLayer-创建层
层与层之间正交，可独立开展实验，避免流量饥饿问题。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 ...
异常检测
异常检测用于检测连续值和枚举值类特征的数据，帮助您挖掘数据中...否 coreNum 节点个数，与参数memSizePerCore配对使用，取值范围[1,9999]。说明 仅支持配置正整数。否 memSizePerCore 单个结点内存大小，取值范围[2048,64*1024]，单位MB。否
LLM-文本标准化（MaxCompute）
LLM-文本标准化组件主要用于大语言模型（LLM）的文本数据预处理工作，可以将文本Unicode标准化以及繁体转简体。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-文本标准化组件支持以下功能：将Unicode文本标准化，使用NFKC的方式标准化...
人工坐席快速入门
在呼叫中心客服工作台中人工坐席可以进行热线外呼、热线接待、创建工单、处理工单等操作。本文将帮助您快速开始使用人工坐席。使用流程 人工坐席快速入门流程如下图所示：注册阿里云账号 并完成 企业实名认证。开通服务。创建实例。实例为...
LLM-文章内句子去重（MaxCompute）
LLM-文章内句子去重组件主要用于大语言模型（LLM）的文本数据预处理工作，对文章内的语句进行去重。使用限制 仅支持MaxCompute计算引擎。算法简介 首先根据换行符将文本进行拆分，然后对拆分后的每行文本使用。……,\\?\\?等标点符号进行...
LLM-Copyright信息移除（MaxCompute）
无 设置输出表生命周期 否 正整数，单位为天。默认28天，28天后该组件产生的临时表被回收。28 执行调优 每个实例的cpu数目 否 设定map task每个instance的CPU数目，取值范围为[50,800]。100 每个实例的memory大小，单位M 否 设定map task每...
LLM-敏感信息打码（MaxCompute）
该组件主要用于大语言模型（LLM）的文本数据预处理工作，可以将敏感信息打码，例如将邮箱地址字符替换成[EMAIL]，手机/电话号码替换成[TELEPHONE]或[MOBILEPHONE]，身份证号码替换成[IDNUM]。使用限制 仅支持MaxCompute计算引擎。算法简介 ...
洛伦兹曲线
28 coreNum 否 与参数 memSizePerCore 配对使用，取值为正整数。系统会根据输入数据量计算所起instance的数量。默认自动计算 memSizePerCore 否 单个节点内存大小，单位MB。取值为正整数，取值范围建议为(1024,64*1024)。默认自动计算 示例...
LLM-特殊内容移除（MaxCompute）
LLM-特殊内容移除组件主要用于大语言模型（LLM）的文本数据预处理工作，可以移除文本中的特殊内容，例如文章中的导航信息、作者信息、文章来源信息、URL链接、不可见字符、去除HTML格式字符并解析出HTML文本等。使用限制 仅支持MaxCompute...
特征离散
与 memSizePerCore 参数配对使用，取值为正整数。系统自动分配。memSizePerCore 否 单个节点内存大小，单位为兆。取值为正整数。系统自动分配。示例 输入数据 使用 SQL生成输入数据。create table if not exists pai_dense_10_1 as select ...
产品优势
本文介绍人工辅助产品的优势。人工辅助具备实时语音或文本的辅助功能，具有以下优势：客服服务提效 实时知识推荐：使客服精准快速回复客户问题。自动SOP流程辅助：使客服按照标准业务流程进行服务。提高服务质量 实时检测敏感词。实时检测...
查看账单与用量明细
Designer 的实例ID为算法组件的类别，包括：text_analysis（文本分析）、data_analysis（数据分析）、data_manipulation（数据预处理）、deep_learning（深度学习）及default（默认算法）。分别选择 产品 为 人工智能平台PAI，产品明细 为...
Doc2Vec
Doc2Vec算法将文档ID视为一个词来进行训练，其中句向量表示与该文档ID相对应的向量，词向量是在文档ID充当上下文时训练得到的向量。您可以通过Doc2Vec算法组件将文章映射为向量，输入为词汇表，输出为文档向量表、词向量表或词汇表。本文为...
分布式训练加速TorchAcc概述
针对上述问题，TorchAcc的目标是在保持Pytorch灵活性的基础上，为模型训练提供系统的优化处理。TorchAcc的架构图如下所示。TorchAcc的核心逻辑如下：通过LazyTensor+HybridDispatcher将PyTorch中的eager execution转换为IR表达式，然后进行...
产品架构
平台工具层（灵骏智算服务&人工智能框架）：人工智能框架：包括Alink、TensorFlow、PyTorch、Megatron、DeepSpeed及RLHF等智能框架，用于执行分布式计算任务。优化与加速框架：包括DatasetAcc数据集加速、TorchAcc训练加速、EPL并行训练...
文本人工审核
本文介绍了调用文本人工审核接口（/green/text/manual/asyncScan）进行人工审核的方法。内容安全除了提供机器识别服务外，还提供纯人工审核服务，如果您对识别结果的准确率和召回率要求非常高，请使用人工审核功能。说明 使用该服务前，请...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 人工智能平台 PAI（PAI）为RAM权限...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 人工智能平台 PAI（PAI）为RAM权限...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 人工智能平台 PAI（PAI）为RAM权限...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 人工智能平台 PAI（PAI）...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 人工智能平台 PAI（PAI）为RAM权限...
工作流概述
Designer通过工作流的方式来实现建模与模型调试。您需要先规划并创建一个工作流，再根据建模需求在工作流中排布不同组件的处理调度逻辑。规划工作流分类文件夹 在创建工作流之前，建议您结合自身业务情况，先规划好工作流的分类文件夹，...
MTable展开
处理无效值的方法 处理无效值的方法，取值如下：ERROR（默认值）：抛异常。SKIP：跳过。执行调优 节点个数 与单个节点内存大小参数配对使用。取值为[1,9999]的正整数。单个节点内存大小，单位M 取值范围为1024 MB~64*1024 MB。通过代码方式...
授权信息
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 人工智能平台 PAI（PAI）为RAM权限...
向量聚合
处理无效值的方法 取值如下：ERROR（默认值）：任务抛异常退出。SKIP：输出NULL。组件多线程线程个数 默认1。执行调优 节点个数 与单个节点内存大小参数配对使用。取值为[1,9999]的正整数。单个节点内存大小，单位M 取值范围为1024 MB~64*...
列数据转向量
解析异常处理策略 取值如下：ERROR（默认值），任务抛异常退出。SKIP，输出NULL。向量长度 向量长度，默认-1。执行调优 节点个数 与单个节点内存大小参数配对使用。取值为[1,9999]的正整数。单个节点内存大小，单位M 取值范围为1024 MB~64*...
LLM数据处理
本文以开源项目RedPajama在GitHub中的少量数据为例，为您介绍如何使用PAI提供的LLM大语言模型数据处理组件，对GitHub代码数据进行数据清洗和处理。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，...
标准化训练
在数据预处理中，为了降低不同列的数据量级和范围大小带来的影响，需要将各列数据进行标准化操作。标准化之后，不同列的数据都会被限定到同一个数据范围内。标准化组件假设数据符合正态分布。使用限制 支持的计算引擎为MaxCompute和Flink。...
- 产品推荐
- 这些文档可能帮助您