联邦预处理
DRGs 文本预处理 函数路径 fascia.biz.preprocessing.drgs_text_prerocessing 函数定义 def drgs_text_prerocessing(fed_df:HDataFrame,columns:List[str],tokenizer:FedTokenizer=None,unbroken_tokenizer:FedTokenizer=None)->Tuple...
数据预处理
对于文本数据而言，通常文本数据里面会含有很多跟任务无关的噪音，这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则，如果您觉得有必要进行预处理，可以选择这些规则。我们内置的规则包括：去除 URL 链接；去除 emoji 表情...
基于Tair Vector实现图文多模态检索
text_features=extract_text_features(text)tair.tvs_hset("index_texts",text,text_features)def extract_text_features(text):"""该方法将通过CLIP模型对文本进行预处理，并返回文本的特征信息（1024维向量）。text_data=clip....
LLM-MD5去重
LLM-MD5去重组件主要用于大语言模型（LLM）的文本数据预处理工作，可以计算文本的MD5哈希值，根据哈希值对文本进行去重。使用限制 仅支持MaxCompute计算引擎。算法简介 对所有输入的文本数据使用 hashlib.md5 哈希算法计算哈希值。哈希值...
LLM-文本标准化（MaxCompute）
LLM-文本标准化组件主要用于大语言模型（LLM）的文本数据预处理工作，可以将文本Unicode标准化以及繁体转简体。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-文本标准化组件支持以下功能：将Unicode文本标准化，使用NFKC的方式标准化...
LLM-文章内句子去重（MaxCompute）
LLM-文章内句子去重组件主要用于大语言模型（LLM）的文本数据预处理工作，对文章内的语句进行去重。使用限制 仅支持MaxCompute计算引擎。算法简介 首先根据换行符将文本进行拆分，然后对拆分后的每行文本使用。……,\\?\\?等标点符号进行...
LLM-删除LaTeX参考文献（MaxCompute）
LLM-删除LaTeX参考文献组件主要用于大语言模型（LLM）的文本数据预处理工作，适用于TEX文档格式数据。主要功能是删除LaTeX格式文本末尾的参考文献。支持的 计算资源 MaxCompute 算法说明 定义LaTeX格式文本参考文献的正则表达式为：r'(\\...
LLM-特殊字符占比过滤（MaxCompute）
LLM-特殊字符占比过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据特殊字符占比过滤样本，保留特殊字符个数占文本总长度比例在指定范围内的样本。使用限制 仅支持MaxCompute计算引擎。算法简介 遍历文本中的每个字符，并统计...
LLM-删除LaTeX注释行（MaxCompute）
LLM-删除LaTeX注释行组件主要用于大语言模型（LLM）的文本数据预处理工作，适用于TEX文档格式数据。主要功能是删除LaTeX格式文本中的注释行以及行内注释。支持的 计算资源 MaxCompute 算法说明 定义LaTeX格式文本注释行的正则表达式如下：...
LLM-文章相似度去重（MaxCompute）
LLM-文章相似度去重组件主要用于大语言模型（LLM）的文本数据预处理工作，使用SimHash算法计算文本间的相似度，实现文本去重。使用限制 仅支持MaxCompute计算引擎。可视化配置参数 您可以在Designer中，通过可视化的方式配置组件参数。页签...
LLM-长度过滤（MaxCompute）
LLM-长度过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据文本长度、平均长度、最大行长度等过滤样本。平均长度和最大行长度过滤默认会将文本按行切分再进行统计。使用限制 仅支持MaxCompute计算引擎。可视化配置参数 您可以...
LLM-Copyright信息移除（MaxCompute）
LLM-Copyright信息移除组件主要用于大语言模型（LLM）的文本数据预处理工作，用于删除文本中的Copyright信息，多用于去除代码文本中的头部Copyright注释。使用限制 仅支持MaxCompute计算引擎。算法简介 去除文本中的Copyright信息或者注释...
LLM-敏感词过滤（MaxCompute）
LLM-敏感词过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，可以过滤掉带有敏感词的样本。使用限制 仅支持MaxCompute计算引擎。算法简介 识别文本中是否包含敏感词，过滤掉包含敏感词的样本。支持返回文本中包含的敏感词。默认...
LLM-文本质量打分FastText（MaxCompute）
LLM-文本质量打分（FastText）组件主要用于大语言模型（LLM）的文本数据预处理工作，使用FastText模型对文本进行质量打分，并根据得分过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 使用FastText模型识别文本的质量，返回label ...
LLM-N-Gram重复比率过滤（MaxCompute）
LLM-N-Gram重复比率过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，保留字符级或者词语级N-Gram重复比率在指定范围内的样本。使用限制 仅支持MaxCompute计算引擎。算法简介 将文本中的内容按照字符或词语进行大小为N的滑动窗口...
LLM-特殊内容移除（MaxCompute）
LLM-特殊内容移除组件主要用于大语言模型（LLM）的文本数据预处理工作，可以移除文本中的特殊内容，例如文章中的导航信息、作者信息、文章来源信息、URL链接、不可见字符、去除HTML格式字符并解析出HTML文本等。使用限制 仅支持MaxCompute...
LLM-计数过滤（MaxCompute）
LLM-计数过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据字母、数字、分隔符的个数过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符...
预处理规则管理
查看预处理规则详细信息 在预处理规则列表中，单击预处理规则名称链接，即可查看该预处理规则的详细信息，包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下，可以查看预处理...
联邦建模概述
联邦数据处理：对联邦表中的数据进行预处理，包括数据预处理和预处理应用。模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种...
案例：构建文本语义检索系统
pip install psycopg2=2.9.3 数据预处理 为了构建文本语义检索系统，首先需要选择一批文本作为文档库，本文以Quora数据集为例，将Quora数据集中的问题作为文档库为您展示如何利用 AnalyticDB PostgreSQL版 向量数据库构建文本语义检索系统...
Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
任务管理
查看执行结果 脚本任务执行完成后，不同类型的脚本文件产出的结果不同，如下：脚本类型 执行结果 创建联邦表 联邦表（一个或多个）预处理规则 联邦表（一个或多个）预处理规则（一个）预处理应用 联邦表（一个或多个）模型开发 联邦模型 ...
Designer支持LLM数据预处理算子及常用模板
新增功能/规格 高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能数据预处理算子，并基于MaxCompute提供大规模分布式数据计算能力，可大幅提升客户在LLM场景下的数据预处理效率，...
新建脚本
预处理应用：对输入的联邦表按照预处理规则进行预处理，并生成预处理后的联邦表。模型开发：基于预处理后的联邦表创建联邦模型，并产出联邦模型。模型评估：基于预处理后的联邦表，以及训练成熟的联邦模型，对该模型的效果进行评估。脚本...
编辑脚本
脚本类型 输入配置 输出配置 创建联邦表 原始样本（多个）联邦表（一个或多个）预处理规则 联邦表（一个或多个）联邦表（一个或多个）预处理应用 联邦表（一个或多个）联邦预处理规则（一个）联邦表（一个或多个）模型开发 联邦表（一个或...
0040-00000374
问题描述 在使用新版本图片服务对图片添加图片水印时，设置的图片水印预处理相关参数格式无效。问题原因 image参数值经Base64解码后的图片水印预处理相关参数中（x-oss-process）出现了获取信息参数/info。问题示例 GET/example_image?x-...
0040-00000372
问题描述 在使用新版本图片服务对图片添加图片水印时，设置的图片水印预处理相关参数格式无效。问题原因 image参数值经Base64解码后的图片水印预处理相关参数中（x-oss-process）出现了分隔符|。问题示例 GET/example_image?x-oss-process=...
0040-00000373
问题描述 在使用新版本图片服务对图片添加图片水印时，设置的图片水印预处理相关参数格式无效。问题原因 image参数值经Base64解码后的图片水印预处理相关参数中（x-oss-process）出现了/watermark（水印嵌套）。问题示例 GET/example_image...
数据可视化
前提条件 完成数据准备与预处理，详情请参见 数据准备与预处理。操作步骤 登录 PAI控制台，进入工作流页面。操作详情请参见 step1：进入工作流页面。构建全表统计节点并运行。在组件列表中搜索 全表统计 组件，找到后将其拖入画布，并将...
日志数据预处理与投递
本视频介绍如何对日志数据进行预处理与投递。
数据解析概述
物联网平台的数据服务提供数据解析功能，通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后，将数据流转到业务服务器，或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面，创建和...
新建通用模型
通用模型功能支持新建通用模型，即可以将本地的模型文件和预处理组件上传到平台侧，并支持离线特征 Schema 的解析。操作步骤 登录 蚂蚁隐私计算服务平台。在左侧导航栏，选择 我的资源>通用模型。在 通用模型 页面，单击右上角的 新建通用...
入门概述
数据准备与预处理 对原始数据进行预处理，生成模型训练集和模型预测集。数据可视化 对源数据或中间结果数据进行可视化处理，以获取数据分析结果。算法建模 使用符合业务场景的算法组件，加上预处理后的数据训练集进行算法建模。评估模型 ...
读配置文件
一、组件说明 用户建模完成之后，数据预处理、特征生成的结果可能会被用于不同任务中去。DataTrust支持数据预处理、特征生成的配置项在平台上的复用，用于不同训练、预测、评估类任务。组件截图 二、参数说明 参数名称 参数说明 选择配置...
数据准备与预处理
通常情况下，在构建一个模型时，您需要准备好用于模型构建和调试所需要使用的数据，并完成数据的预处理，以便后续根据业务需求进行模型开发所需的进一步加工。本示例以PAI为您提供的公开数据为例，演示数据准备与预处理的操作步骤。前提...
句子拆分
该组件主要用于文本摘要前的预处理，将一段文本拆分成一句一行的形式。组件配置 您可以使用以下任意一种方式，配置句子拆分组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 标识文章ID的列名 ...
产品特点
开放灵活 不绑定车上平台提供商，可适配用户任何的车上系统输出的数据格式 不绑定算法供应商，用户可自行上传预标注、数据预处理、格式转换等算法在平台上运行 不绑定工具链内各模块，用户可以根据自身需要决定使用其中几个部分 云原生 ...
新增通用模型版本
配置预处理组件（可选）支持上传本地 GDP 预处理 组件。说明 您可以单击右侧的 样例下载，获取预处理组件的样例文件。离线特征 Schema 模型文件配置完成后单击 开始解析，进行离线特征 Schema 的解析。解析完毕后可获取 特征名称 列表及其...
SubmitPreprocessJobs-导播台视频预处理
接口说明 视频预处理实际是转码过程，生成符合导播台播放要求的视频，所以会有 计量计费信息产生，计费详情请参见 云导播费用。接收 转码完成 的回调消息，来获取处理结果。当回调消息 Preprocess=true时，表示预处理完成回调。QPS 限制 本...
任务配置
数据预处理 数据预处理节点的构建流程如下：将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：数据预处理算子名称：选择所需算子；可选项为您自定义的或平台自带的数据预处理算子（可在“数据定义>...
- 产品推荐
- 这些文档可能帮助您