联邦预处理
参数 类型 是否必选 描述 rules List 是 预处理规则表 uid String 是 用来保存生成的预处理信息，可以通过载入此信息后进行相同的预处理操作的应用。parties List 是 关联指定参与方和预处理信息绑定。该信息通常可以从返回的联邦表属性中...
数据处理与路由规则
添加数据处理规则 通过添加数据处理规则，您可以在设备数据上链之前进行预处理操作，在后续步骤的路由规则配置中可以使用这些处理规则，对数据进行进一步的脱敏和保护处理，保证您的数据安全上链。参数 说明 规则名称 数据处理规则名称，不...
数据预处理
可能平台目前没有您需要的预处理规则，暂时需要您自己在数据上传前进行处理，可以给我们反馈，我们会及时新增更多的预处理规则。预处理的原则是去除掉对于判断类别无用的信息，也就是说，如果这个信息是有用的，则不应该去掉。比如 emoji ...
管理逻辑组合
如图连接节点，设置数据处理方法后，完成新增逻辑组合操作。重命名逻辑组合 单击左侧导航栏的 逻辑组合，进入逻辑组合页面。在逻辑组合列表中，单击 图标重命名逻辑组合。删除逻辑组合 单击左侧导航栏的 逻辑组合，进入逻辑组合页面。在...
读配置文件
一、组件说明 用户建模完成之后，数据预处理、特征生成的结果可能会被用于不同任务中去。DataTrust支持数据预处理、特征生成的配置项在平台上的复用，用于不同训练、预测、评估类任务。组件截图 二、参数说明 参数名称 参数说明 选择配置...
虚拟事件
操作说明 产品路径「行为分析」-「首页」-「虚拟事件」新建虚拟事件 1.点击新建虚拟事件，弹出新增虚拟事件弹窗 2.新建虚拟事件需要填写如下信息 基本信息「事件名称」：必填项，事件名称可进行自定义填写「事件描述」：非必填项，可进行...
0040-00000374
问题描述 在使用新版本图片服务对图片添加图片水印时，设置的图片水印预处理相关参数格式无效。问题原因 image参数值经Base64解码后的图片水印预处理相关参数中（x-oss-process）出现了获取信息参数/info。问题示例 GET/example_image?x-...
0040-00000372
问题描述 在使用新版本图片服务对图片添加图片水印时，设置的图片水印预处理相关参数格式无效。问题原因 image参数值经Base64解码后的图片水印预处理相关参数中（x-oss-process）出现了分隔符|。问题示例 GET/example_image?x-oss-process=...
预处理规则管理
查看预处理规则详细信息 在预处理规则列表中，单击预处理规则名称链接，即可查看该预处理规则的详细信息，包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下，可以查看预处理...
0040-00000373
问题描述 在使用新版本图片服务对图片添加图片水印时，设置的图片水印预处理相关参数格式无效。问题原因 image参数值经Base64解码后的图片水印预处理相关参数中（x-oss-process）出现了/watermark（水印嵌套）。问题示例 GET/example_image...
最佳实践
Paraformer语音识别 了解如何通过从视频文件中提取音轨、并进行合理的压缩以显著降低文件尺寸，从而减少API调用过程中的文件传输耗时、加快文件转写吞吐效率，请查阅：预处理视频文件以提高文件转写效率。通过OSS可以提高文件转写的效率和...
最佳实践
Paraformer语音识别 了解如何通过从视频文件中提取音轨、并进行合理的压缩以显著降低文件尺寸，从而减少API调用过程中的文件传输耗时、加快文件转写吞吐效率，请查阅：预处理视频文件以提高文件转写效率。通过OSS可以提高文件转写的效率和...
入门概述
算法建模 使用符合业务场景的算法组件，加上预处理后的数据训练集进行算法建模。评估模型 使用训练好的模型对预测数据集进行结果预测，并结合预测集中的“正确答案”评估模型效果。模板工作流demo 通过模板可以直接套用模板快速创建工作流...
产品动态
无 已备案App新增接入 支持在其他接入服务商已完成备案的App，在阿里云完成新增接入。无 2023年09月 功能 说明 相关链接 App备案基础服务 支持首次备案、有主体新增服务、无主体新增服务三类备案订单操作，完成App的新增备案。App备案 App...
任务配置
数据预处理 数据预处理节点的构建流程如下：将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：数据预处理算子名称：选择所需算子；可选项为您自定义的或平台自带的数据预处理算子（可在“数据定义>...
Designer支持LLM数据预处理算子及常用模板
新增功能/规格 高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能数据预处理算子，并基于MaxCompute提供大规模分布式数据计算能力，可大幅提升客户在LLM场景下的数据预处理效率，...
数据可视化
前提条件 完成数据准备与预处理，详情请参见 数据准备与预处理。操作步骤 登录 PAI控制台，进入工作流页面。操作详情请参见 step1：进入工作流页面。构建全表统计节点并运行。在组件列表中搜索 全表统计 组件，找到后将其拖入画布，并将...
预发布
目的 本文档希望为用户提供使用预发布功能时的一种最佳实践，帮助用户理解预发布在版本生命周期中的意义，以及如何利用OTA提供的预发布功能使发布前准备的更充分。背景 通常一个版本在经过特定设备的测试之后和发布之前的阶段时，希望通过...
联邦建模概述
联邦数据处理：对联邦表中的数据进行预处理，包括数据预处理和预处理应用。模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种...
创建分辨率倍增任务
将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后，媒体处理MPS才有权限监听该Bucket上传完成的消息，以实现触发工作流执行和回写处理完成的文件。具体操作，请参见 添加媒体Bucket。配置转码模板。（可选）配置水印...
边缘应用
您可在该界面完成应用的管理操作，包括应用的筛选、删除、新增等操作。应用筛选 如下图所示，应用管理界面左上角为您罗列了当前全部的应用类型，您可点击类型名称筛选您希望查看或操作的应用。应用删除 如您需要删除某个应用类型下的所有...
创建窄带高清TM1.0转码任务
将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后，媒体处理MPS才有权限监听该Bucket上传完成的消息，以实现触发工作流执行和回写处理完成的文件。具体操作，请参见 添加媒体Bucket。配置转码模板。窄带高清1.0提供...
创建窄带高清TM2.0转码任务
将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后，媒体处理MPS才有权限监听该Bucket上传完成的消息，以实现触发工作流执行和回写处理完成的文件。具体操作，请参见 添加媒体Bucket。配置转码模板。窄带高清2.0提供...
任务管理
查看执行结果 脚本任务执行完成后，不同类型的脚本文件产出的结果不同，如下：脚本类型 执行结果 创建联邦表 联邦表（一个或多个）预处理规则 联邦表（一个或多个）预处理规则（一个）预处理应用 联邦表（一个或多个）模型开发 联邦模型 ...
智能标签
将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后，媒体处理MPS才有权限监听该Bucket上传完成的消息，以实现触发工作流执行和回写处理完成的文件。具体操作，请参见 添加媒体Bucket。创建智能标签模板。（可选）配置...
使用限制
新增操作默认的并发量和用户购买QPS套餐有关，当客户购买1QPS套餐时，新增QPS为1，也就是每秒钟最多处理1个图片新增请求。当客户购买其他规格套餐时，新增QPS均为5，也就是每秒钟最多处理5个图片新增请求。说明 如果有更大需求请通过钉钉群...
用户管理
您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入某个集群详情页>用户管理Tab页，在这里您可以查看所有用户的列表。...
智能生产
将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后，媒体处理MPS才有权限监听该Bucket上传完成的消息，以实现触发工作流执行和回写处理完成的文件。具体操作，请参见 添加媒体Bucket。（可选）配置消息通知。如果您需要...
智能审核
将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后，媒体处理MPS才有权限监听该Bucket上传完成的消息，以实现触发工作流执行和回写处理完成的文件。具体操作，请参见 添加媒体Bucket。（可选）配置消息通知。如果您需要...
新手指引
本文介绍从开通媒体处理服务到使用媒体处理提交任务的全流程，便于您快速上手使用媒体处理服务。快速使用媒体处理 前提条件 注册阿里云账号并完成账号实名认证。详细操作请参见 注册阿里云账号。步骤一、开通服务 开通媒体处理服务，详细...
数据准备与预处理
通常情况下，在构建一个模型时，您需要准备好用于模型构建和调试所需要使用的数据，并完成数据的预处理，以便后续根据业务需求进行模型开发所需的进一步加工。本示例以PAI为您提供的公开数据为例，演示数据准备与预处理的操作步骤。前提...
Kafka实时入湖
数据预处理支持使用Spark SQL函数定义预处理算子，目前支持map与filter两种算子。定义预处理算子需要注意以下几点：第一个预处理算子需要基于Kafka入湖的schema来编写，请参考如上字段列表。每一个预处理算子的处理逻辑可以看作一个SQL的子...
Logtail发布历史
新增处理插件processor_gotime、processor_rename、processor_add_fields、processor_json、processor_packjson。更多信息，请参见 使用Logtail插件处理数据。更新LogtailInsight，新增进度查看功能（需要设置mark_offset_global_flag或...
预排序
本章节介绍使用预排序功能的操作步骤。操作步骤 修改solrconfig.xml中的MergePolicy，具体请参见 Customizing Merge Policies。查询时，指定参数segmentTerminateEarly=true即可，请参见以下demo演示：...
Control Center基本使用
ksqlDB使用 ksqlDB是一个用于Apache kafka的流式SQL引擎，ksqlDB降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据，可以让我们在流数据上持续执行 SQL 查询，ksqlDB支持广泛的强大的流处理操作，包括...
扩容分区和文件系统（Windows）
在ECS控制台上扩容云盘（系统盘或数据盘）容量后，对应分区的文件系统并未扩容，您需要进入ECS实例内部继续扩容云盘的分区和文件系统。本文为您介绍如何将Windows实例的云盘扩容部分的容量用于扩容原有...具体操作，请参见 使用快照回滚云盘。
新增变量
单击 确定，完成新增。新增图片变量 设置头部信息时，素材类型为图片且选择的示例内容不作为发送内容时，您可以为发送内容设置变量。单击 选取变量>新增图片变量，弹出 新增变量 对话框。在 新增变量 对话框中，设置变量编码、变量名称、...
新建脚本
预处理应用：对输入的联邦表按照预处理规则进行预处理，并生成预处理后的联邦表。模型开发：基于预处理后的联邦表创建联邦模型，并产出联邦模型。模型评估：基于预处理后的联邦表，以及训练成熟的联邦模型，对该模型的效果进行评估。脚本...
数据导出
数据导出安全规则可以对数据导出的工单进行库表权限校验、敏感列权限校验、行权限...说明 新增的规则默认为 已禁用 状态，您可在当前页面选择对应的检测点，找到新增的规则名，单击操作列下的 启用，再单击 确认。至此，新增的规则已被启用。
SubmitPreprocessJobs-导播台视频预处理
当回调消息 Preprocess=true时，表示预处理完成回调。QPS 限制 本接口的单用户 QPS 限制为 15 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 QPS 限制。调试 您可以在OpenAPI Explorer中直接...
- 产品推荐
- 这些文档可能帮助您