Model
描述模型解决问题所属领域，如 nlp（自然语言处理），cv（计算机视觉）等。nlp Task string 任务。描述模型解决的具体问题，如 text-classification（文本分类）等。text-classifiaction ModelDoc string 模型介绍文档。https://*.md ...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
DataV引擎使用gltf格式模型常见问题
排查工具：用gltfViewer查看是否能正常渲染，如果不能，则模型有问题。解决办法：用建模软件重新导出。模型比例有问题 症状：用gltfViewer查看能正常渲染，DataV引擎使用时却无法显示。排查工具：在建模软件里面查看模型比例是否与真实世界...
节点伸缩概述
基于以上问题，ACK通过 节点伸缩（资源层）和 工作负载伸缩（调度层）两层弹性模型来解决。节点伸缩 基于资源的使用率来触发应用副本的变化，也就是调度单元的变化。以下介绍技术细节。如何判断节点的弹出？节点伸缩通过监听Pending状态的...
权限管理与规范化数据开发
根据表血缘来配置节点调度依赖后，可以保障调度任务在运行时能取到正确的数据，避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。在DataWorks依赖配置中，上游节点的输出作为下游节点的输入，形成节点依赖关系。...
历史记录
分布式模型支持拉模型，解决因为单机性能引起的木桶效应，支持动态扩容拉子任务。拉模型支持全局子任务并发度，可以进行限流。JobContext增加 wfInstanceId。客户端启动失败抛异常，堵塞JVM启动，尽早发现问题。客户端启动打印mvn依赖JAR的...
常见问题
这种是大模型的幻觉问题，当你输入的问题大模型没有知识回答的时候就可能出现。如果在base model上训练后更严重，就是没有训练好，训练效果与训练数据质量、多样性、数据等都有关系。5.我们现在是训练垂直领域的模型，知识都是安全领域的...
API插件管理
LLM会根据插件的描述信息判断是否使用该插件解决用户问题，同时会根据插件描述、插件出入参等信息构建 Manifest 信息传递给模型，模型根据以上信息对用户的输入进行识别槽位、填补槽位等操作，最终将识别的参数传递给API完成插件的执行。...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
调度概述
为了解决这个问题，阿里云提供Gang Scheduling功能，保障所有相关联的进程能够同时启动，防止因部分进程的异常而导致整个关联进程组的阻塞的问题。使用Gang scheduling Capacity Scheduling 当集群中有多个用户时，通过Kubernetes原生的...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
常见问题
参数调优策略 当Routine Load出现性能问题时，您可以考虑从如下几个维度来进行参数调优：任务调度周期 您可以通过缩短任务调度周期（即修改参数max_batch_interval）加速数据消费。但是，缩短任务调度周期可能会带来更多的CPU资源消耗。...
共享GPU调度概述
如下图：显存隔离 如果没有GPU隔离模块参与，那么共享GPU调度仅能够保证多个Pod运行在一张GPU卡上，并不能解决Pod之间相互影响的问题。以下是一个显存使用的例子。假设Pod1需要申请5 GiB显存使用，Pod2需要申请10 GiB显存使用。在没有GPU...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
HTTPDNS调度IP的证书
问题描述 HTTPDNS调度IP的证书 解决方案 当使用HTTPS请求调度服务时，我们会提供主机名为203.107.1.1的有效证书（无论使用哪个IP请求）。适用于 HTTPDNS
部署Stable Diffusion应用FAQ
本文介绍使用函数计算部署Stable Diffusion应用过程中可能遇到的问题以及解决方案。应用启动失败怎么办？生成图片时进程卡住怎么办？为什么无法在线安装插件？如何访问Stable Diffusion的API？使用Stable Diffusion应用如何计费？除了默认...
任务触发与执行问题
任务执行超时 问题现象 出现 TIMEOUT 错误。问题原因 客户端处理超时。解决方法 查看超时时间是否配置太小。建议根据任务的实际执行情况设置合理的超时时间。查看客户端错误日志 common-error.log。自定义参数不存在 问题现象 出现 javax....
代码解析结果对比
如何确认是否使用新的解析结果 节点提交时，若发现节点当前调度依赖解析结果与生产环境节点调度依赖关系的配置存在差异，请确认该节点当前的调度依赖是否符合业务需要，避免由于依赖关系变更导致产出数据出现问题。重要 若当前节点存在众多...
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
任务中心
任务中心主要是对离线、在线模型自动化调度运行进行任务式管理，每次任务调度时，都将按照模型设置好的参数和数据自动进行运行，通过任务状态监控单次任务的健康情况。在线服务 在线服务模块展示并管理用户添加的服务，已创建的服务支持...
模型训练
Designer提供了丰富的建模组件，您可以使用工作流，可视化的灵活构建模型、调试模型并周期性地调度模型，以完成模型训练。本文为您介绍使用Designer训练模型的具体操作步骤。前提条件 已创建工作流。您可以根据业务需要创建空白工作流或...
2020年
无 变更类型 功能描述 相关文档 优化 优化客户端负载高把任务调度长连接打挂，导致任务无法继续调度的问题。无 1.2.2.2，2020-12-10 变更类型 功能描述 相关文档 新增 支持容器内采集容器真实CPU使用率。需要增加配置，以starter为例：...
物模型相关问题
本文介绍设备使用物模型通信常见相关问题及解决方法。如何添加物模型功能？设备的物模型属性、事件和服务需要在该设备所属产品下进行添加和配置。您可通过以下方式定义物模型：调用接口 CreateThingModel，为指定产品添加物模型功能。在物...
其他常见问题
调度记录的重试问题 问题现象 在任务的调度记录里，有的记录提供了 重试 按钮，可以重试，有的则不能。问题原因 同一个任务，如果有多次执行记录，那么只有最新的执行记录是有重试选项的，因为旧的记录已经没有意义。基于消息的任务中，...
如何开启模型训练
视频介绍 定义 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型...
Stream模型
该模型主要解决以下问题场景：现有的Map模型每次运行都需要等待所有子任务执行完，单个子任务耗时影响整体的后续运行。对子任务的生产速率和分发处理提供全局的并发控制。调度服务端提供任务运行期的监控报警。前提条件 已创建应用（任务...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
2019年
分布式模型支持拉模型，解决因为单机性能引起的木桶效应，支持动态扩容拉子任务。拉模型支持全局子任务并发度，可以进行限流。JobContext增加 wfInstanceId。客户端启动失败抛异常，堵塞JVM启动，尽早发现问题。客户端启动打印mvn依赖JAR的...
调度参数支持的格式
调度参数无法覆盖的场景（即通过上述表达式无法直接获取预期格式的参数赋值），您可先通过上述方式获取时间格式数据，再执行下表操作获取相应时间。场景示例 操作说明 相关参考 通过引擎函数将时间格式的内容加工为时间戳。在代码中使用...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
工作流编辑
调度开启后，工作流编辑画布上方会出现 调度中 的状态提示。停止：调度状态为停止。时间属性调度 开始时间 工作流调度的开始时间。结束时间 可选，工作流调度的结束时间。调度周期 工作流调度的周期。CRON表达式 工作流调度周期的CRON表达...
工作流使用案例
开启后，工作流编辑画布上方会出现调度中的状态提示。时间属性调度 设置工作流调度的开始时间和调度周期，在此时间范围内，系统会根据您设置的周期执行工作流。依赖属性调度 选择当前工作流的前续工作流。当前续工作流执行完成后，当前工作...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
如何定义Manifest
取值来源要设置准确“模型识别”是需要大模型从用户问题中识别提取的字段，如果存在必填参数但又不是从用户问题中识别的（例如工号，是程序透传的，不会是用户问题中识别提取的），这种要勾选“业务透传”，否则会出现必填参数无法识别，...
常见问题
模型发布 模型发布场景中的常见问题和解决方法如下：Q：部署模型失败怎么办？A：当部署模型失败时，您可以在模型发布列表中，单击发布版本右侧的 重试，重新进行发布。Q：如何关联不同的在线特征？A：如果您需要为同一个模型关联不同的在线...
基本概念
模型服务 我的模型 管理所有已开通、已部署的模型，包括模型广场已开通模型及经过训练并完成部署的模型，支持针对模型进行调用、评估、训练。模型广场 在这里您可以根据业务所需挑选通义系列大模型、官方行业或场景大模型、第三方大模型等...
- 产品推荐
- 这些文档可能帮助您