多可用区同时快速弹性扩容
但这种在一个伸缩组上配置多个可用区vSwtich的模型特点，会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能...
多可用区同时快速弹性扩容
但这种在一个伸缩组上配置多个可用区vSwtich的模型特点，会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能...
算法应用
绘制区域 区域检测类型的算法模型，例如区域入侵、人群聚集、离岗检测等会出现该功能按钮。单击 绘制区域 后，在弹出对话框中单击 绘制矩形 或者 绘制多边形，并根据您的需求，画出矩形或多边形，设置检测区域。单击 图标，保存绘制的内容...
任务触发与执行问题
任务执行超时 问题现象 出现 TIMEOUT 错误。问题原因 客户端处理超时。解决方法 查看超时时间是否配置太小。建议根据任务的实际执行情况设置合理的超时时间。查看客户端错误日志 common-error.log。自定义参数不存在 问题现象 出现 javax....
离线模式依赖关系配置
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线模式配置入口，进入 离线模式 配置面板。在离线模式配置面板 依赖关系 区域，配置 依赖关系 设置。参数 描述 开始解析 当节点的任务类型...
识别规则及识别方式
选择项目的计算源需要有访问其他项目的权限，否则可能会出现无法扫描的情况。说明 当计算引擎为Impala时，扫描的数据表为Kudu表，需选择开启Impala任务的项目，方可使用Impala SQL扫描成功。单击 确定，完成识别规则调度周期的配置。自动...
离线模式依赖关系配置
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线模式配置入口，进入 离线模式 配置面板。在离线模式配置面板 依赖关系 区域，配置 依赖关系 设置。参数 描述 开始解析 当节点的任务类型...
应用管理
专业版 日志服务 开启后，增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志，方便排查问题。说明 普通应用的基础版不支持该参数配置。关闭 实例繁忙配置 load5 不能超过客户端机器CPU可用核数。0 ...
向量介绍
向量检索算法 linear linear算法会线性计算所有向量数据。适用场景：100%召回率 劣势：大数据量下效率较低、资源（CPU、内存）消耗较严重 聚类算法 量化聚类（Quantized Clustering）介绍：量化聚类（Quantized Clustering）是阿里巴巴开发...
创建手动任务
该配置仅在定义了流程参数的情况下会出现。任务执行顺序：任务执行顺序与设置手动任务执行顺序（可选）阶段的说明一致。具体如下：没有上下游执行顺序的任务在运行整个业务流程时，将同时触发执行。存在上下游执行顺序的任务在点击业务流程...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
配置离线任务调度依赖
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
配置离线任务调度依赖
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
ACK集群概述
使用集群诊断：提供一键故障诊断能力，包括节点诊断、Pod诊断、Service诊断、Ingress诊断、内存诊断、网络诊断，可以辅助您定位集群中出现的问题。成本分析：支持可视化集群资源使用量及成本分布，以提升集群资源利用率。安全中心：支持...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
Spring任务
常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致SchedulerX覆盖自定义处理器。请排查业务应用工程中是否存在实现 org.springframework.scheduling.annotation.SchedulingConfigurer 接口的...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
任务未运行
本文为您介绍任务未运行的相关问题。任务运行条件 任务到定时时间，为什么还没运行？使用限制 仅DataWorks生产环境运维中心支持自动调度，请确认任务是否已发布生产运维中心，任务发布，详情请参见：发布任务。任务运行条件 运维中心通过...
GetFile
用于出现错误后排查问题。ErrorCode String Invalid.Tenant.ConnectionNotExists 错误码。Success Boolean true 调用是否成功。取值如下：true：调用成功。false：调用失败。Data Object 文件的详情。File Object 文件的基本信息。...
人气模型
人气模型是什么 人气模型属于离线计算的模型，是淘宝搜索最基础的排序算法模型。人气模型会计算量化出每个商品的静态质量及受欢迎的程度的值，这个值称之为商品人气分。虽然人气模型来自淘宝搜索业务，但其实这个模型对于其他的搜索场景也...
组件参考：所有组件汇总
条件随机场预测 该组件是基于linearCRF在线预测模型的算法组件，主要应用于处理序列标注问题。Split Word（生成模型）该组件基于AliWS（Alibaba Word Segmenter）词法分析系统，根据参数和自定义词典生成分词模型。词频统计 该组件是指输入...
使用方法
LE-V-B004型号边缘一体机已部署了算法应用，算法应用相关说明，请参见 算法应用。说明 若未部署算法应用，请联系您购买边缘一体机的业务接口人进行部署。已准备ONVIF协议的IPC设备，并将该设备接入到LE-V-B004型号边缘一体机，详细操作，请...
CreateFile
出现错误后，您可以根据该ID排查问题。ErrorMessage String The connection does not exist.错误信息。Success Boolean true 调用是否成功。取值如下：true：调用成功。false：调用失败。ErrorCode String Invalid.Tenant....
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
创建并使用PAI DLC节点
为避免使用DataWorks周期性调度DLC节点在PAI产生较多不易区分的同名任务，建议在DataWorks开发DLC任务时根据实际需要合理设置调度周期，同时，建议在任务名称中增加日期时间变量，并通过调度配置为该变量赋值时间调度参数，实现任务命名...
时序异常检测的常见问题
本文介绍时序异常检测的一些通用问题。时序异常检测对数据有什么要求？若待检测数据包含了过多时间线，在进行异常检测时需较长的等待时间，建议您设置 WHERE 条件，先过滤出少量时间线进行测试，获取符合预期的算法与参数后再逐步增加时间...
计算资源
计算资源的主要作用是执行各种计算任务，包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力和响应速度，影响到服务质量。以下详细介绍5个计算资源风险点和应对的容错策略。资源分配不均 指因任务分配...
光伏发电异常检测提效
因此，行业内逐步形成共识，基于信息技术、云计算、物联网、大数据技术的在线运维管理系统的出现，会加快运维效率的不断提升，且与传统运维模式相比，人员投入会减少一半左右。目前的挑战 虽然基于在线运维管理系统带来了效率的提升，但是...
算法说明
本文介绍预测算法的适用场景、参数配置等内容。算法简介 预测算法是基于Prophet预测模型中的原理进行研发的。Prophet将时序数据分解为趋势项、周期项和假日项，分别进行拟合与预测，最终整合为未来数据的预测结果。其中Prophet使用linear ...
新建及管理动态脱敏规则
异常兼容：若出现明文不符合加解密算法使用要求、加解密密钥不匹配、编码格式不一致等问题时，将按照已选策略处理明文数据。支持选择 返回空值、返回明文、抛出异常。无需配置加密密钥，将使用系统密钥进行加密，防止脱敏后的数据被反解密...
新建及管理动态脱敏规则
异常兼容：若出现明文不符合加解密算法使用要求、加解密密钥不匹配、编码格式不一致等问题时，将按照已选策略处理明文数据。支持选择 返回空值、返回明文、抛出异常。无需配置加密密钥，将使用系统密钥进行加密，防止脱敏后的数据被反解密...
离线批量预测
对实时性要求不高的业务场景，通常会使用模型对数据集进行周期性的批量离线预测。在Designer中提供了支持离线预测的完整功能。本文为您介绍如何在Designer平台进行离线批量预测。在开发环境进行批量预测 Designer中提供了多种预测组件，...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
门禁一体机设备接入
下拉框同时提供搜索功能，可按照品牌或者型号关键字输入查询（大小写敏感），当鼠标放在具体型号上的时候，会有浮动窗口显示该型号设备具备的能力，如下图所示：当选择的型号支持边侧人脸的时候，会在界面自动增加算法配置项，如下所示：...
横向网关产品特性汇总
集群限流：适用于全局精确控制限流，每个节点的请求数会实时上报给全局限流调度中心来动态决策。降级：适用于异步场景因流量突发后端节点来不及处理时，在网关侧配置降级配置来保障用户请求不中断，后续根据日志等后台补充未处理任务。熔断...
配置解密转换组件
针对上游加密过的数据，如果已知加密算法和密钥，...异常兼容 出现明文不符合加解密算法使用要求、加解密密钥不匹配、编码格式不一致等问题时，将按照已选策略处理明文数据。支持 返回空值 和 返回明文。单击 确定，完成 解密转换组件 配置。
配置解密转换组件
针对上游加密过的数据，如果已知加密算法和密钥，...异常兼容 出现明文不符合加解密算法使用要求、加解密密钥不匹配、编码格式不一致等问题时，将按照已选策略处理明文数据。支持 返回空值 和 返回明文。单击 确定，完成 解密转换组件 配置。
代码解析结果对比
若该节点代码中配置了依赖A表的数据，但未将产出A表数据的节点作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致当前节点产出的表数据出现问题。影响示例：本节点产出的表变更 当前节点提交时，与生产环境...
SSH服务的相关介绍
Linux环境自动登录 SSH连接交互过程简介 非对称加密算法 说明：SSH服务主要采用RSA算法（协议V2默认算法）和DSA算法（协议V1仅支持该算法）来实现非对称加密技术。SSH服务是基于非对称加密（public-key cryptography，也称公开密钥加密）...
配置加密转换组件
针对上游输入的数据，可以选择加密算法和密钥...异常兼容 出现明文不符合加解密算法使用要求、加解密密钥不匹配、编码格式不一致等问题时，将按照已选策略处理明文数据。支持 返回空值 和 返回明文。单击 确定，完成 字段加密配置 组件配置。
- 产品推荐
- 这些文档可能帮助您