智能基线概述

如上图所示,假设整个DataWorks有6个任务节点,任务D和任务E是基线上的任务,则影响任务D和任务E数据产出的上游任务,即上图中的任务A、任务B、任务D和任务E,均会被纳入监控范围,监控范围内的任务出现异常(出错或变慢),均会被智能基线...

基线监控概述

应用场景 管理任务优先级:在任务数量越来越多,而在资源有限的情况下,当发生资源抢占时,您可以将重要任务添加至基线上,并为基线设置较高的优先级,以保证重要的任务可以优先分配到资源。自动推算任务预计产出时间:任务的运行受到资源...

概述

任务分发各环节的主要任务如下:打标:标注员登录 标注平台,在标注任务页面,先领取标注任务包,再完成标注,最后提交相应的标注任务。检查:标注环节完成后,标注员登录 标注平台,在质检任务页面,领取已经标注完成的任务包后,对其进行...

任务运维

运维管理 周期任务 下图为周期任务主要功能点,查看周期任务DAG图(节点依赖关系的有向无环图)是否符合预期,如下图所示的依赖关系就是符合当前实验预期的。将任务发布上线后,调度任务主要是对未来数据的周期性处理,如果我们需要对历史...

自动SQL优化

当数据库出现慢SQL或SQL的执行效率对应用程序的运行效率产生较大影响时,您需要对SQL进行优化。数据库自治服务DAS支持自动SQL优化...GetInstanceSqlOptimizeStatistic 获取指定时间段内自动SQL优化任务的统计数据,包括任务总数和最大收益等。

自动SQL优化

当数据库出现慢SQL或SQL的执行效率对应用程序的运行效率产生较大影响时,您需要对SQL进行优化。数据库自治服务DAS支持自动SQL优化...GetInstanceSqlOptimizeStatistic 获取指定时间段内自动SQL优化任务的统计数据,包括任务总数和最大收益等。

创建调度任务

选择 添加任务>集群任务,然后配置以下参数:参数 说明 任务名称 配置任务的名称,用于识别任务。应用名称 填写或选择目标应用名称。支持英文、中文、数字、下划线(_)、短划线(-),50 个字符之内。必须与工程中 application.properties...

创建调度任务

选择 添加任务>简单任务,然后配置以下参数:参数 说明 任务名称 配置任务的名称,用于识别任务。应用名称 填写或选择目标应用名称。支持英文、中文、数字、下划线(_)、短划线(-),50 个字符之内。必须与工程中 application.properties...

启动实时检测与分析

计算任务信息 EMR Doctor会采集最近5分钟完成的任务以及正在运行的任务,处理和实时分析后为您展示影响集群最重要的任务,您可以根据建议,进行针对性的调优,或者针对异常问题进行处理,从而增强集群的稳定性。在实时检测中针对不同的计算...

快速入门

任务调度产品支持多种任务类型,包括简单任务、集群任务,您可以根据业务的需求,选择其一实现业务。本文以简单任务为例,介绍如何快速完成一个简单任务的本地开发以及控制台任务配置等。说明 若您需要任务调度工程示例代码,请下载 示例...

处理治理项问题

您可以在DataWorks的治理工作台中查看可优化问题总数、可优化项排行、优化项类别及可优化的任务或表详情,及时发现并处理待治理问题。本文为您介绍如何查看并处理治理项问题。前提条件 已使用治理方案模板,详情请参见 查看治理方案模板。...

数据库自治服务的审计事件

DescribeWorkloadTuningTaskSummary 获取Workload优化任务的摘要信息。DisableAllRdsSqlFilterKey 关闭全部限流规则。DisableAllSqlConcurrencyControlRules 关闭所有正在执行的限流规则。DisableAutoResourceOptimizeRules 关闭指定实例...

计算资源

计算资源的主要作用是执行各种计算任务,包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力和响应速度,影响到服务质量。以下详细介绍5个计算资源风险点和应对的容错策略。资源分配不均 指因任务分配...

2022年

2022-12-05 实例画像 2022年11月 引擎 功能名称 功能描述 发布时间 相关文档 RDS MySQL、PolarDB MySQL版 自动SQL优化 新增自动SQL优化的API接口,用于获取指定时间段内自动SQL优化任务的统计数据,包括任务总数和最大收益等。2022-11-29 ...

API概览

GetInstanceSqlOptimizeStatistic 获取自动SQL优化事件的统计数据 调用GetInstanceSqlOptimizeStatistic接口,获取指定时间段内自动SQL优化任务的统计数据,包括任务总数和最大收益等。自动空间优化 API 标题 API概述 ...

查看集群日报与分析

计算任务信息 EMR Doctor采集计算任务,处理和分析后为您展示影响集群最重要的任务,您可以进行针对性的调优、处理,从而增强集群的计算效率,提升集群的使用率,达到增效的目的。目前支持任务算力内存时(GB*Sec)Top50和计算任务评分倒序...

LLM on DLC-Megatron on DLC最佳实践

调整大规模训练策略 参考 附录:PTD-P并行技术原理介绍,来配置训练任务优化策略,后续提交DLC容器训练任务时,配置到执行命令中。目前支持使用以下两种方式调整训练策略。手动调整训练策略 在训练大语言模型时,DLC 支持在执行命令中...

资源使用优化-资源水位分析

查看最新智能水位分析报告 开通进入后,默认查看最新创建的分析任务对应的优化内容报告,包括两部分:优化建议范围:包括任务报告名称、分析周期、报告生成日期。优化建议内容:资源分布:您可以从云产品、资源组、地域和财务单元维度查看...

计费概述

则您每天的任务托管总量为:任务托管总量(CU)=(8+2×10)+(2+3×5)=45 重要 启用的任务数只计算当天启用的最大任务数,例如当天创建了1000个任务,删除了1000个任务,同一时间最多启用100个任务,仅算100个任务。计费方式 按量计费 ...

文档更新动态(2023年)

集成任务通道配置优化,减少集成任务因各类异常导致的无效等待时长:数据库重试连接次数默认值由7次改为1次,减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长,默认为30分钟,准备语句或结束语句执行时间超过该配置时...

完成用户任务

本文介绍逻辑流中完成用户任务操作的主要使用方法。简介 完成用户任务操作可用于在当前逻辑流执行环境中完成指定工作流的用户任务。配置属性 完成用户任务操作属性由以下部分组成,逻辑流通用属性部分请参考 逻辑流操作通用属性:基础属性 ...

查看并管理手动任务

手动任务页面介绍 手动任务页面主要由筛选及搜索区、筛选区、手动任务列表、批量操作区组成。您可以在手动任务页面对提交的手动任务进行相关的运维操作。区域 描述 ① 筛选及搜索区 支持通过输入节点ID或节点名称来筛选手动任务,适用于...

计费说明

任务托管CU 按照任务托管CU总量计算费用,单个SchedulerX应用的计费公式如下:单个SchedulerX应用的任务托管(CU)=启用的单机任务数+启用的非单机任务数×该应用接入的Worker数 任务托管总量为您所有应用的任务托管总量之和,且和调度任务...

通过运维中心管理任务流与任务流实例

任务流执行状态排行 进入任务编排运维中心 后,您可在任务流排行区域查看 任务流运行失败次数、调度延迟时间、执行时间 三个方面的排行榜,帮助您了解任务流的执行情况、优化任务流的性能。控制任务流中执行的SQL数量 使用监控与保障功能,...

计费概述

则您每天的任务托管总量为:任务托管总量(CU)=(8+2×10)+(2+3×5)=45 重要 启用的任务数只计算当天启用的最大任务数,例如当天创建了1000个任务,删除了1000个任务,同一时间最多启用100个任务,仅算100个任务。计费方式 按量计费 ...

任务列表

概述 为了便于用户管理 PolarDB 集群的任务,及时感知集群备份恢复等长时任务的进度,提高集群运维效率,PolarDB 支持在 任务列表 查看当前任务进度和历史任务详情。版本要求 当前任务列表仅支持管理 PolarDB MySQL版 企业版 和标准版 集群...

云原生AI套件概述

在Kubernetes应用中,您可以灵活地集成PAI平台深度优化的算法和引擎,依托其最佳实践沉淀,极大优化训练与推理效果。关于 人工智能平台 PAI 的更多信息,请参见 什么是 人工智能平台 PAI。云原生AI套件的产品架构如下图所示。核心功能 云...

智能监控

任务变慢报警一定要满足以下两个条件:任务处于重要的基线上游。任务和往常比较,确实存在变慢的情况。您可以在 事件管理 页面查看下游基线信息,并和下游监控任务的基线方确认任务变慢的影响程度。如果任务变慢的影响不大,可以选择忽略。...

高性能能力

PolarDB PostgreSQL版(兼容Oracle)的高性能特点主要通过跨节点并行执行能力和优化器来体现。HTAP跨节点并行执行能力 PolarDB PostgreSQL版(兼容Oracle)支持分析型查询,通过分布式并行计算技术,多个RO点并行执行SQL查询,充分发挥共享...

AnalyticDB for MySQL

本文为您介绍使用AnalyticDB for MySQL节点进行任务开发的主要流程。前提条件 已购买相应版本服务。购买DataWorks标准版及以上版本。DataWorks仅支持使用标准版及以上版本服务运行AnalyticDB for MySQL任务。详情请参见 DataWorks版本服务...

数据开发概述

DataWorks数据开发(DataStudio)模块用于定义周期调度任务的开发及调度属性,与运维中心配合使用,面向各引擎(MaxCompute、Hologres、EMR等)提供可视化开发主界面,支持智能代码开发、多引擎混编工作流、规范化任务发布等能力,帮助您...

定时任务概述

支持的主要配置项 定时任务支持的主要配置项如下所示:配置项 说明 执行时间 表示定时任务的触发时间。如果未设置重复周期,则按指定的日期和时间执行一次。如果设置了重复周期,则该属性指定的时间点默认为周期性任务的执行时间点。重要 ...

创建和查看DataWorks导出任务

不同导出类型的使用场景如下:全量导出 适用于全量备份工作空间中的任务主要用于备份代码、快速复制一个测试环境等场景。全量导出的版本为开发过程中最新的版本。全量导出仅支持导出保存成功的对象。当同一个任务有开发和生产等多个版本...

概述

数据管理DMS 的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。背景信息 随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源...

StartSpider-启动网站导入任务

启动指定的网站导入任务。URL POST/v4/openapi/app-groups/[appGroupIdentity]/chatos/spiders/[spiderId]/actions/start[app_group_identity]:表示应用名(需要指定应用名访问,主要针对服务中的应用版本)。[spiderId]:爬虫任务id。...

功能更新动态(2022年)

2022年10月27日 华东1(杭州)2022年11月01日 华南1(深圳)2022年11月03日 华东2(上海)数据集成:输入组件、数据源优化,提升体验感,数据源表存在性、表结构变动功能点优化,整库迁移的任务生成优化 API输入组件支持数据源读取。csv...

冻结或解冻任务

集群计算资源不足,需要优先保障某些任务流运行,可以先冻结其他不相干的下游任务流,当重要任务流运行完成后,再解冻这些不相干的任务流。冻结任务流 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据开发>任务编排。...

查看性能优化建议

背景信息 性能优化主要针对资源不足的ECS实例,即该ECS实例在过去14天内,累计2天及以上每分钟的CPU使用率或MEM利用率高于85%。操作步骤 登录 ECS管理控制台。在左侧导航栏,选择 部署与弹性>>资源管家。在顶部菜单栏左上角处,选择地域。...

任务管理

创建调度任务 重要 创建任务前,请确保您已经创建了任务分组。更多信息,请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏,选择 任务管理。在 任务管理 页面,选择目标命名空间,单击 创建任务。在 基本...

脚本任务

本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一:选择脚本语言 在 任务管理 页面创建任务,具体操作,请参见 任务管理。任务类型 选择 脚本任务,然后选择 脚本语言。当前支持的脚本语言类型:...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云虚拟主机 商标服务 对象存储 域名 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用