数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
设置离线节点的调度信息
如果需要在开发环境场景上线后定时调度该场景中离线计算节点，则需要在开发环境场景上线前配置场景中离线节点的调度信息，调度配置在生产环境中生效。本文介绍如何设置开发环境场景中离线节点的调度信息。前提条件 开发环境场景画布流程中...
功能特性
分布式云容器平台ACK One 分布式云容器平台ACK One（Distributed Cloud Container Platform for Kubernetes）是阿里云面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。ACK One可以连接并管理您任何地域、任何基础设施...
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
节点组
节点组类型 节点组的运行平台，必须与待添加节点的运行平台相同。节点组描述 节点组的描述性信息，方便用户理解和查找。运行配置 运行配置 用于设置节点组的云计算资源，关键参数说明如下：参数 说明 开发计算资源 开发场景中的计算资源，...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
2023年
无 告警规则 优化 Prometheus自监控类产品告警规则优化，支持在ARMS告警管理平台统一查询和展示，并支持快速跳转至云产品控制台规则列表页面进行管理。无 告警规则 优化【邀测中】应用告警规则新增支持区间检测模式，满足周期稳定类型的...
OpenAPI列表
TERMINATE终止调度,实例终止调度后，不会被调度运行，如果下游未运行，则下游也会连带被挂起调度。SET_SUCCESS置为成功,会影响下游调度，主要用于用户手动刷数据后强制更新实例调度状态，使下游可以被调度运行。重跑下游操作请使用...
快速入门
创建任务Job 创建定时任务CronJob 创建Spark任务 创建TensorFlow任务 监控管理 多集群全局监控基于单集群Prometheus的监控指标，聚合汇总多个集群的监控指标，并提供多集群全局的监控大盘，让您可以在一个监控大盘上获取多个关联集群的监控...
数据质量风险监控
前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2（上海），详情参见 业务场景与开发流程。您需要完成数据资产定级，本教程中定义为A2，详情请参见 数据资产定级。说明 数据质量风险...
应用场景
解决方案：基于交通云控平台提供交通需求预测、运力供给匹配、协同运力调度三大方案。案例效果：满足赛会期间300万左右观众的交通信息和出行需求。支撑2400余辆赛会专用车辆的实时调度需求。海陆空交通枢纽 核心场景 场面数字还原：飞机...
节点组
节点组类型 节点组的运行平台，必须与待添加节点的运行平台相同。节点组描述 节点组的描述性信息，方便用户理解和查找。运行配置 运行配置 用于设置节点组的云计算资源，关键参数说明如下：参数 说明 开发计算资源 开发场景中的计算资源，...
ACK One概述
分布式云容器平台 ACK One（Distributed Cloud Container Platform for Kubernetes）是阿里云面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。ACK One 可以连接并管理您任何地域、任何基础设施上的Kubernetes集群，并...
组件概述
fluid-system 调度 是否开启 调度组件（批量任务调度、GPU共享、GPU拓扑感知、NPU调度）功能。单击 高级配置，可自定义参数配置。ack-ai-installer，调度组件。kube-system 是否开启 Kube Queue任务队列 功能。更多信息，请参见 使用任务...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
数据质量风险监控
前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2（上海），详情参见 业务场景与开发流程。您需要完成数据资产定级，本教程中定义为A2，详情请参见 数据资产定级。说明 数据质量风险...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
新建同步节点并运行后上线
操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧...
功能特性
工作流调度简介 定时调度 EventBridge事件调度 应用（Application）Serverless工作流旧版控制台应用中心是专门针对Serverless架构下工作流应用的管理和开发平台，提供一键部署与模块化应用构建。提供一个便捷、高效、一体化的环境，来开发...
DataWorks V2.0
智能监控（新增）智能监控（Alarm）是DataWorks任务运行的监控及分析系统。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间、报警方式和报警对象。赋予用户在云上...
新增离线数据同步任务
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，单击 ...
新建同步节点并运行后上线
操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 页面，请跳过“单击 资产加工”的操作。在左侧导航...
增量数据同步
预期结果 在 离线数据同步 管理页面，选择上线状态的“信用卡客户数据上云_增量”同步任务，操作列中单击 监控，跳转至 运维监控，单击左侧导航栏中的 离线计算实例，查看今天运行的周期任务，可见增量离线周期同步任务已在设置的调度时间...
操作指南
您可以在 云工作流 控制台创建和执行工作流、创建工作流调度、将 云工作流 与其他云服务进行集成以及查看工作流相关指标监控等。云工作流 新版 工作流定义 创建工作流 工作流执行 工作流调度 工作流集成 监控指标 Serverless 工作流旧版 ...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
前端监控场景
基于ARMS的前端监控方案 前端监控功能基于ARMS平台提供的海量实时日志分析和处理服务，对当前线上所有真实用户的访问情况进行监控，从而解决以上问题。应用总览，发现异常问题 ARMS前端监控中可以看到应用总览信息，包括应用的JS错误数、JS...
项目空间运维与监控
后者兼容前者的功能，更提供针对调度场景下的监控与告警。在项目维度，设置了运维中心，协助用户监控作业状态，运维管理。其中包含作业总览、作业运行记录、工作流记录、流式作业监控和审计日志监控等功能，全方位提升用户运维效率。作业运...
管理调度资源组
在 调度资源组 页面，单击目标调度资源组的 监控 列的 图标。在 资源监控 面板中，您可以查看该资源组的利用率。扩缩容调度资源组 在 调度资源组 页面，选择需要变更节点数量的调度资源组 操作 列的>扩容 或>缩容。在变配页面，修改资源组...
什么是应用实时监控服务ARMS？
应用实时监控服务（Application Real-Time Monitoring Service）作为一款云原生可观测产品平台，包含应用监控、前端监控、Prometheus监控、云拨测、Grafana服务、告警管理等一系列子产品。其覆盖浏览器、小程序、APP、分布式应用、容器等...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
使用负载热点打散重调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
CreateOrUpdateAlertRule-创建或修改告警规则
节点机发送错误报文数 scheduler 定时任务-appstat.scheduler.rt：运行时间-appstat.scheduler.count：运行次数-appstat.scheduler.error：运行异常次数-appstat.scheduler.delay：调度延迟时间 前端监控 MetricsType 和 AlertRuleContent....
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
管理域名策略
添加域名调度策略 进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤添加域名调度策略。新增域名 在左侧导航栏点击 后台服务>移动调度，进入 移动调度 页面。在 域名策略 标签页点击 创建域名 按钮，进入 创建域名 页签。在 ...
机器人监控
“机器人监控”主要功能为查看当前系统中所有机器人的连接状态、认证状态、调度模式以及正在运行的应用。机器人监控列表 说明：【IP】：安装机器人的物理机IP地址。【连接状态】：已连接、未连接、空闲，共三种状态。【认证状态】：已认证...
什么是可观测监控 Prometheus 版
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，提供多种开箱即用的预置监控大盘，且提供全面托管的Prometheus服务。说明 Prometheus是一套开源的监控报警系统。主要特点包括多维数据模型、灵活...
什么是可观测监控 Prometheus 版
阿里云 可观测监控 Prometheus 版 全面对接开源Prometheus生态，支持类型丰富的组件监控，提供多种开箱即用的预置监控大盘，且提供全面托管的Prometheus服务。说明 Prometheus是一套开源的监控报警系统。主要特点包括多维数据模型、灵活...
规则管理
使用限制 自定义监控规则仅对自动调度的 周期实例 生效，不对周期任务的测试和补数据任务运行结果进行监控。自定义监控规则支持 邮件、短信、电话、钉钉群机器人 和 WebHook 报警方式，使用限制如下：WebHook：可用版本：仅DataWorks企业版...
- 产品推荐
- 这些文档可能帮助您