管理集群
网络管理 Service管理 Ingress管理 服务发现DNS 组件管理 管理组件 应用管理 工作负载 应用调度 配置管理 安全管理 安全 可观测性 日志管理 监控管理 调度 任务调度：任务调度概述 使用Gang scheduling 使用Capacity Scheduling 共享GPU...
产品优势
完善的监控体系和服务体系，7*24小时全网监控，基于服务质量智能监控和调度。安全可靠 支持频次控制功能，保底防护6万QPS，最高100万QPS。提供防刷策略，智能识别请求频繁的陌生IP并限制其访问资源，达到防刷的目的。智能调度 自动识别日常...
【监控升级】跨地域连接监控能力升级
尊敬的阿里云用户，为提高云企业网产品的使用体验，2023年08月30日云企业网已对跨地域连接监控能力升级，针对跨地域连接、带宽包实例、流量调度队列云企业网提供了全新监控指标供您使用。升级内容 本次升级新增支持监控流量调度队列。针对...
运维中心概述
运维中心功能模块 当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心对任务进行运维操作，包括周期调度任务的自动调度与手动运行、任务运行详情查看、任务运行状态监控、任务运行使用的资源监控与自动运维；...
运维中心入门
阶段二：监控周期调度任务 步骤六：创建自定义监控规则 您可根据业务需求，为周期调度任务配置智能监控规则，监控任务的调度运行状况，保障该任务后续可以正常调度。步骤七：创建智能基线（进阶）为保障高优先级任务可在指定时间顺利产出...
配置数据质量监控
配置表行数波动监控（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。本案例中，对加工后的ads_user_...
配置数据质量监控
配置表行数波动监控（弱规则）主键唯一性校验（强规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
自动运维
说明 此处监控对象仅支持选择独享数据集成资源组和独享调度资源组。工作空间 选择该运维规则生效的工作空间。实例类型 选择使用该运维规则的实例类型。包括 周期实例、补数据实例、测试实例、手动任务 和 手动业务流程 调度周期 调度周期...
计费逻辑说明
资源费用明细：任务调度 智能监控 智能监控提供的基线功能用于监控任务的运行情况，开启状态的基线会生成基线实例，DataWorks将根据基线实例数计费。智能监控提供表、任务及资源的监控报警功能，DataWorks将根据监控报警产生的短信和电话数...
资源监控
资源监控可设置调度资源大盘的开启和关闭。针对调度资源大盘，Dataphin管理中心提供实例级别的控制。本文为您介绍如何开启或关闭调度资源大盘。功能限制 资源监控仅支持监控Dataphin集群的资源。前提条件 请联系Dataphin部署团队部署...
配置任务监控报警规则
重要 针对未完成的监控报警，更改监控任务的调度周期为小时或分钟，将会导致对应监控规则失效。指定时间点逻辑表中存在未完成的字段将触发告警（仅天级任务有效）。运行超时：设置运行超时须设置运行超过时间，支持配置的运行超时范围为 0~...
配置任务监控报警规则
重要 针对未完成的监控报警，更改监控任务的调度周期为小时或分钟，将会导致对应监控规则失效。指定时间点逻辑表中存在未完成的字段将触发告警（仅天级任务有效）。运行超时：设置运行超时须设置运行超过时间，支持配置的运行超时范围为 0~...
配置项目监控报警规则
Dataphin支持项目级的监控报警，支持监控项目内全部任务或通过任务类型（任务类型+调度类型）批量配置，便于您及时发现并处理任务告警，同时提高任务监控报警配置的效率。本文为您介绍如何配置项目监控报警规则。使用限制 仅支持针对Basic...
配置项目监控报警规则
Dataphin支持项目级的监控报警，支持监控项目内全部任务或通过任务类型（任务类型+调度类型）批量配置，便于您及时发现并处理任务告警，同时提高任务监控报警配置的效率。本文为您介绍如何配置项目监控报警规则。使用限制 仅支持针对Basic...
数据风险点监控
DataWorks智能监控 DataWorks对MaxCompute进行离线任务调度时，提供智能监控工具，对调度任务进行监控告警。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间、...
智能监控概述
任务运行状态监控 监控对象 您可以通过配置相应的监控规则（自定义规则、智能基线），对周期调度任务状态、周期任务自动调度产生的周期实例运行状态、实时计算任务运行状态、资源使用情况进行监控。周期任务状态监控 DataWorks每晚根据 ...
操作指南
您可以在 云工作流 控制台创建和执行工作流、创建工作流调度、将 云工作流 与其他云服务进行集成以及查看工作流相关指标监控等。云工作流 新版 工作流定义 创建工作流 工作流执行 工作流调度 工作流集成 监控指标 Serverless 工作流旧版 ...
在Kubernetes集群中部署SchedulerX
报警监控 使用SchedulerX来调度Pod或者Job，可以复用SchedulerX的监控报警功能。支持的报警通道：短信、电话、邮件、Webhook（钉钉/企业微信/飞书）。支持的报警策略：失败报警、执行超时报警。日志服务 使用SchedulerX调度Pod或者Job时，...
项目空间运维与监控
后者兼容前者的功能，更提供针对调度场景下的监控与告警。在项目维度，设置了运维中心，协助用户监控作业状态，运维管理。其中包含作业总览、作业运行记录、工作流记录、流式作业监控和审计日志监控等功能，全方位提升用户运维效率。作业运...
管理调度资源组
在 调度资源组 页面，单击目标调度资源组的 监控 列的 图标。在 资源监控 面板中，您可以查看该资源组的利用率。扩缩容调度资源组 在 调度资源组 页面，选择需要变更节点数量的调度资源组 操作 列的>扩容 或>缩容。在变配页面，修改资源组...
OpenAPI列表
TERMINATE终止调度,实例终止调度后，不会被调度运行，如果下游未运行，则下游也会连带被挂起调度。SET_SUCCESS置为成功,会影响下游调度，主要用于用户手动刷数据后强制更新实例调度状态，使下游可以被调度运行。重跑下游操作请使用...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
查看并管理脚本任务
配置监控报警 支持配置任务运行的监控规则，详情请参见 离线任务监控概述。说明 仅适用于Prod和Basic项目。修改调度资源组 可修改任务生成的实例运行时使用的调度资源组。说明 仅生产环境项目下的任务可修改调度资源组。修改后对已生成的...
使用负载热点打散重调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
CreateOrUpdateAlertRule-创建或修改告警规则
节点机发送错误报文数 scheduler 定时任务-appstat.scheduler.rt：运行时间-appstat.scheduler.count：运行次数-appstat.scheduler.error：运行异常次数-appstat.scheduler.delay：调度延迟时间 前端监控 MetricsType 和 AlertRuleContent....
K8s任务
监控大盘 通过SchedulerX来调度您的Pod和Job，无需另行开通Prometheus服务，即可查看内置的任务监控功能。离在线混布 对于诸如订单处理等对实时性要求较高的在线定时任务，可在同一进程内直接调用方法进行高效处理，与在线业务无缝集成。而...
机器人监控
“机器人监控”主要功能为查看当前系统中所有机器人的连接状态、认证状态、调度模式以及正在运行的应用。机器人监控列表 说明：【IP】：安装机器人的物理机IP地址。【连接状态】：已连接、未连接、空闲，共三种状态。【认证状态】：已认证...
添加订阅配置
定期巡检报告：对选择的业务分组内的所有监控任务在设置的调度周期、生效日期和生效时段内报警的监控任务的汇总信息（查看模板）。调度周期 订阅报告选择 定期巡检报告 时，需设置告警任务的调度周期：分钟、小时、天。生效日期 订阅监控的...
添加订阅配置
定期巡检报告：对选择的业务分组内的所有监控任务在设置的调度周期、生效日期和生效时段内报警的监控任务的汇总信息（查看模板）。调度周期 订阅报告选择 定期巡检报告 时，需设置告警任务的调度周期：分钟、小时、天。生效日期 订阅监控的...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
配置示例：MaxCompute
配置关联调度 如果您需要在生产链路上监控离线数据质量，需要将数据质量规则与产出表数据的调度节点进行关联：产出表数据的调度节点必须发布后才可以关联调度。关联前，请确保您在关联的两个工作空间中，同时拥有 管理员、开发 或 运维 中...
调度依赖配置指引
DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引，避免因调度依赖配置...
数据及时性监控
背景信息 在对数据产出及时性监控前，首先需要确定调度任务的优先级。数据资产等级越高的任务节点，优先级越高，您可以给予更加严格的数据及时性监控和告警规则。操作步骤 进入 规则管理 页面。在DataStudio页面单击 运维中心（工作流）。...
数据及时性监控
背景信息 在对数据产出及时性监控前，首先需要确定调度任务的优先级。数据资产等级越高的任务节点，优先级越高，您可以给予更加严格的数据及时性监控和告警规则。操作步骤 进入 规则管理 页面。在DataStudio页面单击 运维中心（工作流）。...
创建数据表质量规则
质量负责人支持在自己所负责的监控对象下为质量规则配置调度、告警、异常归档表、打分权重等。质量负责人、普通用户需要额外具备有Dataphin数据表的读取权限，如需申请，请参见 申请、续期和交还表权限。质量规则配置说明 质量规则支持 ...
创建数据表质量规则
质量负责人支持在自己所负责的监控对象下为质量规则配置调度、告警、异常归档表、打分权重等。质量负责人、普通用户需要额外具备有Dataphin数据表的读取权限，如需申请，请参见 申请、续期和交还表权限。质量规则配置说明 质量规则支持 ...
创建实时元表规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
- 产品推荐
- 这些文档可能帮助您