使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
虚拟交换机剩余IP状态感知调度
在多个集群同时使用同一个虚拟交换机或多个节点同时使用同一个虚拟交换机时，可能出现Pod调度到节点上后由于虚拟交换机可用IP不足启动失败的情况。这种情况下，Pod控制器通常会重建Pod，之后原生Kubernetes集群调度器通常会再次调度Pod到...
弹性伸缩概述
大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。容器垂直伸缩（VPA）CronHPA ACK开源的组件，主要面向应用资源使用率存在周期性变化的场景。周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的...
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的...MapReduce常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的...MapReduce常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。
工作原理
下探分析用于多维时序数据的根因定位，当监控的时序指标出现异常时，分析这个时序指标的各个维度，检测是哪个维度或者哪些维度的组合导致了指标异常。通过指标的各个维度进行根因定位，便于运维人员在服务异常时快速定位异常根因。例如网站...
运维阶段
调度异常处理。数据质量监控规则异常分析、规则优化。数据异常的核查。运维阶段的流程包括分析影响、制定与实施方案和验证实施方案。操作步骤 分析影响。运维人员或开发人员通过监控规则捕获、自主发现或其它方法获取关于数据产出时效性、...
任务运行诊断
场景 描述 是否存在异常任务长时间占用资源未释放，导致任务阻塞 请通过 运行诊断>调度资源 页面，确认是否存在长时间占用资源的任务，通过 查看任务执行日志 定位长时间占用资源的原因。该资源组上执行的任务是否增加 当前使用的资源组所...
工作原理
该方式主要应用于在服务出现异常后及时的发现问题和定位问题。预测将来产生的时序数据，判断时序数据未来的走势。您可通过时序预测功能实现。该方式主要应用于对服务关键指标的异常走势进行提前预警。时序预测应用场景如下：预测服务关键...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
弹性伸缩概述
大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。容器垂直伸缩（VPA）CronHPA ACK开源的组件，主要面向应用资源使用率存在周期性变化的场景。周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的...
SQL请求行为识别
说明 如上图所示，序列2标记区域内各个行所代表的含义如下：第一行代表 时序异常指标 的异常程度，异常程度不同颜色也不同，红色、黄色、蓝色根据事件的异常程度依次递减。第二行代表 时序异常检测 对应的动态，慢SQL优化事件。单击 异常...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
DMS调度Spark
使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过 数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
健康检查及自动恢复
一旦检测到节点异常（往往是内存超限、进程异常退出等异常场景）将会进入自动恢复过程，master会通过检查每个work节点资源限制情况来动态调度恢复的目标，可能出现2种调度场景：1）在原work节点重启 2）跨work节点重启。注：由于这种健康...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
SmartMetrics Holiday功能
如果不配置Holiday，可能会出现以下两种情况：在模型训练过程中，误以为指标曲线上所有的峰值都是它季节性特征的一部分，这会导致算法预测出来的上下边界出现偏差。因为模型无法对未来Holiday内指标的上下边界做出准确的预测，可能会出现...
使用Prometheus配置报警规则的最佳实践
DaemonSet副本调度异常 Critical kube_daemonset_status_number_misscheduled{job}>0 DaemonSet的副本调度异常时，触发报警。在操作入口，单击 集群应用工作负载报警规则集，设置 Daemonset副本调度异常 报警规则。更多信息，请参见 容器...
节点异常问题排查
本文介绍关于节点异常问题的诊断流程、排查思路、常见问题及解决方案。本文目录 类别 内容 诊断流程 诊断流程 常见...解决方案 通过节点的监控查看CPU增长曲线，确认异常出现时间点，检查节点上的进程是否存在CPU占用过高的现象。具体操作，...
节点异常问题排查
本文介绍关于节点异常问题的诊断流程、排查思路、常见问题及解决方案。本文目录 类别 内容 诊断流程 诊断流程 常见排查...解决方案 通过节点的监控查看CPU增长曲线，确认异常出现时间点，检查节点上的进程是否存在CPU占用过高的现象。具体操作...
Pod诊断
容器智能运维平台 提供Pod诊断功能，帮助您诊断异常的Pod信息。本文介绍Pod诊断的检查项以及对应的修复方案。容器智能运维平台 构建了基于专家经验的故障诊断系统，并基于海量数据训练了AI智能故障诊断模型。Pod诊断融合了基于专家经验和AI...
ALB服务器组概述
当某台后端服务器健康检查出现异常时，ALB 会自动将新的请求分发到其他健康检查正常的后端服务器。当该服务器恢复正常运行时，ALB 会将其自动恢复到负载均衡服务中。健康检查为短连接，完成健康检查后连接将关闭。说明 如果后端服务器权重...
添加订阅配置
任务异常通知：监控任务出现异常（任务状态符合告警级别）时的实时告警通知。定期巡检报告：周期性对业务分组下所有任务的巡检报告输出（统计分析指标输出）。标准协议：按照标准化的参数结构要求输出消息订阅内容，由第三方应用依照自身...
添加订阅配置
任务异常通知：监控任务出现异常（任务状态符合告警级别）时的实时告警通知。定期巡检报告：周期性对业务分组下所有任务的巡检报告输出（统计分析指标输出）。标准协议：按照标准化的参数结构要求输出消息订阅内容，由第三方应用依照自身...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行...Spark常见问题：您可了解Spark执行过程中的常见问题，便于出现异常时快速排查解决。
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行...Spark常见问题：您可了解Spark执行过程中的常见问题，便于出现异常时快速排查解决。
节点诊断
ECS实例网卡链路层状态 检查ECS实例网卡链路层是否出现异常。ECS实例未正常启动或网络配置有问题，您可以尝试通过重启实例进行恢复。ECS实例启动状态 检查ECS实例的boot操作是否能正常执行加载。ECS实例无法正常启动，您需要创建一个新的...
设置Pod故障处理策略
如果Pod status.reason为空（fail-fast一般不会出现该情况），可以查看Pod status condition，通过ContainerInstanceCreated的status确认调度状态。如果ContainerInstanceCreated为True，则表示ECI调度成功，是Sandbox创建异常。如果...
资源伸缩和系统扩展
大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。容器垂直伸缩（VPA）CronHPA ACK开源的组件，主要面向应用资源使用率存在周期性变化的场景。周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
使用DMS进行数据归档
注意事项 若在数据归档过程中选择了自动清理源库表数据，请注意源库表空间的预留情况，避免由于空间不足导致归档过程中出现异常。支持存储弹性模式和Serverless模式两种实例资源类型的 AnalyticDB PostgreSQL版。推荐您使用资源类型为...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
数据开发常见问题
调度参数赋值异常：报错：params format error，please check your params（key=values）。运维查看 如何查看生产环境调度参数替换情况？如何通过日志查看当前实例执行时调度参数替换情况？节点中调度参数已配置且提交发布，但返回值始终无...
DCDN节点运维下线说明
异常情况监测：阿里云DCDN节点也可能会因为一些少量的异常情况（例如：运营商线路故障、数据中心机房故障等）而出现计划外的下线。对于这一类问题，阿里云DCDN产品的调度系统提供了对所有节点的探测监控，一旦发现节点异常下线，会实时把...
- 产品推荐
- 这些文档可能帮助您