开发PyODPS 2任务
使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。...
开发PyODPS 2任务
使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。...
调度概述
功能 描述 参考文档 负载感知调度 在调度过程中，通过参考节点负载的历史统计，将Pod优先调度到负载较低的节点，实现节点负载均衡的目标，避免出现因单个节点负载过高而导致的应用程序或节点故障。使用负载感知调度 使用负载热点打散重调度...
SysOM内核层容器监控
该指标提供了与CPU调度相关的统计数据，包括在当前CPU的调度队列中等待被调度运行的进程的消耗时间，以及当前CPU中运行的时间片长度。sysom_cpu_dist gauge-查看节点的总体调度情况。该指标提供了从进程让出CPU到下一次被调度到CPU上运行...
在PyODPS节点中调用第三方包
DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。请避免在...
观察监控指标
如下图所示：查看当前进程的内核数据 点击左侧的 数据趋势 按钮即可查看当前进程的一些内核分析数据，如下图所示：这里能比较细致且直观地反映进程是否健康，比如堆整体信息一栏中堆内内存非常高那么很可能就是发生内存泄漏。抓取性能数据...
演练场景说明
K8s类场景 场景名称 特性 Node演练场景 Kubernetes集群中Node资源故障场景，目前包含基础资源中的CPU、网络和进程。每个Node场景下都包含通用的Node筛选参数，用于查找目标Node。Pod演练场景 Kubernetes集群中Pod资源故障场景，包含删除Pod...
查看详细信息
详细信息中展示了聚合到当前崩溃名称中的所有错误实例，每条实例代表一个发生此错误的设备。查看崩溃/卡顿/异常/自定义详细信息步骤一致，下文以查看崩溃详细信息为例。操作步骤 登录 EMAS管理控制台，查找您的项目，单击项目，进入EMAS ...
虚拟机场景
暴力模式 否 False 是否开启暴力模式，如果是暴力模式，在OOM发生之后也不会释放之前创建的内存，可能会引起应用进程无响应。时间间隔 否 无 两次OOM异常间的时间间隔，只有在非暴力模式才生效，可以减缓GC的频率，避免因频繁的FullGC导致...
故障排查
本文介绍阿里云容器服务ACK集群在使用过程中常见问题的故障分析和排查流程。ACK集群异常 添加Kubernetes集群节点的常见问题 容器镜像仓库构建服务失败问题排查 容器镜像服务源码绑定失败问题排查 Kubernetes集群如何指定安全组 Kubernetes...
节点异常问题排查
本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的监控 检查节点的安全组 常见问题及解决方案 节点关键组件异常处理 ...
节点异常问题排查
本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的监控 检查节点的安全组 常见问题及解决方案 节点关键组件异常处理 ...
强弱依赖治理概述
强弱依赖治理的应用 强弱依赖治理主要可以被应用到以下场景：系统改造验收：对于分布式系统，至少在运行态中，不会因为依赖的系统后台出现故障，引起当前应用出现系统级可用性的故障，例如进程挂掉、频繁FullGC、负载飙高等，何时何地都应...
自定义资源组
自定义资源组在DataWorks调度体系中使用，当前DataWorks调度体系分为一级调度资源和二级运行资源：一级调度资源：进入 运维中心 页面，单击左侧导航栏中的 周期任务运维>周期实例。右键单击相应实例的DAG图，选择 查看更多详情，即可在 ...
产品功能
SchedulerX主要提供调度、执行和运维三方面的功能。多种表达式的定时调度 Crontab：支持Unix Crontab表达式，详情请参见 Cron。不支持秒级别。Fixed rate：Crontab必须被60整除，不支持其它数量级时间间隔的任务，如每隔40分钟的定时任务。...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
EventBridge事件调度
EventBridge事件调度包括云产品事件调度和自定义事件源事件调度。云产品事件调度支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源，而自定义事件源事件调度支持包括SLS、...
DescribePropertyProcDetail-查询进程资产的资产指纹
查询服务器的进程资产的资产指纹信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
故障诊断
抓取性能数据 功能，如下图所示：一般来说，如果涉及到内存泄漏的，可以抓取 堆快照，如果是 CPU 异常飙高的，可以抓取 CPU Profile 数据，下面我们以一个 CPU 异常飙高和内存泄漏的例子来看下如何使用 Node.js 性能平台提供的故障诊断功能...
资源使用优化
容器化改造，提升资源利用率 容器技术通过隔离运行在主机上不同进程，实现进程之间、进程和宿主操作系统相互隔离、互不影响，它有自己的一套文件系统资源和从属进程。容器服务没有管理程序的额外开销，与底层共享操作系统，性能更加优良，...
产品架构
日常巡检、业务监控、故障诊断发现风险事件，并将其上报至风险管理中心，由风险管理中心进行统一调度，如触发故障诊断、应急预案等。运行总览集中展示整个平台的运行状态、风险情况。部署架构 HAS 部署时，需要依赖以下底层服务：数据库 ...
添加负载均衡CLB
重要 禁止从负载均衡控制台直接修改CLB实例的监听配置（含监听+证书），可能导致负载均衡控制台修改的配置回退，引发应用入口相关的故障。为容器服务K8s集群或自建K8s集群中的应用绑定CLB有以下区别：自建K8s集群：为应用绑定CLB都需新购...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
日志管理
通过日志管理，您可以查看Link IoT Edge所有服务或进程的日志，也可以更改日志配置。查看日志信息 在边缘网关控制台左侧导航栏单击 日志管理，可在 日志管理 页面查看网关日志信息。在 日志目录 下方，单击要查看的服务或进程名称，左侧...
什么是SCDN
多级调度：支持多级的调度策略，节点故障不会造成用户服务不可用。多系统联动：和阿里云其他产品形成多系统联动，与安全防御系统、刷新系统、内容管理系统等协调工作，达到各模块的最优性能。流量预测：数据化实时调度，支持节点级别流量...
部署和配置Terway网络插件
场景三：本地数据中心容器网络为Host网络 由于本地数据中心内的容器网络使用的是Host网络，所以只需保证云上Terway网络插件的守护进程集不被调度到云下即可。云上Terway网络插件默认只调度到拥有节点标签为 alibabacloud....
更改共享GPU调度显存最小分配单位
共享GPU调度默认按1 GiB为单位申请显存，申请更细粒度的显存需要更改显存最小分配单位。本文介绍如何将共享GPU调度显存最小分配单位更改为128 MiB，以申请更细粒度的显存。前提条件 您的集群需要安装共享GPU调度专业版的组件，然后您才可以...
创建实时元表规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定/重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
创建实时元表规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定/重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
多云场景全局容灾
预实现效果 中国内地的用户流量调度到线下IDC 中国香港用户的访问流量调度到阿里云中国香港 境外访问流量调度到华为云新加坡 IDC故障场景下，流量调度至阿里云 华为云故障场景下，流量调度至阿里云 阿里云故障场景下，流量调度至华为云 ...
创建指标质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
创建指标质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
创建数据表质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
创建数据表质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
功能概览
当节点出现故障时，通过智能调度，实现秒级容灾切换，保障网络的稳定性。IPv6支持 支持IPv4和IPv6双栈。丰富的报表日志 阿里云注册用户，接入系统后可查看历史域名访问日志报表；可查询域名、子域名的请求量信息以及排名信息。用户隐私保护...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，...重要 数据集成同步进程时区属于 DataWorks工作空间当地Region时区，同步进程时间不随DataWorks调度时区进行切换，部分数据源同步时会和同步进程时区有关，也请您留意此处约束。
新建补数据任务
暂停调度任务对应实例 配置暂停调度的任务生成的补数据实例的运行状态：暂停运行（可能会阻断补数据进程）：即暂停调度的任务生成的补数据实例均暂停运行，会阻断下游实例正常运行。说明 适用于当前任务及其下游任务均不需要运行的场景。...
新建补数据任务
暂停调度任务对应实例 配置暂停调度的任务生成的补数据实例的运行状态：暂停运行（可能会阻断补数据进程）：即暂停调度的任务生成的补数据实例均暂停运行，会阻断下游实例正常运行。说明 适用于当前任务及其下游任务均不需要运行的场景。...
- 产品推荐
- 这些文档可能帮助您