产品架构
场景丰富：基础资源：CPU、内存、网络、磁盘、进程等实验场景。Java应用：数据库、缓存、消息、JVM本身、微服务等，还可以指定任意类方法注入各种复杂的实验场景。云原生场景：节点上CPU、内存、网络、磁盘、进程实验场景。Pod网络和Pod...
WAL日志并行回放
Hold List：并行执行框架中，每个子进程调度执行回放子任务所使用的链表。原理介绍 概述 一条WAL日志可能修改多个数据块Block，因此可以使用如下定义来表示WAL日志的回放过程：假设第 i 条WAL日志LSN为 LSN i ，其修改了 m 个数据块，则...
WAL日志并行回放
Hold List：并行执行框架中，每个子进程调度执行回放子任务所使用的链表。原理介绍 概述 一条WAL日志可能修改多个数据块Block，因此可以使用如下定义来表示WAL日志的回放过程：假设第 i 条WAL日志LSN为 LSN i ，其修改了 m 个数据块，则...
使用Gang scheduling
功能介绍 Gang scheduling策略可在并发系统中将多个相关联的进程调度到不同处理器上同时运行。最主要的原则是保证所有相关联的进程能够同时启动，防止部分进程的异常，避免整个关联进程组的阻塞。例如，当您提交一个包含多个任务的批量Job...
使用Gang scheduling
功能介绍 Gang scheduling策略可在并发系统中将多个相关联的进程调度到不同处理器上同时运行。最主要的原则是保证所有相关联的进程能够同时启动，防止部分进程的异常，避免整个关联进程组的阻塞。例如，当您提交一个包含多个任务的批量Job...
UpdateFile
ParaValue String 否 x=a y=b z=c 调度参数。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>参数”对应。您可以参考 调度参数 配置。StartEffectDate Long 否 936923400000 开始自动调度的毫秒时间戳。该参数与 DataWorks控制台 ...
通过OpenAPI创建、修改、删除离线同步任务
ParaValue String 否 x=a y=b z=c 调度参数。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>参数”对应。您可以参考 调度参数 配置。StartEffectDate Long 否 936923400000 开始自动调度的毫秒时间戳。该参数与 DataWorks控制台 ...
通过OpenAPI创建、修改、删除离线同步任务
ParaValue String 否 x=a y=b z=c 调度参数。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>参数”对应。您可以参考 调度参数 配置。StartEffectDate Long 否 936923400000 开始自动调度的毫秒时间戳。该参数与 DataWorks控制台 ...
K8s任务
SchedulerX支持定时调度程序、多语言脚本和HTTP接口，也支持调度原生的K8s Job或者Pod。本文介绍如何在Kubernetes环境中部署SchedulerX。前提条件 接入SchedulerX，具体操作，请参见 在Kubernetes集群中部署SchedulerX。创建K8s任务 Shell...
赋值节点
赋值语言 outputs取值示例 赋值节点调度配置 下游节点调度配置 下游节点取值方式 下游节点返回结果 ODPS SQL 示例查看 fuzhi_tb 表。查询代码：SELECT*FROM fuzhi_tb;显示结果。赋值节点的 调度配置>节点上下文 默认生成一个本节点输出参数...
通过Docker安装并使用cGPU服务
cGPU服务会从Slice 1开始调度，但如果没有使用某个容器，或者容器内没有进程打开GPU设备，则跳过调度，切换到下一个时间片。示例如下：只创建一个容器Docker 1，获得Slice 1时间片，在Docker 1中运行2个TensorFlow进程，此时Docker 1最大...
在Kubernetes集群中部署SchedulerX
SchedulerX支持定时调度程序、多语言脚本和HTTP接口，也支持调度原生的K8s Job或者Pod。本文介绍如何在Kubernetes环境中部署SchedulerX。使用场景 使用SchedulerX调度K8s Job有如下优势。可在线编辑脚本Pod K8s Job常用于数据处理和运维...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
CPU拓扑感知调度
ACK基于新版的Scheduling framework实现CPU拓扑感知调度，针对CPU敏感型的工作负载提供更好的性能。本文介绍如何使用CPU拓扑感知调度。原理介绍 Kubernetes的节点会运行多个Pod，其中部分Pod属于CPU密集型工作负载。在这种情况下，Pod之间...
在Kubernetes集群中部署SchedulerX
SchedulerX支持定时调度程序、多语言脚本和HTTP接口，也支持调度原生的K8s Job或者Pod。本文介绍如何在Kubernetes环境中部署SchedulerX。使用场景 使用SchedulerX调度K8s Job有如下优势。可在线编辑脚本Pod K8s Job常用于数据处理和运维...
在Kubernetes集群中部署SchedulerX
SchedulerX支持定时调度程序、多语言脚本和HTTP接口，也支持调度原生的K8s Job或者Pod。本文介绍如何在Kubernetes环境中部署SchedulerX。使用场景 使用SchedulerX调度K8s Job有如下优势。可在线编辑脚本Pod K8s Job常用于数据处理和运维...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
SDK概述
SDK语言 SDK入门 SDK使用调试指南 Java Java语言SDK Java SDK使用指南 Node.js Node.js语言SDK Node.js SDK使用指南 Python Python语言SDK Python SDK使用指南 C#C#语言SDK C#SDK使用指南 C++ C++语言SDK C++SDK使用指南 Go Go语言SDK ...
迁移场景
自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后必须进行重新编译。更多信息，请参见 Make/CMake构建文件 和 C/C++语言迁移。解释型语言：以...
SDK概述
SDK语言 SDK入门 SDK使用调试指南 Java Java语言SDK Java SDK使用指南 Node.js Node.js语言SDK Node.js SDK使用指南 Python Node.js语言SDK Nodejs SDK使用指南 C#C#语言SDK C#SDK使用指南 C++ C++语言SDK C++SDK使用指南 Go Go语言SDK ...
产品功能
SchedulerX主要提供调度、执行和运维三方面的功能。多种表达式的定时调度 Crontab：支持Unix Crontab表达式，详情请参见 Cron。不支持秒级别。Fixed rate：Crontab必须被60整除，不支持其它数量级时间间隔的任务，如每隔40分钟的定时任务。...
合约语言特性
下面从 基础设施、C++17 标准库 两个方面对 C++ 合约语言的一些特性进行阐述。基础设施 与标准C++ 相比，从安全与审计角度考虑，不推荐使用以下基础设施：指针。指针的越界行为是 C++ 中最难以捉摸的行为，因此审计时需要格外小心。数组。...
合约语言特性
下面从 基础设施、C++17 标准库 两个方面对 C++ 合约语言的一些特性进行阐述。基础设施 与标准C++ 相比，从安全与审计角度考虑，不推荐使用以下基础设施：指针。指针的越界行为是 C++ 中最难以捉摸的行为，因此审计时需要格外小心。数组。...
Shared Server
支持配置Shared Server调试日志，方便排查后端进程调度相关的任何问题。参数说明 Shared Server的典型配置参数说明如下：参数 说明 polar_enable_shm_aset 是否开启全局共享内存。默认关闭，重启生效。取值如下：on：开启全局共享内存。off...
Shared Server
支持配置Shared Server调试日志，方便排查后端进程调度相关的任何问题。参数说明 Shared Server的典型配置参数说明如下：参数 说明 polar_enable_shm_aset 是否开启全局共享内存。默认关闭，重启生效。取值如下：on：开启全局共享内存。off...
Linux实例系统总体负载的查询及分析
nice：通过nice改变了进程调度优先级的进程，在用户模式下消耗的CPU时间比例。system：系统模式下消耗的CPU时间比例。iowait：CPU等待磁盘I/O导致空闲状态消耗的时间比例。steal：利用Xen等操作系统虚拟化技术，等待其它虚拟CPU计算占用的...
场景：节点孤立
示例场景：A、C为小时调度任务，每小时调度一次；B为天调度任务，每天 02：00 调度一次。C任务依赖B任务，B任务依赖A任务。对A、C任务执行补指定周期 00：00~01：00 的数据，B任务的定时时间不在该周期范围内（即不会生成该周期的实例），...
创建进程应用
目前支持 Node.js、Python、C 三种开发语言。应用版本 设置应用的版本，必须是该应用唯一的版本号，即一个应用不可以设置两个相同的版本号。代码包 单击 上传文件，上传您在本地已开发完成的应用程序代码包。重要 仅支持上传.zip 格式的...
部署和配置Terway网络插件
场景三：本地数据中心容器网络为Host网络 由于本地数据中心内的容器网络使用的是Host网络，所以只需保证云上Terway网络插件的守护进程集不被调度到云下即可。云上Terway网络插件默认只调度到拥有节点标签为 alibabacloud....
配置调度规则
多语言Node、C++、Go…：适用于任何语言的使用自定义镜像来部署的微服务应用。在 应用配置 页签，设置应用的环境信息、基本信息、部署方式和资源参数，设置完成后单击 下一步。在 应用高级设置 页签，展开 调度规则，并根据您的业务需求...
交通调度-网络流最大流问题
行业背景 交通调度是指对交通资源进行合理的调度和管理，以实现交通系统的高效运行和流量控制。如何安排调度，以帮助 提高交通运输的效率，降低成本。这个优化问题也可以运用数学规划的方法来建模和求解。例如：已知有七个站点，每个站点都...
接入问题
部署应用机器的区域和调度控制台创建的命名空间所在区域不一致。例如：对应命名空间创建于杭州Region，但当前应用配置的接入区域为公网。解决方案：登录 分布式任务调度平台。在 应用管理 页面，单击 接入配置 然后核对相关信息。...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
插件概览
Linux：/usr/local/cloudmonitor Windows：C:\Program Files\Alibaba\cloudmonitor 进程信息 插件安装后，主机上将运行以下进程：Linux：/usr/local/cloudmonitor/bin/argusagent Windows：C:\Program Files\Alibaba\cloudmonitor\bin\...
进程监控
假设您的主机运行了如下进程：/usr/bin/java-Xmx2300m-Xms2300m org.apache.catalina.startup.Bootstrap/usr/bin/ruby nginx-c/etc/nginx/nginx.conf 您添加了6个进程关键字，采集结果如下：进程关键字为 ruby，采集进程数为1，命中进程...
开发PyODPS 2任务
iris=DataFrame(o.get_table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务...
服务初始化
DataWorks部分地域目前支持多调度时区切换，支持修改调度时区的地域、各地域支持切换的时区、切换时区注意事项、如何切换时区，请务必提前阅读 场景：切换调度时区。3.创建DataWorks工作空间 创建前准备 创建工作空间前，您需先规划工作...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
在PyODPS节点中调用第三方包
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。更多创建PyODPS节点信息，请参见 开发PyODPS 2任务 和 开发PyODPS 3任务。使用限制 在PyODPS节点中调用第...
- 产品推荐
- 这些文档可能帮助您