虚拟节点
虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...
创建CDH MR节点
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的...查看运行的周期调度任务，详情请参见 查看并管理周期任务。如果您需要查看更多周期调度任务详情，可单击顶部菜单栏的 运维中心，详情请参见 运维中心概述。
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
MySQL节点
查看运行的周期调度任务，详情请参见 查看并管理周期任务。如果您需要查看更多周期调度任务详情，可单击顶部菜单栏的 运维中心，详情请参见 运维中心概述。常见问题：任务执行报错 暂不支持的jdbc驱动 问题描述 添加MySQL数据源时，选择了...
创建EMR Impala节点
您可以创建EMR（E-MapReduce）Impala节点，对PB级大数据进行快速、实时的交互式SQL...查看运行的周期调度任务，详情请参见 查看并管理周期任务。如果您需要查看更多周期调度任务详情，可单击顶部菜单栏的 运维中心，详情请参见 运维中心概述。
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式...查看运行的周期调度任务，详情请参见 查看并管理周期任务。如果您需要查看更多周期调度任务详情，可单击顶部菜单栏的 运维中心，详情请参见 运维中心概述。
创建CDH Spark节点
查看运行的周期调度任务，详情请参见 查看并管理周期任务。如果您需要查看更多周期调度任务详情，可单击顶部菜单栏的 运维中心，详情请参见 运维中心概述。相关场景 DataWorks平台提供了完善的作业调度和监控功能，确保您的Spark作业能够...
查询定时调度
本文介绍如何通过控制台或命令行工具查看单个定时调度或定时调度列表。使用控制台查看定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中单击目标流程的流程名称。单击 定时调度 页签。您可以查看定时调度列表...
创建EMR Spark SQL节点
您可以通过创建EMR（E-MapReduce）Spark SQL节点，实现分布式SQL查询引擎处理结构...查看运行的周期调度任务，详情请参见 查看并管理周期任务。如果您需要查看更多周期调度任务详情，可单击顶部菜单栏的 运维中心，详情请参见 运维中心概述。
修改调度策略
对于已经配置完成的数据集成任务，如果由于业务需求变更需要重新调整调度策略，您可以参照本文的方法修改调度策略。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧...
配置逻辑表调度属性
完成条件调度设置后，单击 预览调度运行计划，可查看条件调度在日历中命中的日期。重要 修改条件调度设置，并提交并发布到生产环境后，将对发布时为 未运行 状态的实例实时生效，对已进入 等待运行时间 的实例不生效。单击 保存。附录：...
配置逻辑表调度属性
完成条件调度设置后，单击 预览调度运行计划，可查看条件调度在日历中命中的日期。重要 修改条件调度设置，并提交并发布到生产环境后，将对发布时为 未运行 状态的实例实时生效，对已进入 等待运行时间 的实例不生效。单击 保存。附录：...
使用Azkaban调度MaxCompute
MaxCompute支持您通过Azkaban实现作业调度，帮助您高效地完成高频数据分析工作。本文以通过MaxCompute客户端执行命令（Command）的方式为例为您介绍如何使用Azkaban调度SQL作业。背景信息 Azkaban是一套作业调度系统，可以调度Command、...
离线任务调度属性配置
完成条件调度设置后，单击 预览调度运行计划，可查看条件调度在日历中命中的日期。重要 修改条件调度设置，并提交并发布到生产环境后，将对发布时为 未运行 状态的实例实时生效，对已进入 等待运行时间 的实例不生效。条件调度中使用了跨...
离线任务调度属性配置
完成条件调度设置后，单击 预览调度运行计划，可查看条件调度在日历中命中的日期。重要 修改条件调度设置，并提交并发布到生产环境后，将对发布时为 未运行 状态的实例实时生效，对已进入 等待运行时间 的实例不生效。条件调度中使用了跨...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
调度中心
本文介绍调度中心功能的具体使用流程，帮助您快速掌握创建、查看及使用调度组。功能简介 调度中心功能可以帮助您实现对迁移任务的自动调度，支持将迁移任务加入调度组，并按照您自定义的调度规则自动执行迁移任务。通常，使用调度中心您...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
虚拟节点调度方案对比及介绍
例如，通过nodeSelector只能将Pod调度到Windows系统的虚拟节点，而无法实现优先调度到Windows虚拟节点，其次调度到Linux虚拟节点的逻辑。ACK Serverless集群基础版 调度方式 典型场景 优先级调度 优先缩容ECI Pod 备注 相关操作文档 ...
计费逻辑说明
您需要进入每个工作空间的 运维大屏 查看公共调度资源组的资源消耗情况，详情请参见 查看运维大屏。公共调度资源组调度实例费 按量付费 所有DataWorks用户共享使用公共调度资源组资源，高峰期可能出现不同用户间抢占资源的情况，无法保证...
快照创建的磁盘挂载到Windows系统无法显示分区
问题描述 快照创建的磁盘，挂载到 Windows ...解决方案 误将Linux系统的文件系统，如ext3、ext4和xfs等格式的磁盘创建快照挂载到了Windows主机上，需要使用diskgenius工具来查看磁盘使用情况，做进一步检测，如下图所示。适用于 云服务器ECS
通过脚本模式配置离线同步任务
后续步骤 任务发布至生产环境后，您可进入生产环境运维中心查看该调度任务，关于离线同步任务的运行与管理、状态监控、资源组运维等操作详情请参见：离线同步任务运维。相关文档 支持的数据源及同步方案 离线同步能力说明 通过向导模式配置...
通过向导模式配置离线同步任务
后续步骤 任务发布至生产环境后，您可进入生产环境运维中心查看该调度任务，关于离线同步任务的运行与管理、状态监控、资源组运维等操作详情请参见：离线同步任务运维。相关文档 支持的数据源与读写能力 离线同步能力说明 通过脚本模式配置...
获取Linux镜像文件
在右侧 明细 列表中，查看磁盘文件的存储位置，例如 C:\Users\Administrator\VirtualBox VMs\centos VM\centos VM.vhd。打开此路径，获取生成的Linux镜像文件。相关文档 ECS仅支持导入RAW、VHD和QCOW2格式的镜像文件。如果您的镜像文件是...
如何创建秒级调度任务
查看秒级调度任务详情 查看任务实例详情的步骤请参见 执行列表。秒级任务在任务实例详情页面中会多包含 历史执行记录 页签，该页签记录了如下信息：当天任务实例运行结果：当天开始触发时间到现在为止，秒级任务调度总次数以及成功、失败...
系统类故障排查
硬盘（磁盘）查看当前系统已挂载磁盘使用情况，可以使用以下命令：sudo df-TH 查看当前系统inode信息，可以使用以下命令：sudo df-i 查看具体文件夹占用大小可使用以下命令：sudo du-sh*流量带宽 iftop是Linux系统一个免费的网卡实时流量...
工作流编辑
E-MapReduce工作流支持基于有向无环图（DAG）并行执行大数据作业，您可以通过E-MapReduce控制台管控工作流调度以及查看工作流的执行状态。背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度...
扩容数据盘分区
对于待分配的磁盘容量，您可以将扩容部分的容量用于扩容原有磁盘分区，也可以新增磁盘分区。本文为您介绍如何扩容已有数据盘分区。背景信息 基于自定义镜像创建自定义云电脑模板时，如果云电脑模板选择的数据盘容量超过镜像对应的数据盘...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
新建调度任务
相关操作 操作 说明 查看调度任务详情 在调度任务列表中，单击目标任务 操作 列的 详情，在 任务详情 面板中可查看基础配置、结果集和日志信息。停止/启动调度任务 在调度任务列表中，单击目标任务 操作 列的 停止/启动，可停止/启动调度...
如何创建秒级调度任务
查看秒级调度任务详情 查看任务实例详情的步骤请参见 执行列表。秒级任务在任务实例详情页面中会多包含 历史执行记录 页签，该页签记录了如下信息：当天任务实例运行结果：当天开始触发时间到现在为止，秒级任务调度总次数以及成功、失败...
如何创建秒级调度任务
查看秒级调度任务详情 查看任务实例详情的步骤请参见 执行列表。秒级任务在任务实例详情页面中会多包含 历史执行记录 页签，该页签记录了如下信息：当天任务实例运行结果：当天开始触发时间到现在为止，秒级任务调度总次数以及成功、失败...
Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的...
本文介绍Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的Buffer I/O写性能不符合预期问题的原因及解决方案。问题描述 在ext4文件系统中执行常规的缓存异步I/O（Buffer I/O）写操作时，可能会观察到性能表现不符合预期的情形。存在该...
调度参数
当前实例重跑，会用最新的参数配置：即 time1=$cyctime 如果要看调度参数变更前的实例使用的调度参数替换情况，请在日志中查看，详情参考常见问题：如何在日志中查看调度参数替换情况 如何通过日志查看当前实例执行时调度参数替换情况？...
云服务器ECS多分区场景下的磁盘分区扩容方法
扩容Linux实例的磁盘分区 扩容Windows实例的磁盘分区 扩容Linux实例的磁盘 前提条件 在扩展磁盘分区和文件系统前，请提前完成以下工作。创建快照以备份数据，防止操作失误导致数据丢失。具体操作，请参见 创建快照。通过ECS控制台扩容云盘...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
云效统一 Runner 常见问题
示例如下 手动排查 第一步：检查系统 Linux 版本是否匹配 通过命令 lsb_release-a 查看 Linux 发行版本信息是否满足条件。目前云效统一 Runner 支持以下 Linux 发行版本：centos 6+及以上 ubuntu 16.04+及以上 Alibaba Cloud Linux 2/3 第...
- 产品推荐
- 这些文档可能帮助您