什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
逻辑表配置概述
对于逻辑表任务，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍逻辑表任务属性与调度的相关内容。逻辑表任务配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入逻辑表任务配置...
创建手动任务
手动业务流程与调度业务流程仅存在部分差异，界面功能认识可参见 数据开发功能索引。进入手动业务流程功能界面 您需要前往 DataStudio（数据开发）>手动业务流程 页面，通过手动业务流程创建手动触发执行的任务。进入 数据开发 页面。登录 ...
数据集成侧同步任务配置
当前方案的调度配置与DataWorks中节点的调度配置一致，参数详情可参见 时间属性配置说明。设置任务运行资源 在此步骤中，您可以配置任务名称及任务执行所使用的资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
工作原理
本文介绍定时SQL功能的背景信息、功能简介、基本概念、调度与执行场景、使用建议等信息。背景信息 基于时间的数据（日志、指标）在日积月累后的数量是惊人的。例如每天产生1000万条数据，则一年为36亿条数据。一方面，长时间的数据存储需要...
ETL工作流快速体验
调度参数常用列表 DataWorks MaxCompute 数据开发 调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数动态替换。通常，您可选择基于业务日期或定时时间获取相应的时间数据。案例配套文档...
Spring任务
常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致SchedulerX覆盖自定义处理器。请排查业务应用工程中是否存在实现 org.springframework.scheduling.annotation.SchedulingConfigurer 接口的...
透视分析：按研发链路
便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并及时处理。使用限制 仅阿里云主账号和拥有 AliyunDataWorksFullAccess 权限的RAM用户可以选择任意工作空间，其它账号只能选择其加入的...
任务冻结与解冻
本文介绍冻结解冻的相关问题。冻结周期任务和周期实例的影响 冻结周期任务对补数据、测试操作产生的实例影响 冻结的实例解冻后如何重新运行？为什么做了冻结操作，任务还是执行？如何查看哪些用户对任务做过哪些操作？冻结周期任务和周期...
AI负载调度
为了解决这个问题，阿里云提供Gang Scheduling功能，保障所有相关联的进程能够同时启动，防止因部分进程的异常而导致整个关联进程组的阻塞的问题。使用Gang scheduling Capacity Scheduling 当集群中有多个用户时，通过Kubernetes原生的...
使用工作空间参数
DataWorks在原有任务级别调度参数基础上，新增工作空间级别的调度参数，如果同一个工作空间中的多个参数需配置为相同值，可以使用工作空间参数。工作空间参数可配置为脱敏展示，以保护您的敏感数据；同时，在标准模式工作空间下，生产环境...
常见问题
本文介绍自建Kubernetes集群部署VNode来使用ECI的常见问题。网络相关问题 云上服务如何访问线下IDC的Pod IP？线下IDC服务如何访问云上的Pod IP？内网域名无法解析怎么办？线下IDC服务如何访问云上服务？镜像拉取相关问题 使用自建的容器...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
服务运维
云原生化的选择与问题 传统的 Service Mesh：在软件形态上：将中间件的能力从框架中剥离成独立软件。在具体部署上：保守的做法是以独立进程的方式与业务进程共同存在于业务容器内。蚂蚁集团从开始就选择了拥抱云原生。Sidecar 模式 业务...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
项目空间运维与监控
本文主要介绍Databricks数据洞察中项目空间具有的运维与监控能力。背景信息 项目空间的运维能力主要辅助作业开发和工作流生产，前者提供作业开发过程中的日志监控、版本监控和操作审计监控；后者兼容前者的功能，更提供针对调度场景下的...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
什么是故障演练
定位与解决问题的应急能力 通过故障突袭，随机对系统注入故障，考察相关人员对问题的应急能力，以及问题上报、处理流程是否合理，达到以战养战，锻炼定位与解决问题的能力。故障演练与AHAS服务体系 故障演练作为AHAS的一部分，与AHAS其他...
版本说明
修复问题 解决Windows下进程监控Top5和进程内存超4GB时，只上报4GB监控数据的问题。解决域名解析卡死的问题（某些系统下域名解析超过20秒）。解决部分Prometheus指标解析失败的问题。解决日志采集占用大量CPU的问题。解决可用性监控如果...
工作原理
本文介绍时序预测的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会产生各种各样的时序数据，记录了服务的各种指标随时间的变化情况。时序数据的监控分析被广泛地应用在系统监控和故障定位中。对于时序数据...
调度概述
为了解决这个问题，阿里云提供Gang Scheduling功能，保障所有相关联的进程能够同时启动，防止因部分进程的异常而导致整个关联进程组的阻塞的问题。使用Gang scheduling Capacity Scheduling 当集群中有多个用户时，通过Kubernetes原生的...
查看周期实例
任务运行与问题定位 调度任务运行需要满足上游任务运行成功、当前任务定时时间已到、调度资源充足、当前任务未冻结等条件，详情请参见 任务运行条件。如果任务为未运行状态，建议您先通过DAG面板中的 上游分析 功能，快速定位阻塞当前任务...
专业版公测（2022年01月26日）
融合大数据DataWorks任务 在实际业务场景中业务处理往往依赖前置数据准备，目前在分布式任务调度平台上可进行DataWorks任务数据处理与业务数据处理任务依赖编排定时调度。更多信息，请参见 DataWorks任务。如何升级为专业版 操作步骤 ...
在ACK集群部署多租户任务调度管理
为了解决批处理任务的调度问题，企业需要自上而下地解决任务管理、配额管理、任务调度、用户隔离、日志收集、集群监控、资源供给等多方面问题。为解决以上问题，您可以使用ACK集群来管理大规模集群的管理系统，其较为完善的生态为企业打造...
任务实例状态异常
本文为您介绍实例异常排查的相关问题。运维中心周期任务没有找到该任务 有周期任务，但是周期实例一个都没有 有周期任务，有其他周期实例，但是这个任务没有产生周期实例 有周期任务，有周期实例但未运行 任务运行必须满足的条件有哪些？运...
运维中心入门
运维操作管控（进阶）运维中心支持节点冻结、节点解冻、补数据、节点下线等扩展点，您可使用该扩展点结合扩展程序，实现自定义管控任务的逻辑处理与运维操作。详情请参见 扩展程序概述、应用示例：运维中心触发事件检查。后续步骤 您可为...
其他问题
本文汇总介绍运维中心其他常见问题。任务与实例 周期任务与周期实例、补数据实例、测试实例是什么关系？资源组 日志和实例保留多长时间？为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务...
数据开发与运维中心：数据加工
任务监控与定位处理 计费 进行数据开发与运维可能产生的费用包括：运行任务所需的 调度资源组 费用。计费详情请参见 独享调度资源组计费说明：包年包月、公共调度资源组计费说明：按量付费。进行运维监控时，监控规则计算扫描所需的实例...
工作原理
您可以根据根因定位的结果，判断是时序数据的哪些维度（单个维度和若干维度的组合）异常导致的问题，缩小问题排查范围。本文介绍下探分析的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 服务运行过程中会产生各种各样的时序...
文档修订记录
配置代码模板 2023.6.29 新增功能 数据开发 DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。函数计算节点 2023.6.29 新增功能 管理控制 创建E-MapReduce计算引擎数据源：...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
使用公共资源组
计费详情可参见：公共调度资源组计费说明：按量付费 公共数据集成（调试）资源组：按量计费 公共数据服务资源组计费说明：按量付费（2）扣费与欠费说明 DataWorks针对不同类型公共资源组的扣费及欠费处理情况存在差异，详情请参见 扣费与...
任务运行诊断
任务实际执行时，除了受数据开发（DataStudio）中定义的定时调度时间影响外，还受多方因素影响。例如，上游任务的定时时间、上游任务实际执行完成时间、任务执行资源组所剩资源等。本文为您介绍如何使用运行诊断功能快速定位任务未运行成功...
如何将任务调度应用优雅下线
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
附录：DAG图功能介绍
运行时长过长：当任务运行时间与历史运行情况相比明显变长，您可参考以下场景进行处理。非同步任务：可咨询对应引擎负责人。离线同步任务：可能任务某个阶段执行较慢或处于长时间等待资源状态。详情请参见：如何排查离线同步任务运行时间长...
开发ODPS MR任务
您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点，详情请参见 创建并管理...
开发ODPS MR任务
您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点，详情请参见 创建并管理...
Spring任务
常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致SchedulerX覆盖自定义处理器。请排查业务应用工程中是否存在实现 org.springframework.scheduling.annotation.SchedulingConfigurer 接口的...
在PyODPS节点中调用第三方包
DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。请避免在...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
- 产品推荐
- 这些文档可能帮助您