安装Elastic Workload
使用elastic-workload 在Kubernetes中，任何一种负载都要解决两个问题，一个是调度问题，一个是生命周期管理问题。要实现上面描述的场景，我们核心要解决以下两个问题：当副本数目到达某个数值后，如何控制调度策略的变化。在生命周期管理...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
Java SDK
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
任务管理
基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列...
文档修订记录
配置代码模板 2023.6.29 新增功能 数据开发 DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。函数计算节点 2023.6.29 新增功能 管理控制 创建E-MapReduce计算引擎数据源：...
DataWorks On Hologres使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 三、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
运维中心入门
运维操作管控（进阶）运维中心支持节点冻结、节点解冻、补数据、节点下线等扩展点，您可使用该扩展点结合扩展程序，实现自定义管控任务的逻辑处理与运维操作。详情请参见 扩展程序概述、应用示例：运维中心触发事件检查。后续步骤 您可为...
附录：DAG图功能介绍
运行时长过长：当任务运行时间与历史运行情况相比明显变长，您可参考以下场景进行处理。非同步任务：可咨询对应引擎负责人。离线同步任务：可能任务某个阶段执行较慢或处于长时间等待资源状态。详情请参见：如何排查离线同步任务运行时间长...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
DataWorks On CDP/CDH使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 三、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
DataWorks On MaxCompute使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 三、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
数据质量入门
数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据...
DataWorks On EMR使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 二、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
创建有状态工作负载StatefulSet
此一致性与Pod相关，与被调度到哪个节点无关。稳定的持久化存储 通过VolumeClaimTemplate为每个Pod创建一个PV。删除或减少副本不会删除相关的存储卷。稳定的网络标志 Pod的 hostname 模式为：（StatefulSet名称）-（序号）。稳定的次序 ...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
创建无状态工作负载Deployment
您可以通过镜像、编排模板及命令行创建一个无状态应用。通过私有镜像创建应用时，您还可以通过容器服务控制台为私有镜像设置密钥，以确保镜像安全。本文以Nginx为例介绍如何通过镜像、编排模板以及命令创建无状态应用。前提条件 已创建...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
功能更新动态（2023年）
选择每日同步和单次同步，同时生成每日调度的周期任务与手动任务。集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
使用须知
调度资源管理 调度资源 即DataWorks上的调度资源，调度资源用于执行或分发调度系统下发的任务。DataWorks的调度资源分为如下两种模式，详情请参见 查看资源组列表。默认调度资源。指DataWorks的公共资源池。当DataWorks节点并发量很高，...
计算资源优化
包括HPA、VPA、CronHPA和Elastic-Workload等类型，例如HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度...
调度周期：分钟调度
分钟调度即每天指定的时间段内，调度任务按 N*指定分钟 的时间间隔运行一次。使用限制 分钟调度的时间间隔最小粒度只能设置为 5 分钟。配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间...
数据开发常见问题
Spark：Spark常见问题 外部表：外部表常见问题 安全管理相关：权限管理常见问题 安全配置常见问题 运维管理：Information Schema常见问题 小文件优化及作业诊断常见问题 其他运维常见问题 下载数据相关：如何下载超过1万条的表数据？...
K8s任务
离在线混布 对于诸如订单处理等对实时性要求较高的在线定时任务，可在同一进程内直接调用方法进行高效处理，与在线业务无缝集成。而对于实时性要求较低但资源消耗较大的离线定时任务，如报表定时导出，可通过编写脚本并以启动独立Pod的方式...
CPU拓扑感知调度
Kubernetes虽然有CPU Manager解决方案处理以上问题，但是因为CPU Manager特性是节点级别的CPU调度选择，所以无法在集群维度中选择最优的CPU Core组合。同时CPU Manager特性要求Pod是Guaranteed时（Pod中的每个容器必须指定CPU请求和CPU限制...
实例生成方式：发布后即时生成实例
DataWorks会为您的周期调度节点自动生成自调度实例，支持 T+1次日生成、发布后即时生成 两种实例生成方式，即发布至生产环境后第二天自动调度及发布至生产环境后立即自动调度。本文为您介绍即时生成实例的规则及配置要点。注意事项 周期...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
Pod诊断
类别 支持的异常场景 Pod诊断 Pod未被调度器处理。Pod不满足调度约束无法被调度。Pod已调度但未被Kubelet处理。Pod等待存储卷就绪。Pod被驱逐。Pod因节点磁盘空间不足被驱逐。Pod因节点内存不足被驱逐。Pod因节点磁盘索引不足被驱逐。Pod的...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
专业版公测（2022年01月26日）
融合大数据DataWorks任务 在实际业务场景中业务处理往往依赖前置数据准备，目前在分布式任务调度平台上可进行DataWorks任务数据处理与业务数据处理任务依赖编排定时调度。更多信息，请参见 DataWorks任务。如何升级为专业版 操作步骤 ...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
Pod诊断
类别 支持的异常场景 Pod诊断 Pod未被调度器处理。Pod不满足调度约束无法被调度。Pod已调度但未被Kubelet处理。Pod等待存储卷就绪。Pod被驱逐。Pod的Sandbox容器创建失败。Pod长期处于terminating状态。Pod中容器发生OOM异常。Pod中容器...
- 产品推荐
- 这些文档可能帮助您