数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
如何处理云监控插件异常停止问题？
处理方法，请参见 如何处理云监控插件进程自动退出问题。排除以上两种情况后，如果云监控插件仍没有心跳，您可以参考以下方案处理。重新安装或升级云监控插件 如果云监控插件之前运行正常，您可以通过重新安装插件来恢复其运行状态；如果云...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
实例生成方式：发布后即时生成实例
DataWorks会为您的周期调度节点自动生成自调度实例，支持 T+1次日生成、发布后即时生成 两种实例生成方式，即发布至生产环境后第二天自动调度及发布至生产环境后立即自动调度。本文为您介绍即时生成实例的规则及配置要点。注意事项 周期...
ECS实例的服务进程自动关闭，如何排查？
解决方法请参见 Linux实例常用内核网络参数介绍与常见问题处理。根据程序的具体报错日志或者生成的 kump 文件分析程序本身异常退出的原因。更多信息，请参见 如何在公共镜像中开启kdump？和 Windows实例的内核转储配置方法。检查系统内部...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
场景：切换调度时区
附录：数据集成相关时间处理 数据集成的时区与DataWorks调度时区无关，调度参数实际替换值将按照 纯字符串形式 下发至数据集成侧。这里以 where 条件数据过滤为例 gmt_modify>=${yyyymmdd}，这个数据过滤SQL会按照字符串字面值发送给数据源...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
创建管道
使用控制台管理管道 重要 删除或暂停管道之后再提交到管道中的任务，不会被媒体处理MPS调度处理，会返回任务失败。删除或暂停管道之前已经提交的任务不受影响。但已进入处理排队中的任务将无法取消，会正常执行并收取对应的费用。提交任务 ...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
调度参数典型场景配置示例
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
只读节点Online Promote
重置WAL Meta Queue内存空间，从共享存储中重新加载slot信息，并重新设置LogIndex BGW进程的回放位点为其与当前一致性位点两者的最小值，用来表示接下来LogIndex BGW进程从该位点开始新的回放。将节点角色设置为主库节点，并设置LogIndex ...
只读节点Online Promote
重置WAL Meta Queue内存空间，从共享存储中重新加载slot信息，并重新设置LogIndex BGW进程的回放位点为其与当前一致性位点两者的最小值，用来表示接下来LogIndex BGW进程从该位点开始新的回放。将节点角色设置为主库节点，并设置LogIndex ...
产品相关问题
分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发、手动触发、优雅停止、断点...
多终端节点组流量调配原理及应用场景
② 监听根据配置的协议与端口检查客户端的连接请求，并根据各个终端节点组的调度优先级与设置的流量调配值选择接收请求的终端节点组。③ 北京终端节点组优先级高于上海终端节点组，健康检查正常且流量调配为100%，访问流量全部被转发到北京...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
调度参数配置最佳实践
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 参数...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
时间属性配置说明
DataWorks支持的调度类型如下：重要 任务调度频率与上游任务周期无关 任务多久调度一次与任务本身定义的调度周期有关，与上游任务调度周期无关。DataWorks支持不同调度周期的任务互相依赖 DataWorks中，调度任务会根据调度类型及周期数生成...
客户端进程说明
安装云安全中心客户端后，客户端会在服务器中开启AliYunDun、AliYunDunMonitor等进程，以实现信息采集、威胁检测等能力。您可以通过查看进程状态，判断安全防护能力是否生效。本文提供云安全中心客户端文件和进程的详细说明。进程说明 云...
运维中心概述
运维中心功能模块 当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心对任务进行运维操作，包括周期调度任务的自动调度与手动运行、任务运行详情查看、任务运行状态监控、任务运行使用的资源监控与自动运维；...
kube-scheduler
修复剩余IP感知调度中由于剩余IP计数错误导致可调度Pod变少的问题 v1.24.6-aliyun-6.3.548a9e59 2024年01月10日 自定义弹性资源优先级调度 调度修复了使用自定义弹性资源优先级调度时，ECI可用区亲和以及打散不生效的问题。CPU拓扑感知调度...
应用视图
应用视图页面是通过采集主机进程与网络数据，来展示主机部署应用的拓扑架构。您可以通过筛选进程类型，查看进程的拓扑图和详细信息。本文介绍如何在应用视图中查看进程。操作步骤 登录 AHAS控制台，在左侧导航栏选择 故障演练>架构感知。在...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
什么是阿里云CDN
当终端用户发起访问请求时，用户的访问请求会先进行域名DNS解析，然后通过阿里云CDN的调度系统处理用户的解析请求。缓存系统 用户通过收到的最佳接入节点访问对应的缓存节点，如果节点已经缓存了用户请求的资源，会直接将资源返回给用户；...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
逻辑表配置概述
对于逻辑表任务，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍逻辑表任务属性与调度的相关内容。逻辑表任务配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入逻辑表任务配置...
- 产品推荐
- 这些文档可能帮助您