DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
GetFile
NodeId Long 300001 提交文件后，在调度系统生成的调度任务ID。AdvancedSettings String {"queue":"default","SPARK_CONF":"-conf spark.driver.memory=2g"} 任务的高级配置。该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR ...
计算层高可用
同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别...
产品业务架构
外呼任务调度：会根据系统中设置的并发数对呼叫任务进行调度，当满足呼出时间时，调用智能语音中间件下发呼叫；说明 当某任务呼叫失败（无人接听或运营商原因导致呼出失败），智能外呼服务中的调度模块会根据下发任务时的重试策略进行重试...
任务常见问题
jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因？开启专业版，使用链路追踪。具体操作，请参见 如何接入链路追踪。任务运行实例达到上限怎么办？问题现象：在任务管理页面，单击 运行一次，收到 任务运行实例达到上限，请稍后重试...
虚拟节点调度方案对比及介绍
针对虚拟节点，ACK Serverless集群基础版 和 ACK Serverless集群Pro版 支持的调度方式不同，且有其特定的使用场景，例如调度到指定操作系统或架构类型的虚拟节点上、跨可用区亲和等。您可以依据调度场景以及集群类型，参考本文选择合适的...
智能解析调度不准问题
调度不准原因 当请求非默认线路下解析记录时：如果请求的解析记录类型为A，且对应线路下设置的解析记录中有AAAA记录但没有A记录，则返回的解析记录为空，不会造成解析调度不准确的情况。如果请求的解析记录类型为AAAA，且对应线路下设置的...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
任务常见问题
jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因？开启专业版，使用链路追踪。具体操作，请参见 如何接入链路追踪。任务运行实例达到上限怎么办？问题现象：在任务管理页面，单击 运行一次，收到 任务运行实例达到上限，请稍后重试...
附录：消息格式
dagType Integer Dag的类型，取值如下：0：周期调度任务 1：手动任务 2：冒烟测试 3：补数据 4：临时业务流程 5：手动业务流程 taskType Integer 任务实例的调度类型，取值如下：0：NORMAL，正常调度任务。该任务会被日常调度。1：MANUAL，...
产品优势
高可用 采用高可用架构和任务多备份机制，经历阿里集团多年双十一、容灾演练，可以保障机房宕机时调度任务不受影响。安全防护 多层次安全防护：支持HTTPS和VPC访问，基于阿里云的多层安全防护，可有效防止恶意攻击。多租户隔离机制：支持多...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
数据开发
资源属性 配置：任务由调度资源组调起运行，所以这里配置调度资源组为 公共调度资源组。调度依赖 配置：单击 同周期 页签中 依赖的上游节点 后的 使用工作空间根节点，其他参数保持默认。配置调度依赖的目的是为了保障上游表产出完成才会...
资源使用优化
通过消除每个应用程序都需要运行一个虚拟机的需求，可以减少整体计算开销。这种浪费、重复的操作系统和资源的减少可以转化为巨大的成本节省。过去多年大量的互联网企业经历了应用容器化改造。毋庸置疑，企业应用的容器化改造，不仅可以提升...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
启用节点自动伸缩
扩缩容策略 优先级策略：根据以上配置的 虚拟交换机 的优先级进行扩缩容（选择的虚拟交换机的顺序，由上到下优先级递减）。当优先级较高的虚拟交换机所在可用区无法创建ECS实例时，自动使用下一优先级的虚拟交换机创建ECS实例。成本优化...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-04-28 功能名称 变更类型 功能描述 相关文档 任务调度增强 新增 Cron、Fixed rate、Second...
GetIDEEventDetail
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。ResourceGroupId Long 375827434852437 文件发布成任务后，任务执行时使用的资源组。您可以调用 ...
节点管理
它既可以是虚拟机，也可以是物理机，具体视业务而定。每个节点都包含运行 Pod 所需的基本组件，包括 Kubelet、Kube-proxy、容器运行时等。您可以通过容器应用服务控制台对节点进行管理。说明 本文仅适用于新版 ACK 集群场景，即在 AKS 集成...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
Second delay
Second delay具有以下优势：高可靠：SchedulerX的秒级别任务具有高可靠的特性，如果某台机器宕机了，可以在30秒内在另一台机器上重新运行。丰富的任务类型：SchedulerX的秒级别任务属于定时调度类型，可以适用于所有的任务类型和执行方式。...
数据面安全性
函数实例最大存活时长为不超过36小时，当函数代码或配置发生变化、函数超时、内存超限或客户端主动终止错误时，调度服务会重建容器实例，另外可能由于均衡负载等原因，提前重建函数实例。调用路由 调用服务使用 bin-pack 算法实现调用路由...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
数据面安全性
函数实例最大存活时长为不超过36小时，当函数代码或配置发生变化、函数超时、内存超限或客户端主动终止错误时，调度服务会重建容器实例，另外可能由于均衡负载等原因，提前重建函数实例。调用路由 调用服务使用 bin-pack 算法实现调用路由...
新建VIRTUAL任务
调度类型 选择任务的调度类型：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务...
新建VIRTUAL任务
调度类型 选择任务的调度类型：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务...
新建数据库SQL任务
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择代码任务的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务的简单描述，1000...
新建数据库SQL任务
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择代码任务的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务的简单描述，1000...
新建同步目标表
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。描述 填写对任务的简单描述。选择目录 选择离线计算任务的目录。单击 确定。在 代码编写 页面，按照下图操作指引，刷新、保存和运行代码。编写并...
优雅下线
对于数据治理过程中的无效任务或表，数据治理中心为您提供完整的下线方案，包含下线风险评估、下线通知推送、下线过程管理等全流程功能，为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等...
新建HOLOGRES_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若无所需目录，您可按照下图操作指引，填写您目录 名称 和 选择目录 所在位置进行创建。描述 填写对任务的简单...
新建HOLOGRES_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若无所需目录，您可按照下图操作指引，填写您目录 名称 和 选择目录 所在位置进行创建。描述 填写对任务的简单...
任务运行诊断
场景 描述 是否存在异常任务长时间占用资源未释放，导致任务阻塞 请通过 运行诊断>调度资源 页面，确认是否存在长时间占用资源的任务，通过 查看任务执行日志 定位长时间占用资源的原因。该资源组上执行的任务是否增加 当前使用的资源组所...
新建INCEPTOR_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若无所需目录，您可按照下图操作指引，填写您目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离线...
新建MAX_COMPUTE_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录 名称 和 选择目录 所在位置进行创建。使用模板 支持使用创建的离...
新建MAX_COMPUTE_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录 名称 和 选择目录 所在位置进行创建。使用模板 支持使用创建的离...
新建MAX_COMPUTE_MR任务
调度类型 包括：周期性节点，自动参与系统的周期性调度。手动节点，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若无所需目录，您可按照下图操作指引，填写您目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离...
新建MAX_COMPUTE_MR任务
调度类型 包括：周期性节点，自动参与系统的周期性调度。手动节点，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若无所需目录，您可按照下图操作指引，填写您目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离...
- 产品推荐
- 这些文档可能帮助您