数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
运维中心概述
运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块，您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 全局视角管控：Dataphin运维中心支持离线实例和实时实例的实例统计。异常统计情况，包括...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
运维中心概述
运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块，您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 全局视角管控：Dataphin运维中心支持离线实例和实时实例的实例统计。异常统计情况，包括...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文将以一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java任务、...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文介绍如何创建秒级调度任务并将设置固定延迟。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java...
计算层高可用
日常查询分析任务在分布式的环境下，机器异常宕机在所难免。计算层高可用需要考虑如何避免因为机器宕机等异常情况导致的查询失败。Interactive模式 对于Interactive模式，MPP计算模型下全内存的Pipeline计算无中间结果保存。同时对于...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
调度参数典型场景配置示例
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数
操作记录
您可以通过操作记录页面，查看应用分组、调度任务和流程的操作记录。操作步骤 登录 分布式任务调度平台，在顶部菜单栏选择地域，在左侧导航栏，单击 操作记录，在 操作记录 页面选择目标命名空间，查看操作记录。说明 操作记录 页面仅记录...
同步节点
调度配置 调度配置 属性作用于同步节点生产环境场景的调度周期和告警等参数，关键参数说明如下：参数 说明 周期调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，...
同步节点
调度配置 调度配置 属性作用于同步节点生产环境场景的调度周期和告警等参数，关键参数说明如下：参数 说明 周期调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效日期 该节点周期调度的有效时间段，...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
开心消消乐使用ALB从容应对大流量和高并发场景
方案架构 因为 ALB 单实例七层处理能力高达100万QPS，能够自动根据用户访问量调度流量，从容应对大流量和高并发场景。所以推出 ALB 解决方案来确保开心消消乐在大流量和高并发场景下更好地调度流量。方案架构如下图所示。方案优势 超强性能...
开心消消乐使用ALB从容应对大流量和高并发场景
方案架构 因为 ALB 单实例七层处理能力高达100万QPS，能够自动根据用户访问量调度流量，从容应对大流量和高并发场景。所以推出 ALB 解决方案来确保开心消消乐在大流量和高并发场景下更好地调度流量。方案架构如下图所示。方案优势 超强性能...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
流程管理
流程管理提供可视化的任务编排，您可以使用Crontab创建定时调度工作流，并通过API触发。创建工作流 您可以创建工作流调度任务。说明 目前工作流调度仅支持Cron表达式。登录 EDAS控制台。在左侧导航栏单击 任务调度。在顶部菜单栏选择地域。...
调度集群管理概述
Dataphin支持连接不同调度集群，并将所有集群可用于调度的资源进行统一管理，使每个租户可以使用不同集群的资源用于创建自定义资源组，从而解决跨Region数据传输以及资源隔离等问题。使用限制 当前仅支持基于最新架构部署的客户使用调度...
功能特性
支持任务调度的管理和监控 可设置任务的调度策略，包括定时调度、触发条件调度等，保证准时执行任务。支持任务之间的依赖关系配置 可以设置任务的前置依赖和后置依赖，确保任务按照正确的顺序执行。支持任务参数的灵活配置 用户可以根据...
基础版商业化公告（2021年07月30日）
为提供更优质的服务，阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例，如果2021年09月01日00:00:00前没有释放，那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...
任务编排（公测）
任务编排是一个全托管的工作流调度服务，通过可视化的操作界面轻松地编排批作业运行的顺序，构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能，公测阶段不保障服务等级协议SLA。如果您...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
系统管理
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
创建EMR Spark Streaming节点
EMR Spark Streaming节点用于处理高吞吐量的实时流数据，并具备容错机制，可以帮助您快速恢复出错的数据流。本文为您介绍如何创建EMR Spark Streaming节点并进行数据开发。前提条件 已注册EMR集群至DataWroks，详情请参见 注册EMR集群至...
使用限制
任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务调度延迟的情况。因此，在设置SQL条件时您需要考虑调度延迟，以确保在发生调度延迟时下游数据的正确性。SQL及脚本的幂等性 说明 SQL脚本幂等性是指一条SQL语句或一组...
服务IP调度接口
针对无法使用SDK的场景，介绍如何使用服务IP调度接口。接口能力和应用场景 重要 HTTPDNS官方SDK中已集成本接口，此文档主要针对无法使用SDK的场景。本接口根据源IP，返回最优和最新的服务调度信息，并同时提供更多的容灾能力。包括以下能力...
配置时间调度
您可根据实际情况选择如下任一调度方式：调度类型选择 定时调度>周期调度，您需要配置如下参数：参数 说明 生效时间 选择调度周期生效的区间，默认1970-01-01~9999-01-01，表示一直生效。调度周期 小时：按设定的小时执行任务调度。日：按...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
Data Lake Analytics节点
您可以在DataWorks中新建Data Lake Analytics节点，构建在线ETL数据处理流程。背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics，详情请参见 什么是Data Lake Analytics。重要 Data Lake Analytics节点仅支持使用独...
产品优势
消息堆积处理 通过队列对用户任务请求压力实现削峰填谷，进而降低系统峰值压力。易开发管理 群发助手，简单易用。提供多语言SDK和API接入，有效节约开发时间与成本。智能监控调度 电信级运维保障，实时监控自动切换。高效的调度算法解决...
资源调度概述
ACS兼容Kubernetes原生调度能力，支持不同类型的工作负载混合调度，并提供弹性资源、异构资源等精细化调度能力。本文介绍ACS兼容的Kubernetes原生调度能力和任务调度能力。兼容的Kubernetes原生调度能力 ACS兼容Kubernetes原生调度能力，但...
识别规则及识别方式
参数 描述 调度任务周期 识别规则默认每天调度一次，可根据业务情况进行调整调度周期。调度周期调长可以优化性能，但会有敏感数据识别滞后的风险。支持选择 日、周 和 月 调度周期。调度任务并行度 用于控制同时扫描的资产对象数量，默认为...
创建CDH Hive节点
如果您已部署CDH集群并希望借助DataWorks执行Hive任务（例如，数据查询作业或处理批量数据），可以使用CDH Hive节点。本文为您介绍如何创建CDH Hive节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于...
专业版公测（2022年01月26日）
您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可将每次任务调度的框架日志和业务日志进行收集，同时SchedulerX 2.0的专业版提供了日志检索功能，可以通过任务调度平台快速定位任务失败的原因。更多信息，请参见 如何...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
Dataphin逻辑表是否可以设置调度优先级
概述 逻辑表调度的优先级是否可以修改？详细信息 不支持，系统会根据逻辑表的类型和调度周期自动配置优先级 适用于 Dataphin-逻辑表
调度参数配置最佳实践
系统调度参数 bizdate 是DataWorks上的系统调度参数，当参数赋值为=$bizdate 时，默认获取前一天的日期。参数定义 含义 日期格式 参考样例 variate=$bizdate 获取业务日期。yyyymmdd 场景：天任务在2022年11月22日的1点执行。赋值结果：...
- 产品推荐
- 这些文档可能帮助您