时间属性配置说明
说明 您可在图示位置定义单个任务调度属性，支持您通过 批量操作 功能批量修改任务调度属性，例如批量修改任务调度时间，批量修改任务使用的调度资源组等。时间属性包含的配置类别如下表所示。类别 描述 实例生成方式 用于定义节点在生产...
DataWorks模块使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。使用流程概览：参考文档：数据质量概述 数据分析 子模块：数据分析 ...
EMR Studio概述
能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...
DataWorks V3.0
DataWorks V3.0全面支持EMR引擎的相关功能，包括元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控和数据质量控制等。详情请参见 E-MapReduce。交互式分析：交互式分析（Interactive Analytics）是一种全面兼容PostgreSQL协议...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
基本概念
调度系统中的任务，经过调度系统、手动触发运行后，会生成一个实例。实例中会有任务的运行时间、运行状态和运行日志等信息。例如设置每天2:00运行Task1实例，调度系统会在每天23:30根据周期节点定义好的时间，自动生成一个快照，即Task1...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
步骤三：设置任务调度策略并发布
本文介绍设置任务调度策略的操作流程。前提条件 已编写SQL语句。具体操作，请参见 步骤二：编写SQL分析语句。使用说明 修改已发布的SQL分析任务时，如果修改输出字段的名称和类型，修改前生成的存储表数据将被调度产出的新数据覆盖。如果...
任务运行诊断
常见的同步任务执行问题如下：数据同步日志长时间打印WAIT 若数据同步日志长时间打印WAIT，表示DataWorks的调度系统已将同步任务下发，由于当前任务所使用的同步资源组剩余资源无法支持当前任务执行，正在等待其他任务执行完成释放资源。...
可选：运维SQL分析任务
SQL分析任务上线后，您可以查看SQL分析任务的...后续步骤 SQL分析任务调度后：输出的自定义存储表位于 数据存储 中 离线存储 的 自定义存储表。更多信息，请参见 自定义存储表。输出的存储表可作为数据来源，应用于 数据可视化 和 数据API。
GetIDEEventDetail
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。ResourceGroupId Long 375827434852437 文件发布成任务后，任务执行时使用的资源组。您可以调用 ...
创建PYTHON计算任务
背景信息 Python 3.7更能满足更多样化的大数据处理的诉求，例如 list.clear()。Python 2.7和Python 3.7的更多信息，请参见 Python。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图指引，进入 新建PYTHON...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
数据开发概述
附录：数据开发支持的节点合集 DataWorks的数据开发（DataStudio）模块提供了多种类型节点，同时，多种类型节点支持周期性任务调度，您可基于业务需要选择合适的节点进行相关开发操作。DataWorks支持的节点合集，详情请参见 DataWorks节点...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
创建PYTHON计算任务
背景信息 Python 3.7更能满足更多样化的大数据处理的诉求，例如 list.clear()。Python 2.7和Python 3.7的更多信息，请参见 Python。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照以下操作指引，进入 新建...
DataWorks On EMR使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。数据质量概述 二、数据分析 帮助您实现在线SQL分析、业务洞察、编辑和...
调度周期：日调度
场景：天任务对小时加工数据进行汇总 天任务依赖小时任务场景下，若上游小时任务调度参数配置存在偏移，导致小时任务每日第一个周期产出昨天最后一小时分区数据，天任务实际需要依赖的小时实例，变为小时任务当天第一个实例。该场景下，您...
计费逻辑说明
资源费用明细：数据集成 任务调度 在DataWorks进行数据开发、定时任务调度时会占用一定的调度资源，DataWorks将根据运行成功的任务实例数量计费。您可选择包年包月的独享调度资源组，或按量付费的公共调度资源组运行任务。资源费用明细：...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
实验介绍
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
DataWorks作业调度
使用DataWorks可以使云原生数据仓库PostgreSQL版获得任务开发、任务依赖关系管理、任务调度、任务运维等全方位强大的能力，进一步增强分析型数据库PostgreSQL版的ETL能力。本文将介绍如何使用DataWorks来调度云原生数据仓库PostgreSQL版的...
FTP Check节点
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
数据集成调度策略说明
例如待迁移的数据库为dtstestdata，任务调度时间为2020年02月10日的11:00:00，那么DTS在该时间执行迁移时，在目标库中创建的库名即为 dtstestdata_20200210_11_00_00。目标库需具备充足的存储空间用于存放每个周期DTS迁移过来的数据。适用...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
快速体验
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
开通DataWorks服务
开通DataWorks服务后，在使用DataWorks的各项服务时，不同产品服务的功能模块（例如，任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用）会根据使用量和占用的资源量进行按量计费。详情请参见 ...
逻辑表调度配置概述
本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 请参见 逻辑表任务配置入口，进入逻辑表任务配置页面。单击调度配置，进入逻辑表 调度配置 对话框。逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的...
任务管理
登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务管理 页面，选择目标命名空间，单击 创建任务。在 基本配置 配置向导页，配置调度任务的相关信息，然后单击 下一步。基本配置参数说明如下：配置名称...
预测式外呼
任务调度系统会根据设定，启动外呼任务，并根据实时坐席、客户等情况，自动呼叫和分配任务。客户名单：支持直接输入或者导入客户名单列表 任务时间：外呼任务执行的起始和截止日期 呼出时段：在「任务时间」内设定每天外呼的时间段，支持...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
在工作空间创建数据源或注册集群
仅MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0、ClickHouse数据源可用于数据开发，若您需基于该类数据源进行数据开发、任务调度、数据分析等操作，则数据源创建完成后还需绑定至数据开发（DataStudio）。...
场景：切换调度时区
调度时区切换仅对任务调度时间相关属性生效，不涉及引擎时区变更，调度参数实际替换值将按照 纯字符串形式 下发至引擎侧按自身规则自行处理，关于引擎处理方案请参考引擎时区的相关说明文档。由于Datatudio中业务流程运行、开发环境冒烟...
配置任务调度
同步任务只有提交至调度系统中，才会从第二天开始，自动根据调度属性配置的周期，在各时间点生成实例，并定时运行。说明 如果是23:30以后提交的同步任务，则调度系统从第3天开始，才会自动周期生成实例并定时运行。后续步骤 现在，您已经...
DataWorks On Hologres使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
调度配置
例如，每天00:00~23:59的时间段内，每隔1小时会自动调度一次，因此调度系统会自动为任务生成实例并运行。分钟 调度，即每天指定的时间段内，调度任务按间隔时间数的时间间隔运行一次。您可以单击 开始 或 结束 后的 图标，指定运行的开始和...
- 产品推荐
- 这些文档可能帮助您