执行补数据并查看补数据实例（新版）
步骤一：新建补数据任务 在补数据页面单击 新建补数据任务，根据业务需求配置补数据任务。配置基础信息。平台自动生成默认格式的补数据名称，您可按需修改。选择要补数据的任务。您可通过 手动选择、按链路、按工作空间、指定任务及所有...
调度配置
例如，每天00:00~23:59的时间段内，每隔1小时会自动调度一次，因此调度系统会自动为任务生成实例并运行。分钟 调度，即每天指定的时间段内，调度任务按间隔时间数的时间间隔运行一次。您可以单击 开始 或 结束 后的 图标，指定运行的开始和...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
创建同步任务
如果同步过程中产生脏数据，任务将失败退出。允许脏数据并设置其阈值时：若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。若产生的脏数据超出阈值范围，同步任务将失败退出。说明 脏数据认定标准：脏...
离线同步能力说明
费用说明 数据集成同步任务运行会占用数据集成任务执行资源，DataWorks会根据您使用的资源进行收费，此外，离线同步任务通过调度系统下发至对应资源组运行时，还会产生调度相关费用。详情请参见 资源费用明细：数据集成。说明 调度费用详情...
Oracle节点
背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且安全的数据管理和分析服务。更多介绍请参见 Oracle。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作...
执行补数据并查看补数据实例（旧版）
为避免补数据实例占用过多的资源而影响周期实例运行，平台对补数据实例制定以下规则：如果补数据选择业务日期为昨天（T-1），即补当天数据时，补数据任务优先级由任务所在基线优先级决定。如果补数据选择业务日期为历史业务日期（T-2）时，...
SQL Server节点
背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且安全的数据管理和分析服务。更多介绍请参见 SQL Server。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体...
功能更新动态（2022年之前）
华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...
创建CDH Spark节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
配置同步任务
速度上限会影响整个调度的资源情况，速度上限设置的越高，运行任务的调度资源量会越大。并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的记录数超过多少条则任务中止。默认为0条，即不允许出错。配置同步任务的...
配置同步任务
系统数据同步的传输速率会尽可能地达到速度上限，但是不会超过速度上限。速度上限会影响整个调度的资源情况，速度上限设置的越高，运行任务的调度资源量会越大。并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
通过向导模式配置离线同步任务
如果同步过程中产生脏数据，任务将失败退出。允许脏数据并设置其阈值时：若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。若产生的脏数据超出阈值范围，同步任务将失败退出。说明 脏数据认定标准：脏...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
巡检任务
为巡检任务添加调度后，系统将自动进行定时任务调度。单击 任务调度 标签页。单击 创建调度，在 新建规则调度 页面配置以下信息。调度方式：按时间：系统会在固定时间执行任务。例如，每天上午 8：00 点执行。按间隔：系统会每隔一段时间...
什么是Dataphin
资产质量 资源治理 资源治理具备资源统计分析能力，可智能识别当前系统内低价值的数据资产和数据任务，并进行优化提示。您可以在治理工作台中，一站式的进行资源的优化处理，全局把控计算与存储成本，提升系统使用效率。资源治理 资产安全 ...
DataWorks On CDP/CDH使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据...离线任务调度时，都将按照模型设置好的参数和数据自动进行运行，通过任务状态监控单次任务的健康情况。
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
调度任务
当上游依赖已产出数据，并且到达配置的调度时间时，将触发Shell任务调度。当导入调度任务的所有触发地址URL对应的Shell任务均已触发时，将触发导入调度任务。DataWorks DataWorks支持Shell节点、PyODPS 3节点两种方式触发导入调度任务。...
运维中心概述
查看并管理周期任务 周期任务运维为您展示任务提交到调度系统后的调度任务列表与调度环境产生的 周期实例。周期任务面板展示当前所有的调度节点，您可以在周期任务面板修改周期调度任务使用的资源组、责任人等信息。DataWorks每晚会根据 ...
专业版公测（2022年01月26日）
阿里巴巴分布式任务调度平台SchedulerX 2.0的专业版于2022年01月26正式公测，本次公测带来了全新的可视化功能，兼容开源XXL-JOB任务，支持一次性任务，融合大数据DataWorks任务。可视化 日志服务 在当前微服务和容器化越来越流行的情况下，...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
虚拟节点
虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...
逻辑表调度配置概述
本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 在Dataphin首页，单击顶部菜单栏的 研发，默认进入数据 开发 页面。按照下图操作指引，进入逻辑表 调度配置 对话框。逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表...
调度概述
ACK Scheduler是ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统。ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源...
数据风险点监控
说明 执行数据质量需使用DataWorks任务调度资源。DQC以数据集（DataSet）为监控对象，当离线MaxCompute数据发生变化时，DQC会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。DQC还提供了历史校验结果的管理，方便数据质量的分析...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
云原生AI套件概述
视频介绍 产品架构 云原生AI套件以Kubernetes容器服务为底座，向下封装对各类异构资源的统一管理，向上提供标准Kubernetes集群环境和API，以运行各核心组件，实现资源运维管理、AI任务调度和弹性伸缩、数据访问加速、工作流编排、大数据...
数据总览
存储趋势图 为当前租户本地域下，MaxCompute项目的逻辑存储总和趋势图，此数据包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，有T+1的延迟。项目占用存储Top 为您展示当前租户本地域下，MaxCompute项目的逻辑存储...
资源包（专业版）推出公告
阿里云分布式任务调度SchedulerX专业版于2023年02月01日推出任务调度CU预付费资源包，帮助您以更优惠的价格享受等量的任务调度CU，从而减少费用支出。更多信息，请参见 资源包（专业版）。
车辆数据分析和价值挖掘
自定义存储表：使用设备时序数据，平台系统数据进行聚合分析后，分析结果会存储在您的自定义存储表中。具体内容，请参见 查看平台系统表和产品存储表 和 创建和管理自定义存储表。交互式分析 当无法确定数据分析模型时，可以在 SQL数据服务...
任务管理
登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务管理 页面，选择目标命名空间，单击 创建任务。在 基本配置 配置向导页，配置调度任务的相关信息，然后单击 下一步。基本配置参数说明如下：配置名称...
UpdateFile
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
DMS调度XIHE SQL
解决方案：DMS任务编排 DMS的任务编排功能即可解决上述问题，它并不依赖数据库内核的事件调度能力，而是一个外部独立的任务编排与调度系统。任务编排功能的特点如下：支持多种数据库引擎（MySQL、Oracle、PostgreSQL、SQL Server等）和多种...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
新建层级维度逻辑表
数据时效 数据时效用于定义后续该层级维度逻辑表任务在生产环境的调度类型。层级维度逻辑表的数据时效默认为 T+1（天任务）。逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_<业务对象名称>_df。中文名称 ...
任务管理
task_suspend()后所处的挂起状态 SLP 任务处于休眠状态 PEND_SUS 任务在阻塞状态下，被其他任务挂起，处于阻塞挂起状态 SLP_SUS 任务在休眠状态下，被其他任务挂起，处于休眠挂起状态 DELETED 任务处于删除状态 任务调度 任务调度是为多...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
- 产品推荐
- 这些文档可能帮助您