Hologres开发：周期性调度
这里通过{bizdate}参数控制分区键值，在调度系统中自动赋值完成周期性调度。关于参数的配置，请参见DataWorks文档 DataWorks调度配置。其中，insert的分区数据必须和分区键（本文示例为ds）的值保持一致，否则会报错。在HoloStudio中，单击...
什么是阿里云CDN
调度系统 支持策略中心、DNS、HTTPDNS和302调度模式。当终端用户发起访问请求时，用户的访问请求会先进行域名DNS解析，然后通过阿里云CDN的调度系统处理用户的解析请求。缓存系统 用户通过收到的最佳接入节点访问对应的缓存节点，如果节点...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
接入 iOS
移动调度中心在 10.1.68 及以上版本基线中提供支持。本文介绍移动调度中心接入 iOS 的方法。接入 SDK 根据您采用的接入方式，请选择相应的接入方法。接入方法 接入移动开发平台 mPaaS 的方式主要有以下 3 种：无工程，从头开始创建一个全新...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。...发布成功后，您可以在运维中心查看周期调度运行结果、进行补数据等操作。详情请参见 周期任务基本运维操作。
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。...发布成功后，您可以在运维中心查看周期调度运行结果、进行补数据等操作。详情请参见 周期任务基本运维操作。
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
离线同步能力说明
费用说明 数据集成同步任务运行会占用数据集成任务执行资源，DataWorks会根据您使用的资源进行收费，此外，离线同步任务通过调度系统下发至对应资源组运行时，还会产生调度相关费用。详情请参见 资源费用明细：数据集成。说明 调度费用详情...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
产品简介
移动调度中心（Mobile Dispatch Center，MDC）是基于客户端...灵活管理系统配置开关 系统配置开关用于管控组件域名是否使用移动调度中心获取解析结果，默认开启，开启后组件域名直接使用移动调度中心获取，无需 Local DNS 解析，高效防劫持。
实现原理
监控的通用逻辑 定义数据源：首先，需要建立元数据基本模型，元数据是监控系统的根基。例如：定义应用、部署实例、机房信息，单元化信息等。在 SOFAStack 场景下，这部分信息需要从 PaaS 侧自动获取。数据采集：通过安装在机器上的 Agent ...
接入 Android
移动调度中心在 10.1.68 及以上版本基线中提供支持。移动调度中心支持 原生 AAR 接入 和 组件化（Portal&Bundle）接入 两种接入方式。前置条件 若采用原生 AAR 方式接入，需先完成 将 mPaaS 添加到您的项目中 的前提条件和后续相关步骤。若...
开发PyODPS 2任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
开发PyODPS 3任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
采集数据
注意事项 odps_first 数据源是工作空间绑定MaxCompute计算引擎时，系统根据引擎信息自动生成的默认数据源。配置数据去向为odps_first数据源，代表将源端数据写入至当前工作空间默认绑定的MaxCompute项目。DataWorks与MaxCompute关系及对应...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
开发PyODPS 3任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
开发PyODPS 2任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
应用场景
部署结构示意图如下：提供丰富的认证鉴权能力，降低安全接入成本 认证鉴权是网关的刚需，MSE云原生网关不仅提供常规的JWT认证，也提供基于授权开放网络标准OAuth 2.0的OIDC认证。同时，MSE云原生网关也支持阿里云的应用身份服务IDaaS，帮助...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
ACK集群概述
应用中心：应用部署后，以统一的视角展现整体应用的拓扑结构，同时对于持续部署等场景进行统一的版本管理与回滚。应用备份和恢复：支持对Kubernetes应用进行备份和恢复。更多信息，请参见 集群内备份和恢复应用。存储 存储插件：支持CSI...
什么是容器服务 Kubernetes 版
应用中心：应用部署后，以统一的视角展现整体应用的拓扑结构，同时对于持续部署等场景进行统一的版本管理与回滚。应用备份和恢复：支持对Kubernetes应用进行备份和恢复。更多信息，请参见 集群内备份和恢复应用。Knative：一款基于...
工作空间调度中心
调度中心提供了工作空间维度的资源管理和调度机制，支持管理员根据不同的业务需求和使用场景，灵活进行资源调度配置。前提条件 已创建工作空间，详情请参见 创建工作空间。配置策略 登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
和开源产品对比
Java、Shell 自研 多个Zookeeper集群、人工运维成本 Xxl-Job Cron 不支持 静态分片 支持执行记录 支持运行大盘 支持运行日志 不支持原地重跑 不支持重刷数据 Java、Shell、Python、PHP、Nodejs 邮件 1个数据库、1个调度中心、多个执行器、...
管理域名策略
其中，优先级和权重用于移动调度中心完成自身流量的容灾调度，移动调度中心的容灾策略分为主备和多活，具体配置如下：主备：同一域名、区域、运营商、用户组条件下，主机优先级为 0，备机优先级为 1，权重均为 100。多活：同一域名、区域、...
调度中心字段说明
本文介绍了调度中心使用中，相关字段的详细解释。创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称，标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。...
管理域名分组
域名组指具有相同属性的域名的集合，客户端可通过域名组向移动调度中心发起请求，一次性获取该域名组全量域名的解析结果，极大地提升请求效率。本文介绍域名分组的新增、修改、删除操作步骤。添加域名分组 进入 移动开发平台 mPaaS 控制台...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
调度周期：小时调度
小时调度即每天指定的时间段内，调度任务按 N*1小时 的时间间隔运行一次。例如，每天00:00~03:00的时间段内，每1小时运行一次。注意事项 时间周期根据左闭右闭原则计算。例如，配置调度任务在0点~3点的时间段内，每隔1个小时运行一次。表示...
FTP Check节点
该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。本文为您介绍使用FTP Check节点的流程和注意事项。前提条件 已创建FTP数据源。已创建好业务流程，详情请参见 创建业务流程。背景信息 FTP Check节点的典型应用场景：当...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
- 产品推荐
- 这些文档可能帮助您