HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
基于AnalyticDB实现城市公交系统智能化
启迪公交基于 AnalyticDB MySQL版 和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务水平，助力“互联网+城市公交”的提升发展。业务挑战 启迪公交（北京）科技...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
公共调度资源组计费说明：按量付费
当任务实例满足以下条件时，DataWorks会对其计费：被提交至调度系统：所有被提交至调度系统的节点所产生的各类型实例（虚拟节点产生的实例除外），均会纳入计费范围，包括周期实例、手动实例、测试实例和补数据实例。已运行成功：只有在 运...
任务运行诊断
常见的同步任务执行问题如下：数据同步日志长时间打印WAIT 若数据同步日志长时间打印WAIT，表示DataWorks的调度系统已将同步任务下发，由于当前任务所使用的同步资源组剩余资源无法支持当前任务执行，正在等待其他任务执行完成释放资源。...
任务管理
AliOS Things操作系统内核支持两种调度策略：基于优先级的抢占式调度 该调度策略下，每个任务优先级都维护了一个FIFO模式的就绪队列（ready queue），里面包含了当前所有可运行的任务列表，此列表中的任务都处于就绪状态，当处理器可用时，...
UpdateFile
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
调度参数配置最佳实践
系统调度参数 bizdate 是DataWorks上的系统调度参数，当参数赋值为=$bizdate 时，默认获取前一天的日期。参数定义 含义 日期格式 参考样例 variate=$bizdate 获取业务日期。yyyymmdd 场景：天任务在2022年11月22日的1点执行。赋值结果：...
CreateFile
每周二、周五的0点5分自动调度：00 05 00*2,5 由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
方案背景
本文介绍了基于多元索引搭建亿量级店铺搜索系统的需求场景及方案。亿量级店铺搜索系统的核心点与瓶颈在于数据库是否有海量存储能力、低延迟读能力、高效查询能力以支持地理位置GEO+多维度数据检索。表格存储作为阿里云面向海量结构化数据...
实验室概述
结合ESSD云盘的16K原子写能力、云盘快照备份能力、NVMe（Non-Volatile Memory Express）共享盘的多重挂载能力，为您提供了 基于EBS部署高性能的MySQL服务、无代理ECS数据备份与高效环境搭建、基于NVMe盘的共享集群文件系统 等多种实验场景...
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
推荐解决方案综述
本文为您介绍如何使用阿里云产品创建推荐系统的数据和模型，从而快速搭建自己的推荐系统。架构 完整的推荐流程包括召回和排序。召回是指从海量的待推荐候选集中，选取待推荐列表。排序是指对待推荐列表的每个Item与User的关联程度进行排序...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业...准备暂停：当前待暂停的作业数，用户对指定作业触发暂停操作后，将等待调度系统执行暂停。准备停止：当前待停止的作业数，用户对指定作业触发终止操作后，将等待调度系统执行停止。
故障应急协同
将故障相关成员直接拉进处理群，相关成员包括故障受影响业务的“应急接口人”、可疑原因业务的“应急接口人”，并且系统自动电话通知。进群后的成员，可直接在群内签到。每个故障建议设置单独的故障处理群，群内成员均为故障的相关人，为...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
DBS沙箱功能概览
DBS基于Copy Data Management（CDM）技术，推出面向MySQL和Oracle的完整沙箱解决方案。您可以在DBS沙箱功能中快速创建DBS沙箱实例（RDS应急实例），让您的备份数据快速可用，且在沙箱中的读写不会影响到源数据库，同时还可以进行恢复演练、...
运维中心概述
查看并管理周期任务 周期任务运维为您展示任务提交到调度系统后的调度任务列表与调度环境产生的 周期实例。周期任务面板展示当前所有的调度节点，您可以在周期任务面板修改周期调度任务使用的资源组、责任人等信息。DataWorks每晚会根据 ...
应用场景
阿里云公共DNS面向企业级用户，针对移动APP应用DNS查询防劫持场景、加速访问场景。终端APP防劫持 适用用户：所有遭遇访问劫持的用户。包括手机APP应用、智能音箱、智能...精准调度：基于IP的调度，递归+权威DNS共享一套地址库，调度更精准。
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
如何使用定时任务的灰度
通过label进行灰度调度 基于Label的路由策略，Worker向Server心跳汇报时，可以附加当前Worker的Label。每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
开源自建对比
您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
GetFile
NodeId Long 300001 提交文件后，在调度系统生成的调度任务ID。AdvancedSettings String {"queue":"default","SPARK_CONF":"-conf spark.driver.memory=2g"} 任务的高级配置。该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR ...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
最佳实践概览
轻量应用服务器提供了部分最佳实践，包括搭建环境、搭建网站、数据传输、迁移服务器以及高可用架构等。您可以根据实际需求，参考相应文档完成服务器的搭建。搭建环境 阿里云轻量应用服务器提供了多种镜像，您可以通过应用镜像快速部署应用...
发布记录
2021-05-12 中国站 门店使用 2021年3月 序号 说明 发布时间 发布地域 相关文档 1 新增系统搭建前准备和门店使用PDA设备绑定价签两个章节 2021-03-15 中国站 准备工作 门店使用 2 重新梳理云价签系统搭建流程，更新系统搭建章节 2021-03-15 ...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的实例。等待中 已触发...
如何使用定时任务的灰度
通过label进行灰度调度 基于Label的路由策略，Worker向Server心跳汇报时，可以附加当前Worker的Label。每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的...
运维中心概述
调度资源大盘：为您提供全局任务资源分配、全局资源消耗、建议优化任务等，便于您及时获取资源调度状况、了解资源调度趋势，以判断资源的消耗及影响，从而作出预算准备、资源扩容或规格升级的决策。任务运维 任务运维依照调度时效分为周期...
负载均衡SLB产品家族介绍
负载均衡SLB（Server Load Balancer）是一种对流量进行按需分发的服务，通过将流量分发到不同的后端服务器来扩展应用系统的吞吐能力，并且可以消除系统中的单点故障，提升应用系统的可用性。负载均衡SLB产品家族包括应用型负载均衡ALB...
运维中心概述
运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块，您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 全局视角管控：Dataphin运维中心支持离线实例和实时实例的实例统计。异常统计情况，包括...
设计方案
基于稳定性支柱设计原则，整体稳定性设计方案可参考如下：架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构，到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构，再到服务细分通过轻量级的通信机制...
- 产品推荐
- 这些文档可能帮助您