PAI-TF概述

PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时,无需担心是否需要提前申请GPU物理主机,PAI-TF所需要的GPU资源随作业的提交动态分配,随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...

基于AnalyticDB实现城市公交系统智能化

启迪公交基于 AnalyticDB MySQL版 和DRDS建设的完整解决方案,将人、车、线、站的大数据资源及相关配套资源进行商业化转换,引领行业提升公交系统的创新能力和服务水平,助力“互联网+城市公交”的提升发展。业务挑战 启迪公交(北京)科技...

HTTP触发器节点

其他调度系统的触发配置 在外部调度系统中进行触发配置时,您可以通过以下三种方式:Java方式、Python方式或API调用方式。Java方式 安装Java SDK,详情可参见 开始使用。其中,DataWorks的SDK请用下面的pom配置。groupId>...

最佳实践:集成第三方调度系统

DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力,您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中,将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...

公交出行:启迪公交

票务管理工作台通过用户检录数据,实时同步到阿里云AnalyticDB分析型数据库,分析出实时客流,结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统,为首都人民提供了更加绿色...

新增和使用独享调度资源组

您可根据业务场景需求选择购买合适规格的独享调度资源组,用于任务的调度运行。购买独享资源组后,在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...

DCDN节点运维下线说明

节点流量调度:阿里云DCDN节点的运维操作有一套规范的处理流程,对于需要运维的节点,阿里云DCDN的调度系统会在下线节点之前把流量调度到周边正常运行的节点上。异常情况监测:阿里云DCDN节点也可能会因为一些少量的异常情况(例如:运营商...

阿里云CDN的五大竞争力

基于内容调度,提高访问命中率:在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术,302调度是一种中心调度方案,用户在请求某一个资源的时候,在完成域名DNS解析之后,用户请求将会先访问到中心调度系统上,...

OSS数据离线同步至MaxCompute

取值可以是调度系统参数,如 ds=${bizdate},当任务运行时,会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后,需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...

OSS数据离线同步至MaxCompute

取值可以是调度系统参数,如 ds=${bizdate},当任务运行时,会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后,需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...

故障应急协同

将故障相关成员直接拉进处理群,相关成员包括故障受影响业务应急接口人”、可疑原因业务应急接口人”,并且系统自动电话通知。进群后的成员,可直接在群内签到。每个故障建议设置单独的故障处理群,群内成员均为故障的相关人,为...

公共调度资源组计费说明:按量付费

当任务实例满足以下条件时,DataWorks会对其计费:被提交至调度系统:所有被提交至调度系统的节点所产生的各类型实例(虚拟节点产生的实例除外),均会纳入计费范围,包括周期实例、手动实例、测试实例和补数据实例。已运行成功:只有在 运...

时间属性配置说明

实例生成方式 节点提交发布生产环境调度系统时,调度节点会根据您配置的 实例生成方式 生成自动调度的 周期实例,无论哪种方式发布调度任务至生产环境,都可在运维中心的 周期任务 界面看到任务的最新依赖情况。但自动调度的 周期实例 何时...

DBS沙箱功能概览

DBS基于Copy Data Management(CDM)技术,推出面向MySQL和Oracle的完整沙箱解决方案。您可以在DBS沙箱功能中快速创建DBS沙箱实例(RDS应急实例),让您的备份数据快速可用,且在沙箱中的读写不会影响到源数据库,同时还可以进行恢复演练、...

任务管理

AliOS Things操作系统内核支持两种调度策略:基于优先级的抢占式调度调度策略下,每个任务优先级都维护了一个FIFO模式的就绪队列(ready queue),里面包含了当前所有可运行的任务列表,此列表中的任务都处于就绪状态,当处理器可用时,...

应急响应服务

什么是应急响应服务 背景信息 安全管家的应急响应服务基于阿里巴巴多年的安全攻防实战技术能力和管理经验,参照国家信息安全事件响应处理相关标准,在发生安全事件后,按照预防、情报信息收集、遏制、根除、恢复流程,提供专业的7*24远程...

UpdateFile

由于DataWorks调度系统的规则,cron表达式有以下限制:最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型,包括NOT_DAY(分钟、小时)和DAY(日、周、月)。该参数与 DataWorks控制台 中,...

调度参数配置最佳实践

系统调度参数 bizdate 是DataWorks上的系统调度参数,当参数赋值为=$bizdate 时,默认获取前一天的日期。参数定义 含义 日期格式 参考样例 variate=$bizdate 获取业务日期。yyyymmdd 场景:天任务在2022年11月22日的1点执行。赋值结果:...

CreateFile

每周二、周五的0点5分自动调度:00 05 00*2,5 由于DataWorks调度系统的规则,cron表达式有以下限制:最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 DAY 调度周期的类型,包括NOT_DAY(分钟、小时)和DAY(日、...

通过OpenAPI创建、修改、删除离线同步任务

由于DataWorks调度系统的规则,cron表达式有以下限制:最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型,包括NOT_DAY(分钟、小时)和DAY(日、周、月)。该参数与 DataWorks控制台 中,...

通过OpenAPI创建、修改、删除离线同步任务

由于DataWorks调度系统的规则,cron表达式有以下限制:最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型,包括NOT_DAY(分钟、小时)和DAY(日、周、月)。该参数与 DataWorks控制台 中,...

实例运行诊断

所有实例运行都需要进行限流规则的诊断,上游依赖及定时时间诊断通过后,需要同时满足所有命中的限流规则才会下发到资源调度系统。如需刷新诊断结果,可单击 刷新图标。如果实例最近1次运行满足上游依赖以及定时时间,且同时满足所有命中的...

使用须知

调度资源管理 调度资源 即DataWorks上的调度资源,调度资源用于执行或分发调度系统下发的任务。DataWorks的调度资源分为如下两种模式,详情请参见 查看资源组列表。默认调度资源。指DataWorks的公共资源池。当DataWorks节点并发量很高,...

设计方案

基于稳定性支柱设计原则,整体稳定性设计方案可参考如下:架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构,到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构,再到服务细分通过轻量级的通信机制...

数据开发:开发者

步骤九:发布任务 DataWorks仅支持自动调度发布至生产环境的任务,因此在冒烟测试无误后,您需将任务发布至生产环境调度系统进行周期调度。步骤一:新建业务流程 DataWorks以业务流程为中心组织数据开发,通过各类型开发节点的容器看板,将...

什么是阿里云CDN

链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况,并将结果反馈给调度系统调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属,然后综合链路质量信息为用户分配一个最佳接入节点...

DataWorks On Hologres使用说明

DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

DataWorks On CDP/CDH使用说明

DataWorks支持基于CDH(Cloudera's Distribution Including Apache Hadoop,以下简称CDH)和CDP(Cloudera Data Platform,以下简称CDP)集群创建Hive、MR、Presto和Impala等节点,实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...

新建事实逻辑表

单击 保存并下一步 步骤四:配置事实逻辑表调度配置 在 调度&参数配置 页面,配置事实逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...

新建事实逻辑表

单击 保存并下一步 步骤四:配置事实逻辑表调度配置 在 调度&参数配置 页面,配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...

计费逻辑说明

调度费用 数据集成离线任务通过调度系统下发至对应资源组运行,会产生调度相关费用。说明 调度费用详情请参见 资源费用明细:任务调度。关于任务下发机制,详情请参见 DataWorks资源组概述。实时同步任务不收取离线调度实例费。同步解决...

ACK对接ECI

ECI能为Kubernetes提供基础的容器Pod运行环境,但业务间的依赖、负载均衡、弹性伸缩、定期调度等能力依然需要Kubernetes来提供。本文为您介绍阿里云容器服务Kubernetes版(简称ACK)如何与ECI对接,使用ECI作为Pod的运行资源。对接方式 ECI...

DataWorks On MaxCompute使用说明

DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...

服务定时自动部署

每执行一次定时部署调度系统就会在原模型服务基础上,增加一个模型服务版本,作为最新的线上运行服务。home/admin/usertools/tools/eascmd64-i<yourAccessKeyID>-k<yourAccessKeySecret>-e pai-eas....

故障发现

7*24监控值班 对于有条件的企业,可以设立全球运行指挥中心(Global Operations Center,简称GOC),实现7*24监控值班,时刻关注核心业务线上异常与故障。对于完成监控覆盖的核心业务场景,在异常上报时,通过工具自动检测或值班人员人工...

步骤二:开发事实逻辑表

本文为您介绍如何基于本教程完成 下单购买事实逻辑表(fct_order_buy_di)开发。步骤一:新建事实逻辑表 在Dataphin首页,单击顶部菜单栏的 开发。按照下图操作指引,进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面,配置相关参数。...

数据导入概述

Quick Audience接入数据源后,您就可以将要导入的数据表存储在计算源,然后在Quick Audience声明数据表的表结构,执行调度任务,将表中的数据导入到Quick Audience,准备用于后续的分析、应用。数据导入流程 进行 ID类型管理,设置Quick ...

新建普通维度逻辑表

步骤五:配置普通维度逻辑表调度调度&参数配置 页面,配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明,请...

新建普通维度逻辑表

步骤五:配置普通维度逻辑表调度调度&参数配置 页面,配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟,系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明,请...
共有120条 < 1 2 3 4 ... 120 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
批量计算 视觉计算服务 音视频通信 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用