基于AnalyticDB实现城市公交系统智能化

启迪公交基于 AnalyticDB MySQL版 和DRDS建设的完整解决方案,将人、车、线、站的大数据资源及相关配套资源进行商业化转换,引领行业提升公交系统的创新能力和服务水平,助力“互联网+城市公交”的提升发展。业务挑战 启迪公交(北京)科技...

最佳实践:集成第三方调度系统

DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力,您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中,将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...

HTTP触发器节点

其他调度系统的触发配置 在外部调度系统中进行触发配置时,您可以通过以下三种方式:Java方式、Python方式或API调用方式。Java方式 安装Java SDK,详情可参见 开始使用。其中,DataWorks的SDK请用下面的pom配置。groupId>...

设计方案

基于稳定性支柱设计原则,整体稳定性设计方案可参考如下:架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构,到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构,再到服务细分通过轻量级的通信机制...

附录:SOFAStack 产品目录

任务调度 任务调度(Task Scheduler,简称 TS)提供分布式任务调度框架,实现任务的分布式处理,并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。产品架构 产品优势 支持集群任务...

公交出行:启迪公交

PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...

PAI-TF概述

PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时,无需担心是否需要提前申请GPU物理主机,PAI-TF所需要的GPU资源随作业的提交动态分配,随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...

错误

DPN.TaskScheduler.Global.UncategorizedError 错误原因:调度系统内部错误解决方案:请提交 工单,或联系Dataphin的支持人员协助处理。DPN.TaskScheduler.Util.GsonDeserializeError 错误原因:使用Gson反序列化时发生错误解决方案:...

OSS数据离线同步至MaxCompute

取值可以是调度系统参数,如 ds=${bizdate},当任务运行时,会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后,需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...

OSS数据离线同步至MaxCompute

取值可以是调度系统参数,如 ds=${bizdate},当任务运行时,会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后,需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...

公共调度资源组计费说明:按量付费

当任务实例满足以下条件时,DataWorks会对其计费:被提交至调度系统:所有被提交至调度系统的节点所产生的各类型实例(虚拟节点产生的实例除外),均会纳入计费范围,包括周期实例、手动实例、测试实例和补数据实例。已运行成功:只有在 运...

调度参数配置最佳实践

背景信息 调度参数配置的相关应用场景及最佳实践如下:调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例:SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例:不同格式...

通过OpenAPI创建、修改、删除离线同步任务

由于DataWorks调度系统的规则,cron表达式有以下限制:最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型,包括NOT_DAY(分钟、小时)和DAY(日、周、月)。该参数与 DataWorks控制台 中,...

通过OpenAPI创建、修改、删除离线同步任务

由于DataWorks调度系统的规则,cron表达式有以下限制:最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型,包括NOT_DAY(分钟、小时)和DAY(日、周、月)。该参数与 DataWorks控制台 中,...

关键技术竞争力

“人-事件-过程”统一的风险应急能力 TRaaS 技术风险防控平台风险应急能力是以用户风险(故障)处置为核心,通过应急响应将用户的“人”、“事”、“平台能力”进行有效串联,实现应急拉起、应急人员通知、诊断推送、预案执行,将应急过程...

使用Gang scheduling

ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力,解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源:使用弹性节点池时请保证弹性节点池的最大资源量以及节点...

使用Gang scheduling

ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力,解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源:使用弹性节点池时请保证弹性节点池的最大资源量以及节点...

智能边缘一体机产品介绍

但是如何对智能化系统进行标准化交付集成和持续运维,集团提出了“边缘小闭环、云端大闭环”的系统建设思路。基于这个思路,进一步的对系统改造提出了如下需求:边缘自治要求:小区的业务系统能够在不连云的情况下,完成基础功能,以防总部...

功能发布记录(2023年)

基于DataWorks原有调度周期,新增调度日历,支持用户在日历上标记调度策略为调度日或非调度日,达到自定义调度周期的效果。2023.08.24 所有地域 DataWorks企业版本用户 配置调度日历 数据治理中心支持E-MapReduce数据湖研发治理 DataWorks...

全场景解决方案

平滑迁移异构治理 方案架构 双模微服务平台通过 SOFA 微服务和 Service Mesh 微服务,提供了既支持 SOFA 框架又支持 Service Mesh 架构的微服务管理和治理能力,解决用户在技术转型期间与未改造的遗留系统相互之间的打通和过渡问题,帮助...

历史功能发布记录(2023年)

全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时,由于可用IP不足无法启动,该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...

使用负载热点打散重调度

ack-koordinator组件提供负载热点打散重调度能力,可以感知集群内节点负载的变化,自动地优化超过负载水位安全阈值的节点,防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...

Pod诊断

采集的信息包括系统版本,以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断覆盖的典型异常场景和AI智能诊断支持场景如下表所示。类别 支持的异常场景 Pod...

可运维性咨询服务内容说明

评估系统是否具备故障演练和逃逸能力,并基于阿里巴巴多年业务的真实线上故障库的积累,通过模拟调用延迟、服务不可用、机器资源满载等,真实检验应用的高可用能力,同时考察相关人员对问题的应急能力,以及问题上报、处理流程是否合理,...

Pod诊断

采集的信息包括系统版本,以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断覆盖的典型异常场景和AI智能诊断支持场景如下表所示。类别 支持的异常...

产品优势

一直秉承引领和拥抱业界先进标准和实践,同时亦能满足传统金融架构的平滑迁移、融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾、弹性供给与调度等关键技术挑战。微服务平台 ...

什么是阿里云CDN

链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况,并将结果反馈给调度系统调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属,然后综合链路质量信息为用户分配一个最佳接入节点...

消息 Mesh

消息 Mesh 流量调度 消息 Mesh 的流量调度,示例如下:流量调度流程说明如下:控制平面会将与流量调度相关的规则下发至 MOSN,规则主要包含该应用下所有容器节点的 IP 地址与流量权重,这是能够进行精细化流量调度的前提。当 MOSN 收到消息...

Hologres推荐的数仓分层

背景信息 Hologres与Flink、MaxCompute、DataWorks深度兼容,能够提供实时离线一体化联合解决方案。在该方案下有着非常丰富的应用场景,例如实时大屏、实时风控、精细化运营等。不同的应用场景对处理的数据量、数据复杂度、数据来源、数据...

数据集成侧同步任务配置

完成数据源、网络、资源的准备配置后,您可以根据同步场景选择同步解决方案,创建并执行同步任务,将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程,不同的同步方案配置流程可能存在差异,对应方案配置详情请以界面为准。前提...

文档更新动态(2023年)

支持补数据任务定时调度系统自动定期回刷历史数据。更新说明 通用补数据实例 新增专题广场功能和数据表列表优化 新增专题广场功能,实现资产分类管理。新增 运营管理员 角色,负责资产专题及专题分组管理。新增资产专题广场,可快捷搜索...

功能更新动态(2023年)

支持补数据任务定时调度系统自动定期回刷历史数据。通用补数据实例 资产目录 新增专题广场功能,实现资产分类管理。新增 运营管理员 角色,负责资产专题及专题分组管理。新增资产专题广场,可快捷搜索及查看有权限的资产专题,展示新建...

Pod诊断

采集的信息包括系统版本,以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断覆盖的典型异常场景和AI智能诊断支持场景如下表所示。类别 支持的异常...

常见问题

调度 Pod显示已调度至virtual-kubelet,但一直未成功,怎么办?ACK+Virtual Node的场景下,kube-proxy、coredns被调度到了虚拟节点,启动失败怎么办?网络 如何修改ECI Pod的ClusterDomain?在ACK Serverless集群的Ingress中设置了鉴权,但...

支持计划

阿里云配备经验丰富的技术专家,服务内容涵盖阿里云技术、产品、解决方案及架构,支持方式包括工单、电话、在线、专属企业群、TAM等,全年全天候为客户提供支持。阿里云客户支持体系适合不同规模和技术能力的客户,帮助客户基于阿里云提供...

资源使用优化

云原生资源调度通过应用负载合理调度资源 为了实现精准、实时的实例伸缩和放置,必须把应用负载的特征作为资源调度依据,使用弹性调度策略,云平台负责管理应用所需的弹性计算资源。调度平台可以识别应用特征,在应用负载快速上升时,及时...

应用场景

解决方案:基于交通云控平台提供交通需求预测、运力供给匹配、协同运力调度三大方案。案例效果:满足赛会期间300万左右观众的交通信息和出行需求。支撑2400余辆赛会专用车辆的实时调度需求。海陆空交通枢纽 核心场景 场面数字还原:飞机...

FTP Check节点

该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。本文为您介绍使用FTP Check节点的流程和注意事项。前提条件 已创建FTP数据源。已创建好业务流程,详情请参见 创建业务流程。背景信息 FTP Check节点的典型应用场景:当...

基本概念

本文为您介绍DataWorks中,工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员,分配角色和权限的基本单元。工作空间...

阿里云CDN的五大竞争力

基于内容调度,提高访问命中率:在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术,302调度是一种中心调度方案,用户在请求某一个资源的时候,在完成域名DNS解析之后,用户请求将会先访问到中心调度系统上,...
共有119条 < 1 2 3 4 ... 119 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
批量计算 音视频通信 视觉计算服务 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用