如何使用定时任务的灰度
通过label进行灰度调度 基于Label的路由策略，Worker向Server心跳汇报时，可以附加当前Worker的Label。每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
设计原则
面向风险的应急快恢原则 在一些场景下，即使设计了各种技术手段去提高系统的冗余、保持业务的高可用，但还是避免不了生产系统故障的发生，所以需要面对故障建立一个高效的故障应急流程机制和稳定的技术平台，实现故障风险实时发现、应急...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件环境等。计算资源的主要作用是执行各种计算任务，包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
GetFile
NodeId Long 300001 提交文件后，在调度系统生成的调度任务ID。AdvancedSettings String {"queue":"default","SPARK_CONF":"-conf spark.driver.memory=2g"} 任务的高级配置。该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR ...
NAT网关故障排查指南
本文介绍NAT网关的常见故障及排查方案。流量不通类故障排查：ECS实例配置DNAT条目后无法被公网访问 VPC内新建交换机的ECS无法通过SNAT访问公网 VPC内存在多个NAT网关时，某交换机的ECS实例不能访问公网 访问流量异常类故障排查：客户端访问...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
安全响应
系统安全类事件 勒索病毒 系统遭受勒索病毒攻击，核心数据被加密 高 系统事件往往会来自云安全中心，云安全中心同样会对入侵事件进行定级，建议参考云安全中心的定级说明 故障稳定性类事件 云稳定性事件 网络或应用宕机 高 稳定性事件通常...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
配置同周期调度依赖
被推荐的节点需在前一天提交至调度系统，待第二天数据产出后，才可被自动推荐功能识别。因此，自动推荐的节点存在T+1的延迟。本节点输出 本节点的输出是其他节点与本节点建立依赖关系的媒介。其他节点可通过本节点的输出名称找到本节点，并...
围绕混沌工程的平台实践
本文主要介绍AHAS Chaos是如何围绕混沌工程来打造故障演练服务，您可以了解到混沌工程的基本知识和AHAS Chaos的优势。混沌工程和故障演练 首先您需要了解混沌工程和故障演练的关系。以下是混沌工程官方定义：混沌工程是在分布式系统上进行...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的实例。等待中 已触发...
如何使用定时任务的灰度
通过label进行灰度调度 基于Label的路由策略，Worker向Server心跳汇报时，可以附加当前Worker的Label。每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的...
依赖关系
因为依赖关系解析是基于已经提交和发布的节点信息来进行搜索，如果节点B提交成功后，您又删除了节点B的输出名称且未提交至调度系统，则在节点A上仍然能搜到节点B已删除的输出名。为什么节点删除报错当前节点存在子节点，下线失败，但是在...
集群高可用架构推荐配置
您可以基于节点的弹性伸缩、部署集、多AZ，结合K8s调度的拓扑分布约束，确保服务在不同的故障域（failure-domain）资源充足且有所隔离，从而当某一故障域出现问题时，服务仍然可以保持运行，减少单点故障的风险，提高系统的整体可靠性和...
故障演练
故障演练能力是ADP基于阿里云故障演练产品AHAS提供的一项能力，在线上集成环节即可对线下交付中常见的各类故障场景下产品编排的容错性、可靠性和可恢复性进行演练，保障编排稳定可靠。在进行故障演练之前，需要进行以下步骤：创建产品；...
GTM如何实现异地容灾
概述 方案介绍 异地容灾是指应用服务部署在不同地域时，当其中一地出现故障时，全局流量管理（简称GTM）可以将出现故障地域的用户访问流量，调度至异地灾备中心，保障用户访问连续不间断。本文将以两地三中心灾备架构为读者讲解异地灾备的...
访问策略配置
重要 如未设置备地址池集合，则代表当主地址池集合出现故障时，系统将摘除故障地址，但不支持故障切换。如主地址池集合摘除故障地址后，还有存活的IP地址，那么则响应剩余存活的IP地址。基于访问延时的访问策略配置 在 基本配置 页面，点击...
网络架构容灾
网络是数字世界的基础设施，没有网络的联通，所有信息都无法交互，因此网络架构的设计在应用系统中至关重要，特别是针对网络架构的高可用及容灾能力的设计，是业务在异常发生时，实现快速恢复、降低业务损失的关键。云上网络规划设计 为...
故障排查
本文介绍阿里云容器服务ACK集群在使用过程中常见问题的故障分析和排查流程。ACK集群异常 添加Kubernetes集群节点的常见问题 容器镜像仓库构建服务失败问题排查 容器镜像服务源码绑定失败问题排查 Kubernetes集群如何指定安全组 Kubernetes...
产品优势
蚂蚁技术风险管理体系方法论+平台工具完整落地 通过高可用管理平台...技术风险防控内容库快速更新 阿里云、蚂蚁技术风险团队基于域内、域外技术风险防控经验，共建日常巡检、故障诊断、应急预案内容库，用户可享受最新的技术风险防控内容。
应急响应服务
什么是应急响应服务 背景信息 安全管家的应急响应服务基于阿里巴巴多年的安全攻防实战技术能力和管理经验，参照国家信息安全事件响应处理相关标准，在发生安全事件后，按照预防、情报信息收集、遏制、根除、恢复流程，提供专业的7＊24远程...
演练场景
故障演练是业务系统上线前必要的演练环节，旨在对应急预案的可行性，进一步完成应急预案，从而帮助提升产品、集群、机房的稳定性，减少故障的发生，提高故障应急效率，进而提升产品竞争力。一个完整的故障演练过程为 创建故障原子服务>创建...
服务发布策略
A/B测试 A/B测试基于用户请求的元信息将流量路由到新版本，这是一种基于请求内容匹配的灰度发布策略。只有匹配特定规则的请求才会被引流到新版本，常见的做法包括基于HTTP Header和Cookie。基于HTTP Header方式，例如User-Agent的值为...
全局流量管理&WAF&GA&SLB联动
通过全局流量管理解决自建DNS不支持智能解析调度，且可对GA、WAF及源站实现高可用、故障切换。实践架构 前置GTM：实现智能解析及故障转移，若域名DNS服务商支持智能解析，且不考虑故障冗余可去除此层GTM架构。GA：实现全球加速，本例为针对...
概述
Apache Nifi是一个基于WEB-UI用户界面，具有很强的交互性和易用性，为不同系统间或系统内提供数据流管理与处理的系统。Apache Nifi SQL Workbench/J SQL Workbench/J是一款免费、跨平台的SQL查询分析工具。全SQL执行界面，更适用于有SQL...
功能发布记录
全部 Knative概述 支持基于ACK One构建混合云同城容灾系统 对于当前业务运行在IDC或第三方公共云的Kubernetes集群中的系统架构，如果希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台 ACK One来提供...
ACK对接ECI
ECI能为Kubernetes提供基础的容器Pod运行环境，但业务间的依赖、负载均衡、弹性伸缩、定期调度等能力依然需要Kubernetes来提供。本文为您介绍阿里云容器服务Kubernetes版（简称ACK）如何与ECI对接，使用ECI作为Pod的运行资源。对接方式 ECI...
同城多活常见问题
本文介绍同城多活的常见问题以及解决方案。假设数据库主备，ECS双可用区部署，是否就是同城多活？和EDAS、MSE集群流量同可用区优先的差异和优势？消息是基于Shutdown机制实现多活么？数据库是两个机房各一个主备，还是主机房一主一备，备...
AIOps 解决方案专家服务内容说明
智能故障发现解决方案 基于调研与评估的结果，为客户设计智能故障发现解决方案，包含：多账号统一监控数据接入，并根据应用分组为客户设计AI算法能力用于实时故障发现，并根据分析结果智能定位根因，提供实时异常检测的稳定性方案，保障...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
Designer使用案例汇总
基于对象特征的推荐 介绍如何基于对象特征进行商品推荐。使用FM-Embedding实现推荐召回 介绍如何使用FM算法和Embedding提取算法，快速生成User和Item的特征向量。基于Alink框架的FM推荐 介绍如何通过 Designer 预置的FM算法模板，快速构建...
设计阶段
运行周期 如果数据研发的场景是在常见T+1离线计算场景，则应将不同调度任务按照实际业务需求，赋予小时、日、周、月和季度等不同的调度粒度。说明 程序必须支持重跑。如果SQL语句优化后，单次执行仍超过30分钟，建议拆表重新设计，建议每个...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
故障复盘
故障复盘规范 故障复盘作为故障体系中的重要一环，整体复盘流程包括故障处理过程、改进分析、故障定责，基于包含标准化的复盘SOP、对应预防action推荐、问责管理机制，全面地回溯线上故障的发生，产出故障复盘报告和改进措施，避免故障重复...
DCDN节点运维下线说明
节点流量调度：阿里云DCDN节点的运维操作有一套规范的处理流程，对于需要运维的节点，阿里云DCDN的调度系统会在下线节点之前把流量调度到周边正常运行的节点上。异常情况监测：阿里云DCDN节点也可能会因为一些少量的异常情况（例如：运营商...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
一致性复制组概述
应用场景 一致性复制组常见的应用场景如下：虚拟组管理 业务系统部署在跨ECS实例的集群文件系统中，需要将这些跨ECS实例的所有云盘作为一个虚拟组管理，以确保在异步复制时每个云盘写入顺序一致。例如基于ECS自建的MySQL集群，基于多个云盘...
- 产品推荐
- 这些文档可能帮助您