数据开发与运行
DataWorks不支持对业务流程配置调度信息，对于业务流程内的节点，您无法批量配置调度信息，只能逐个配置节点的调度信息。例如，一个业务流程中包含20个节点，您只能为每个节点逐个配置调度信息。节点被删除，实例是否受影响？调度系统每天...
功能特性
MySQL命令行连接集群 业务系统连接集群 客户端连接集群 BI工具连接集群 集群管理 创建、变配和删除集群 AnalyticDB for MySQL支持通过控制台或调用API创建、变配、删除集群。创建和删除集群 集群变配 数仓版API 湖仓版API 标签管理 当...
计算节点配置说明
计算节点是处理数据代码的算法...调度配置 如果在场景上线后，需要定时调度该场景中离线计算节点，则需要在开发环境场景上线前，打开该离线节点的定时调度 的开关，设置离线节点的定时调度和依赖信息。设置后的定时调度只在生产环境场景生效。
计算节点配置说明
计算节点是处理数据代码的算法...调度配置 如果在场景上线后，需要定时调度该场景中离线计算节点，则需要在开发环境场景上线前，打开该离线节点的定时调度 的开关，设置离线节点的定时调度和依赖信息。设置后的定时调度只在生产环境场景生效。
文档修订记录
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，...
服务运行
方式四：通过SSH访问Kubernetes集群 若您在创建集群时，选择不开放公网SSH访问，您将无法SSH访问Kubernetes集群，且无法通过kubectl连接Kubernetes集群。如果创建集群后，您需要SSH访问您的集群，可以手动为ECS实例绑定EIP，并配置安全组...
诊断转发路由器实例
如果转发路由器下的网络实例连接不需要和转发路由器路由表建立路由学习关系，请确保转发路由器路由表下存在去往网络实例的静态路由，否则转发路由器无法将流量转发至网络实例。关于路由学习的更多信息，请参见 路由学习。关联转发检查 检查...
任务常见问题
如果以上方案无法解决问题，可以调试ThreadContainer.start方法。如果class.forName报错，class又确实存在，可能是业务方使用了某些框架，导致classLoader不一致，可以通过设置 SchedulerxWorker.setClassLoader 解决。任务失败，报错...
创建数据源质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建数据源质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
EventBridge事件调度
EventBridge事件调度包括云产品事件调度和自定义事件源事件调度。云产品事件调度支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源，而自定义事件源事件调度支持包括SLS、...
消息 Mesh
由于客户端与 MOSN 可能存在多个连接，且不同连接上的 Group 集合可以不同，而 MOSN 与同一个消息服务端只维持一个连接，因此控制指令无法向消息数据一样直接进行转发，而是需要汇总计算所有 GroupId 集合后，再统一广播给消息服务端集群。...
NLB压力测试的方法
负载均衡会默认抹除TCP连接的timestamp属性，Linux协议栈的tw_reuse（time_wait状态连接复用）无法生效，time_wait状态连接堆积导致客户端端口不足。解决方法：客户端使用长连接代替短连接。使用RST报文断开连接，即socket设置SO_LINGER...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
常见问题
例如：该地域不支持创建NAS文件系统，或者NAS文件系统的库存不足，导致E-HPC集群无法挂载共享存储。该地域和可用区没有符合E-HPC集群节点配置的ECS规格，或者ECS规格的库存不足。建议您选择其他地域创建E-HPC集群。可以使用ECS管理控制台对...
创建全域数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、星期、日期。例如下...
创建全域数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、星期、日期。例如下...
创建Hadoop计算源
Livy：使用HDFS连接信息的优先级队列设置，仅当Livy使用Yarn作为资源调度时生效，即席查询及生产任务均使用新的Connection的执行。MapReduce（MRS）：使用HDFS连接信息的优先级队列设置。配置 Impala任务配置信息 区域的参数。参数 描述 ...
Hologres推荐的数仓分层
在Flink内通过增量流、增量流连接静态维表、增量流连接增量流这三种场景统计出数据，写入Hologres。Hologres通过表的形式直接对接上层应用，实现应用实时查询。方案优势：实时性强，能满足业务对实时性敏感的场景。指标修正简单，与传统...
整库离线同步至OSS
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
常见问题
而在创建ECI实例时，系统需要申请资源，如果指定了多可用区，还需要在库存不足时逐个尝试各个可用区是否有库存，因此时间相对会慢一些。如果您指定了多可用区创建ECI实例，建议您把库存比较多的可用区ID放在第一个，这样可以避免由重试导致...
ACK集群概述
调度：支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。多集群管理：支持线下IDC和多云多区域的集群统一接入实现混合云应用管理。授权管理：支持RAM授权和RBAC权限管理。...
调度集群管理概述
Dataphin支持连接不同调度集群，并将所有集群可用于调度的资源进行统一管理，使每个租户可以使用不同集群的资源用于创建自定义资源组，从而解决跨Region数据传输以及资源隔离等问题。使用限制 当前仅支持基于最新架构部署的客户使用调度...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
机器人监控
“机器人监控”主要功能为查看当前系统中所有机器人的连接状态、认证状态、调度模式以及正在运行的应用。机器人监控列表 说明：【IP】：安装机器人的物理机IP地址。【连接状态】：已连接、未连接、空闲，共三种状态。【认证状态】：已认证...
连接实例
边缘节点服务支持通过第三方客户端工具和VNC方式连接实例，在成功创建边缘实例后，您可以综合考虑目标实例的操作系统和需要执行的操作等因素，选择合适的连接方式。前提条件 通过SSH远程连接到实例，需要实例安全组入方向已开放22端口。已...
如何管理应用级别的资源和任务优先级
能够实现CPU和内存级别的资源管控，而您使用自己的Worker通过客户端接入SchedulerX，所以SchedulerX作为通用的任务调度平台，无法实现CPU和内存级别的管控，也无法通过第三方的资源管理系统进行管控，实现的是任务实例数量和优先级的管控。...
FTP Check节点
背景信息 FTP Check节点的典型应用场景：当DataWorks调度系统中的任务需要访问一个外部数据库时，但由于该数据库的相关数据写入任务不在DataWorks中，DataWorks无法知道该数据库何时完成写入任务并可以被访问。如果DataWorks读取未写入完成...
调度周期：日调度
调度详情 调度系统会自动为任务生成实例并运行，各业务数据加工时间如下图所示。说明 调度节点执行需要满足如下条件：上游任务执行成功。节点的定时运行时间已到。任何一个条件不满足，调度节点都无法执行，并且两个条件没有先后顺序。默认...
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
配置调度规则
在容器服务K8s集群中创建或部署应用时，您可以根据实际需求修改应用实例的调度规则，将Pod实例尽可能部署在多个可用区和多个节点，来增强应用的可用性。本文介绍如何配置调度规则。在创建应用时配调度规则 登录 EDAS控制台，在左侧导航栏，...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
GPU拓扑感知调度概述
每块V100 GPU有6个NVLink通道，8块GPU间无法做到全连接，2块GPU间最多只能有2条NVLink连接。其中GPU0和GPU3，GPU0和GPU4之间有2条NVLink连接，GPU0和GPU1之间有一条NVLink连接，GPU0和6之间没有NVLink连接，故GPU0与GPU6之间仍然需要通过...
远程连接FAQ
检查是否为运营商网络问题 使用其他网络环境中的本地主机连接轻量应用服务器，或更换其他无线网络（例如手机热点）访问测试，判断是否是由于本地网络故障导致的无法连接。排除本地网络故障后再进行后续的排查。如果是本地运营商网络问题，...
调度参数返回值二次处理的典型场景
获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 无法直接使用函数二次处理调度参数的节点，如果想直接使用时间戳或其他时间格式，则可以先通过赋值节点将时间类型数据进行相应转换，再将处理后...
欠费说明
欠费停机影响 欠费后，控制台无法新建调度任务。欠费超过7天后，控制台自动释放调度任务实例。结清账单后，被释放的实例不可恢复。如果欠费影响了业务，例如调度任务被禁用，需要加入钉群（钉群号：23103656）联系SchedulerX技术支持人员将...
- 产品推荐
- 这些文档可能帮助您