配置脚本代码节点
说明 您也可以通过Shell脚本调度其他程序，在其他程序中实现其各类脚本文件的调度。脚本文件名只能包含字母、数字、下划线（_）和半角句号（.）。步骤1：创建数据库网关 在脚本文件所在设备上创建数据库网关，并将脚本文件放在dg_scripts...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
自建数据源IBM DB2 LUW
本文为您介绍如何创建自建数据源IBM DB2 LUW。仅专业版的群空间支持创建自建数据源IBM DB2 LUW。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与IBM DB2 LUW数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
GPU拓扑感知调度
Kubernetes对节点的GPU拓扑信息不感知，调度过程中对GPU的选择比较随机，选择不同的GPU组合训练速度会存在较大的差异。基于以上问题，ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，在节点的GPU组合中选择具有最优训练速度的组合...
逻辑表调度配置概述
配置调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则，包括调度类型、调度周期、条件调度。调度依赖 调度依赖用于配置逻辑表任务上游依赖节点。Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，...
逻辑表调度配置概述
调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则，包括调度类型、调度周期、条件调度。调度依赖 调度依赖用于配置逻辑表任务上游依赖节点。Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障...
管理集群
网络管理 Service管理 Ingress管理 服务发现DNS 组件管理 管理组件 应用管理 工作负载 应用调度 配置管理 安全管理 安全 可观测性 日志管理 监控管理 调度 任务调度：任务调度概述 使用Gang scheduling 使用Capacity Scheduling 共享GPU...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
taint
取值：NoSchedule：不能容忍，但仅影响调度过程，已被调度的 Pod 不受影响，仅对新增加的 Pod 生效。NoExecute：不能容忍，当污点变动时，Pod 对象会被驱逐。PreferNoSchedule：柔性约束，节点现存 Pod 不受影响。尽量不去满足不合要求的 ...
taint
取值：NoSchedule：不能容忍，但仅影响调度过程，已被调度的 Pod 不受影响，仅对新增加的 Pod 生效。NoExecute：不能容忍，当污点变动时，Pod 对象会被驱逐。PreferNoSchedule：柔性约束，节点现存 Pod 不受影响。尽量不去满足不合要求的 ...
taint
取值：NoSchedule：不能容忍，但仅影响调度过程，已被调度的 Pod 不受影响，仅对新增加的 Pod 生效。NoExecute：不能容忍，当污点变动时，Pod 对象会被驱逐。PreferNoSchedule：柔性约束，节点现存 Pod 不受影响。尽量不去满足不合要求的 ...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
ListTaskFlowsByPage-分页获取任务流详情列表
取值如下：2:小时级调度 3:日级调度 4:周级调度 5:月级调度 2 CronBeginDate string 定时调度开始时间，此时间点之前任务流不进行调度。1970-01-01 CronEndDate string 定时调度结束时间，此时间点之后任务流不进行调度。2023-01-01 ...
基础术语
多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上调度执行，具体调度方式由调度中心根据负载进度进行调整。使用任务分片可以缩短任务执行时间，同时也可以解决单机计算能力上限的问题，并降低部分任务失败对整体系统的...
修改工作流集群配置
如果设置PriceLimit为0.1 元/小时，则对应调度方式如下：如果ECI的CPU和Memory为2 Core 4 GiB，则系统将会调度2 Core 4 GiB且单价低于0.30 元/小时（0.10 x 2+0.10）的机型。如果ECI的CPU和Memory为4 Core 32 GiB，则系统将会调度4 Core 32...
Shell
Zeppelin支持Shell脚本（以%sh开头）。与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会...
使用Cloud Shell下载日志数据
total 8640 drwxr-xr-x 2 shell shell 4096 Sep 28 10:21./drwxr-xr-x 6 shell shell 4096 Sep 28 10:24./-rw-r-r-1 shell shell 3198090 Sep 28 10:03 data_20210928_100331.txt 执行以下命令将日志文件上传至OSS。aliyun oss cp data_...
资源包介绍
redis.basic.4xlarge.default 0.1360 Redis社区版-集群版-双副本 分片数 规格 规格码（InstanceClass）每小时消耗的度数（度/小时）2分片 2 GB集群版（2分片）redis.logic.sharding.1g.2db.0rodb.4proxy.default 0.0280 4 GB集群版（2分片...
资源包介绍
redis.basic.4xlarge.default 0.1360 Redis社区版-集群版-双副本 分片数 规格 规格码（InstanceClass）每小时消耗的度数（度/小时）2分片 2 GB集群版（2分片）redis.logic.sharding.1g.2db.0rodb.4proxy.default 0.0280 4 GB集群版（2分片...
集群版-双副本
000 4 GB集群版（2分片）redis.logic.sharding.2g.2db.0rodb.4proxy.default 2 480,000 20,000 192 96 200,000 8 GB集群版（2分片）redis.logic.sharding.4g.2db.0rodb.4proxy.default 4 480,000 20,000 192 96 200,000 12 GB集群（2分片）...
和开源产品对比
在分布式任务调度领域中，Quartz、ElasticJob和XXL-JOB是广受欢迎的开源解决方案。...不支持 不支持 支持 性能 每次调度通过DB抢锁，对DB压力大 ZooKeeper是性能瓶颈 由Master节点调度，Master节点压力大 可水平扩展，支持海量任务调度
联系我们
如果您在使用分布式任务调度SchedulerX的过程中有任何疑问和建议，欢迎使用钉钉搜索群号 23103656 加入钉钉群与我们交流。
SchedulerX和开源产品对比
在分布式任务调度领域中，Quartz、ElasticJob和XXL-JOB是广受欢迎的开源解决方案。...不支持 不支持 支持 性能 每次调度通过DB抢锁，对DB压力大 ZooKeeper是性能瓶颈 由Master节点调度，Master节点压力大 可水平扩展，支持海量任务调度
排查Mongo Shell登录问题
18 Authentication failed.at DB._authOrThrow(src/mongo/shell/db.js:1271:32)at(auth):6:8 at(auth):7:2 at src/mongo/shell/db.js:1271 exception:login failed 可能的原因 解决方法 登录数据库用户名错误。使用正确的数据库用户名登录...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
DBMS_UTILITY
DBMS_UTILITY包支持以下各种实用程序：函数/存储过程 类型 返回类型 说明 ANALYZE_DATABASE(method[,estimate_rows[,estimate_percent[,method_opt]]])存储过程 N/A 分析数据库表。ANALYZE_PART_OBJECT(schema,object_name[,object_type[,...
启动Power Shell命令
1.组件介绍 说明 必要前置组件：无 利用本组件可以启动Power Shell命令 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置...
附录：调度器插件的常用OpenAPI说明
本文将为您介绍常用的OpenAPI会调用到插件功能中的具体功能项，帮助您了解集群调度器插件功能与常用OpenAPI之间的关联关系，从而进行自身业务的具体实现。背景信息 本文示例仅针对纯调度器插件场景，如果您的业务还需要同时配置域账号插件...
联系我们
如果您在使用分布式任务调度SchedulerX的过程中有任何疑问和建议，欢迎使用钉钉搜索群号 23103656 加入钉钉群与我们交流。
通过LOCALITY指定存储位置（DRDS模式）
0-master|db1|DB1_P00000_GROUP|db1_p00000|1|3|polardbx-storage-0-master|db1|DB1_SINGLE_GROUP|db1_single|0|+-+-+-+-+-+-+4 rows in set 说明 以返回结果中ID为0的一行为例，表示在存储节点 polardbx-storage-0-master 中的数据库db1下...
产品计费
本文主要介绍云存储网关计费相关内容，包括计费项、计费方式和欠费说明等，您可以通过本文了解云存储网关服务费用收取详情。计费项 云存储网关包括线上网关和线下网关，其计费项不相同。云存储网关资源的价格，请参见 云存储网关产品定价。...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
步骤三：设置任务调度策略并发布
本文介绍设置任务调度策略的操作流程。前提条件 已编写SQL语句。具体操作，请参见 步骤二：编写SQL分析语句。使用说明 修改已发布的SQL分析任务时，如果修改输出字段的名称和类型，修改前生成的存储表数据将被调度产出的新数据覆盖。如果...
alicloud_polardb_clusters
iops-The max_iops of the db_nodes.region_id-The region_id of the db_nodes.db_node_role-The db_node_role of the db_nodes.max_connections-The max_connections of the db_nodes.zone_id-The zone_id of the db_nodes.db_node_status...
- 产品推荐
- 这些文档可能帮助您