开发PyODPS 3任务
使用调度参数 单击节点编辑区域右侧的 调度配置，在 参数 区域配置自定义参数，PyODPS节点与SQL节点定义变量的方式不同，详情请参见 调度参数配置。与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_...
MySQL整库离线同步到OSS
附加字段使用调度参数 支持您在附加字段中使用调度参数。单击 周期调度参数配置，新增调度参数，以添加一个 cyc_time 参数为例：单击 批量修改 中的 目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板...
概述
针对时序数据分析场景，日志服务提供了丰富的时序分析算法，可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题，兼容SQL标准接口，大大降低了您使用算法的门槛，提高分析问题和解决问题的效率。功能特点 支持单...
计费概述
购买算法成功后，物联网平台自动创建算法实例，即可使用算法检测和诊断设备异常数据。IoT孪生引擎（企业版和旗舰版）企业版实例 华东2（上海）华北2（北京）包年包月（企业版或旗舰版）数据接入TPS 数据流转TPS 规则计算 组件数量 购买时长...
开发PyODPS 2任务
使用调度参数 单击节点编辑区域右侧的 调度配置，在 参数 区域配置自定义参数，PyODPS节点与SQL节点定义变量的方式不同，详情请参见 调度参数配置。与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_...
自定义参数取值差异对比
自定义参数的配置及使用，详情请参见 配置及使用调度参数。本文以ODPS SQL节点为例，假设当前时间为 2021年07月20日10时30分00秒，为您展示${…}和$[…]参数的时间取值配置，具体如下表。时间取值${…}参数$[…]参数 取年份：2021 调度参数...
开发PyODPS 2任务
使用调度参数 单击节点编辑区域右侧的 调度配置，在 参数 区域配置自定义参数，PyODPS节点与SQL节点定义变量的方式不同，详情请参见 调度参数配置。与DataWorks中的SQL节点不同，为了避免影响代码，PyODPS节点不会在代码中替换类似${param_...
权限管理与规范化数据开发
调度参数 调度参数是DataWorks在调度场景下支持自动根据业务时间替换为具体值的参数，节点中使用调度参数后，在调度场景下，可以实现将对应业务时间的业务数据动态写入对应的时间分区中。详情请参见 调度参数支持的格式。依赖关系 调度依赖...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发...调度参数在数据集成的使用原理，详情请参见 数据集成使用调度参数的相关说明。调度参数在数据集成的应用场景，详情请参见 场景：调度参数在数据集成的典型应用场景。
加工数据
增量数据加工：使用 调度参数，通过 分区名+动态参数 的方式，实现调度场景下，每日将增量数据写入目标表对应时间分区。数据加工过程：使用可视化方式上传资源并注册自定义函数getregion，将系统日志数据中的IP信息转换为地域信息。依赖...
通过OpenAPI创建、修改、删除离线同步任务
本文为您介绍如何使用OpenAPI创建、修改、删除数据集成同步任务，同步来源端数据至去向端。前提条件 已创建Maven项目，详情请参见 创建Maven项目。已创建业务流程，详情请参见 创建周期业务流程。已创建同步任务需要的数据源，详情请参见 ...
通过OpenAPI创建、修改、删除离线同步任务
本文为您介绍如何使用OpenAPI创建、修改、删除数据集成同步任务，同步来源端数据至去向端。前提条件 已创建Maven项目，详情请参见 创建Maven项目。已创建业务流程，详情请参见 创建周期业务流程。已创建同步任务需要的数据源，详情请参见 ...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
管理集群
网络管理 Service管理 Ingress管理 服务发现DNS 组件管理 管理组件 应用管理 工作负载 应用调度 配置管理 安全管理 安全 可观测性 日志管理 监控管理 调度 任务调度：任务调度概述 使用Gang scheduling 使用Capacity Scheduling 共享GPU...
在ACK专有版集群中使用共享GPU调度
如您需要在 ACK专有版集群 中使用共享GPU调度基础版，请参见...基础版迁移专业版 安装共享GPU调度组件 运行共享GPU调度组件 使用共享GPU调度实现仅共享不隔离能力 使用共享GPU调度实现cGPU算力分配策略 解决专业版集群升级共享GPU调度失效问题
GPU拓扑感知调度
Kubernetes对节点的GPU拓扑信息不感知，调度过程中对GPU的选择...关于GPU拓扑感知调度如何使用，请参见以下文档：GPU拓扑感知调度概述 安装GPU拓扑感知组件 Tensorflow分布式训练使用GPU拓扑感知调度 Pytorch分布式训练使用GPU拓扑感知调度
创建工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
GPU拓扑感知调度概述
本文简要描述了GPU拓扑分布情况，以及GPU拓扑感知调度的优势。GPU拓扑分布 下图为NVLink连接8个Tesla V100的混合立体网络拓扑。...相关文档 安装GPU拓扑感知调度组件 使用GPU拓扑感知调度（Tensorflow版）使用GPU拓扑感知调度（Pytorch版）
调度中心字段说明
本文介绍了调度中心使用中，相关字段的详细解释。创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称，标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
查询定时调度
使用控制台查看定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中单击目标流程的流程名称。单击 定时调度 页签。您可以查看定时调度列表。使用命令行工具查看定时调度 在使用命令行工具创建定时调度前，您需要...
创建EMR Impala节点
使用限制 仅支持使用独享调度资源组运行该类型任务。DataWorks目前已不支持新绑定Hadoop类型的集群，但您之前已经绑定的Hadoop集群仍然可以继续使用。操作步骤 进入 数据开发 页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发...
创建EMR Hive节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持公共调度资源组运行该类任务。DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。...
创建算法实例
说明 算法使用时间到达购买时长后，规格数量未使用完的部分，不支持退费。选中 我已阅读并同意物联网平台数据智能算法服务协议 复选框，根据页面引导，完成购买。执行结果 购买算法成功后，物联网平台自动创建算法实例，创建实例预计需要...
CNAME复用
使用流量调度器 在 选择流量调度器 对话框，选择 使用流量调度器，并选择对应的流量调度规则，单击 确定。流量调度器规则应联动网站配置中用到的源站IP（192.10.XX.XX）和DDoS高防IP。如果您还未创建对应规则，请单击 新建流量调度规则 ...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
场景：配置增量数据离线同步任务
配置增量同步 数据集成离线同步任务中，可以使用调度参数来指定同步源表及目标表的数据路径以及数据范围，调度参数的配置方式与其他类型任务一致，没有特殊限制。在同步任务运行时，任务中配置的占位符参数都会被替换为调度参数表达式所...
创建EMR Spark SQL节点
使用限制 仅支持使用独享调度资源组运行该类型任务。DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。若未配置，则在DataWorks中无法实时展示元数据、生成审计日志、展示血缘关系，EMR相关治理任务将无法开展。...
静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
各类型节点的调度参数配置示例
赋值示例如下：内置参数var1赋值取业务时间：var1=$bizdate 自定义参数var2赋值取业务时间：var2=${yyyymmdd} 自定义参数var3赋值取业务时间：var3=$[yyyymmdd]配置及使用调度参数，详情请参见 配置并使用调度参数，更多调度参数的赋值方式...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
Data Lake Analytics节点
重要 Data Lake Analytics节点仅支持使用独享调度资源组执行任务，详情请参见 新增和使用独享调度资源组。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作...
创建EMR Shell节点
如果您的任务代码中有使用调度参数变量，可在此处为变量赋值，用于调试。参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建...
CPU性能优化场景概述
ACK节点运行在弹性裸金属服务器／大规格ECS实例（32核以上）大数据负载,例如SparkJob 机器学习负载,例如TFJob,MPI CPU拓扑感知调度，使用CPU资源突发策略来提升性能 网卡中断的NUMA绑定 最大化利用碎片化CPU，提升CPU使用率。ACK节点运行在...
K8s任务
重要 通过SchedulerX运行K8s Job，不建议使用CronJob，定时调度需要使用SchedulerX来配置，否则无法收集每次Pod的执行历史和日志。Pod-YAML 通过SchedulerX也可以运行K8s原生的Pod，任务类型选择K8s，资源类型选择Pod-YAML。单击 运行一次...
- 产品推荐
- 这些文档可能帮助您