创建指标质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除...
创建指标质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除...
批量创建质量规则
批量创建质量规则可帮助您为监控对象配置统一的质量规则，并设置异常告警信息，实时监控对象的动态。本文为您介绍如何批量配置质量规则。前提条件 已将数据表或指标发布至生产环境，发布详情请参见 管理发布任务。权限说明 超级管理员、...
批量创建质量规则
批量创建质量规则可帮助您为监控对象配置统一的质量规则，并设置异常告警信息，实时监控对象的动态。本文为您介绍如何批量配置质量规则。前提条件 已将数据表或指标发布至生产环境，发布详情请参见 管理发布任务。权限说明 超级管理员、...
动态启动计算集群运行工作流调度
本文为您介绍如何通过EMR集群的模板功能为EMR Studio动态拉起计算集群来运行工作流，该计算集群会在调度完成后自动释放。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和8443端口。添加安全...
创建数据源质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除此...
创建数据源质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除此...
创建实时元表规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则...
创建实时元表规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则...
批量上传质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表...
批量上传质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
Quick BI v4.3版本说明
支持多种调度方式，包括手动调度，周期调度和动态参数调度。支持任务发布状态管理和运维管理。移动端 移动端图表展示支持栅格布局，一行可放置多个图表。支持布局缩放来调整单个组件尺寸和位置。支持布局个性化隐藏Tab内的单个图表。可视化...
负载均衡调度算法介绍
动态负载调度：当服务器的连接数和负载情况经常发生变化时，可以通过实时监控连接数并进行动态调整，实现动态的负载均衡。高稳定性要求：对于需要实时响应和高稳定性的应用场景，通过加权最小连接数算法可以降低服务器的负载，提高系统的...
创建多可用区的ECI Pod
说明 如果没有配置多可用区调度策略，默认采用VSwitchRandom（随机）策略。策略 调度说明 VSwitchOrdered（按指定顺序）如果ECI Pod挂载了云盘，云盘所属可用区必须和Pod一致，不符合的可用区会被过滤。按照指定的顺序尝试创建资源，当第一...
多可用区创建实例
配置说明 OpenAPI 调用CreateContainerGroup接口创建ECI实例时，您可以通过VSwitchId参数来指定多可用区，以及通过ScheduleStrategy参数配置多可用区调度策略。相关参数说明如下表所示。更多信息，请参见 CreateContainerGroup。名称 类型 ...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
集群任务限流
动态限流 动态限流通过任务调度控制台调整限流速率，不管是否提供限流器，动态限流都可以正常工作。如果没有指定限流器，任务调度客户端使用默认的 DefaultLimiter 限流器。配置方式有以下两种：全局生效 在配置或编辑任务调度时配置的限流...
接入 Android
业务方可以使用 mPaaS 的开关配置动态控制移动调度中心和 IPv6 的开关。开启移动调度中心开关，RPC 使用移动调度中心配置；关闭移动调度中心开关，RPC 不使用移动调度中心配置。开关默认开启。MPRpc.openMGDC(isOpen);关闭 IPv6 开关，RPC ...
调度参数
当前实例重跑，会用最新的参数配置：即 time1=$cyctime 如果要看调度参数变更前的实例使用的调度参数替换情况，请在日志中查看，详情参考常见问题：如何在日志中查看调度参数替换情况 如何通过日志查看当前实例执行时调度参数替换情况？...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
产品架构
ZooKeeper(Global和Local)：服务活动情况汇报给调度服务，动态配置更新。Nginx Proxy：支持私有协议的Nginx代理服务，针对不同文件一致性Hash到不同的Channel服务。Channel服务：记录文件和拥有文件的端点地址信息，为下载提供就近的端点...
存储基础知识
在多可用区集群环境中，更推荐使用延迟绑定的动态卷方案，目前阿里云ACK集群已经支持上述配置方案。动态存储卷的优势 动态存储卷让Kubernetes实现了PV的自动化生命周期管理，PV的创建、删除都通过Provisioner完成。自动化创建PV对象，减少...
应用场景
接驳优化推荐：动态公交调度、公交线网优化、公交排班优化、地铁运营与检修排班。MaaS出行服务：个性化联程方式出行规划、一码通乘服务、出行核验、用户运营管理。案例说明 场景：某城市希望提升公共交通在城市级大型赛会活动时的服务水平...
服务IP调度接口
启动IP：用于首次启动或灾难场景下调用服务调度接口，此IP不提供解析服务。服务IP：常规场景下用于调用调度服务和解析服务的IP地址。接入方式 提工单 或加入钉钉群35248489申请 启动IP 列表。说明 启动IP 应写死在App中，为保证服务可用性...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
通过向导模式配置离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。不同插件增量同步配置与实现方式不同，关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 在数据过滤和目标表...
数据开发：开发者
说明 代码开发过程中，若需使用变量动态替换调度场景下的参数，可在代码中使用${自定义变量名} 方式先定义变量，并在步骤五配置调度属性时为该变量赋值。调度参数的使用，详情请参见 调度参数支持的格式。不同类型节点任务的开发语法，详情...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
数据开发概述
调度参数 调度参数是代码中用于调度运行时动态取值的变量。代码在重复运行时若希望获取到运行环境的一些信息，例如日期、时间等，可根据DataWorks调度系统的调度参数定义，动态为代码中的变量赋值。业务日期 指昨天，在离线计算场景下，...
应用管理
通过配置ECI参数，动态弹性ECI实例运行任务。关于ECI更多信息，请参见 什么是弹性容器实例。regionId：ECI应用实例的地域ID。示例值：cn-hangzhou。AccessKeyId：申请一个RAM用户，授予创建及查询ECI的权限，该字段会加密保存。示例值：...
多可用区同时快速弹性扩容
当业务压力增大时，有多可用区均衡调度策略的应用希望可以自动扩容出多个可用区的实例来满足集群的调度水位。本文介绍如何在多可用区实现快速弹性扩容。前提条件 已选择多个可用区，并在每个可用区创建好vSwtich，需要在哪些可用区弹出就...
多可用区同时快速弹性扩容
当业务压力增大时，有多可用区均衡调度策略的应用希望可以自动扩容出多个可用区的实例来满足集群的调度水位。本文介绍如何在多可用区实现快速弹性扩容。前提条件 已选择多个可用区，并在每个可用区创建好vSwtich，需要在哪些可用区弹出就...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
存储多可用区部署的推荐配置
通过存储多可用区部署优化，可以帮您最大限度地减少应用发布中断，确保关键业务系统和应用在各种故障情况下能持续运行。本文介绍存储在多可用区部署时的推荐配置。背景信息 Kubernetes强大的容器编排能力，使得用户在Kubernetes上构建大...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
- 产品推荐
- 这些文档可能帮助您