离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
自定义资源组
为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度资源服务器失败的情况？如何处理服务器突然终止服务且重启失败的情况？如何处理自定义调度资源下的任务长期...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
快速使用EMR Workflow
它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以HIVECLI任务类型为例，为您介绍如何快速使用EMR Workflow。前提条件 已完成系统角色授权，详情...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
服务定时自动部署
说明 您可以先使用页面的OSS路径选择器选到一个有效模型文件路径，再将路径中和时间变量相关的部分用全局变量进行替换，可以减少手动进行endpoint等配置输入的复杂度。步骤二：部署上述工作流至DataWorks 参考 使用DataWorks离线调度...
通过DMS管理作业
云原生多模数据库 Lindorm 计算引擎支持通过数据管理DMS的任务编排功能来调度Lindorm Spark任务，并查看Lindorm Spark任务发布记录和日志，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。本文介绍通过DMS管理...
实现跨屏联动
效果展示 使用场景 当您有多个可视化应用，并希望多个可视化应用内的组件能展示相互联动的效果。操作步骤 登录 DataV控制台。选择任一可视化应用，重命名为 主屏幕，单击编辑，进入画布编辑器页面。添加 Tab列表 组件，并将其导出到蓝图...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
Spring应用接入SchedulerX
如果用的是logback，需要把log4j和log4j2排除掉-><exclusions><exclusion><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-api</artifactId></exclusion><exclusion><groupId>org.apache.logging.log4j</groupId>...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
Spring应用接入SchedulerX
如果用的是logback，需要把log4j和log4j2排除掉-><exclusions><exclusion><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-api</artifactId></exclusion><exclusion><groupId>org.apache.logging.log4j</groupId>...
服务端发布记录
Java SDK 产品降价 优化 任务托管CU大幅降价，用的越多省的越多。SchedulerX降价公告 2024-01-25 功能名称 变更类型 功能描述 相关文档 Go版本SDK 新增 支持MapReduce任务。Golang SDK接入 Golang任务 Go SDK 工作流 新增 支持通过流程图和...
DataWorks On MaxCompute使用说明
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
任务常见问题
升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0%!磁盘已满，需要清理ECS或者容器上的磁盘空间。任务失败，报错“ClassNotFoundException”说明执行任务的Worker上没有该类，请确保Java任务配置的...
整库离线同步至OSS
您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您需要对任务做精细化配置，您可通过 高级配置 进行修改。说明 DataWorks的离线同步...
虚拟节点调度方案对比及介绍
关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如，通过nodeAffinity和podAffinity实现可用区亲和。不支持：无法对不同节点集合进行优先级编排。例如，通过...
Hologres推荐的数仓分层
本文为您介绍在Hologres中数仓分层的最佳实践，方便快速构建业务，建设集高性能、敏捷化于一体的实时数仓。背景信息 Hologres与Flink、MaxCompute、DataWorks深度兼容，能够提供实时离线一体化联合解决方案。在该方案下有着非常丰富的应用...
EMR Workflow商业化公告
它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。更多信息，请参见 什么是EMR Workflow。控制台入口：立即前往。支持地域 EMR Workflow支持以下地域。...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
实例运行诊断
调度资源 共享运行资源的实例通常情况受调度资源影响较小，独享运行资源的实例需要所属资源组有足够可分配的空闲资源才会开始调度，否则为 等待调度资源 状态。如需刷新诊断结果，可单击 刷新图标。如果实例最近一次运行所属资源组有足够可...
实例运行诊断
调度资源 共享运行资源的实例通常情况受调度资源影响较小，独享运行资源的实例需要所属资源组有足够可分配的空闲资源才会开始调度，否则为 等待调度资源 状态。如需刷新诊断结果，可单击 刷新图标。如果实例最近一次运行所属资源组有足够可...
应用管理
在 基本配置 向导页，输入 应用名、应用ID 并且选择应用类型，设置高级配置参数（可选），然后单击 下一步。参数 解释 默认值 应用名 自定义设置应用名称。无 应用ID 应用ID 为应用接入的GroupID，保证同一个命名空间下唯一，否则将创建...
数据开发与运行
需要通过MaxCompute tunnel操作：SQLTask配合Tunnel实现大量数据导出示例 为什么EMR通过DataWorks可视化建表失败报错：call emr exception？可能原因：EMR所在的ECS集群的安全组缺失必要安全组配置。绑定EMR计算引擎使用时，您需要添加以下...
应用场景
运力资源调度：机位智能分配、人员智能排班、车辆智能调度、船舶智能避碰、泊位智能分配、集卡车辆智能调度、龙门吊桥吊智能调度。案例说明 场景：某机场飞机滑行轨迹难以实现全链路追踪和还原；保障节点靠人工记录漏报误报情况普遍；安全...
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
虚拟节点调度方案对比及介绍
方案对比及选型建议 关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如优先调度到ECS节点，ECS节点不足使调度到虚拟节点。不支持：无法对不同节点集合进行优先级...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
使用调度器自定义参数
int[1,1000]100 percentageOfNodesToScore 调度时评估的可运行节点的比例。默认值为0，表示调度器会使用默认节点数百分比（基于集群规模确定的值，位于5%到50%之间）执行打分操作。int[0,100]0 开启共享 GPU 插件的打分功能，开启后同一台...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
Fixed rate
为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置示例 在创建调度任务时可以使用Fixed rate定时调度，创建调度任务的详细操作...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
创建多可用区的ECI Pod
说明 如果没有配置多可用区调度策略，默认采用VSwitchRandom（随机）策略。策略 调度说明 VSwitchOrdered（按指定顺序）如果ECI Pod挂载了云盘，云盘所属可用区必须和Pod一致，不符合的可用区会被过滤。按照指定的顺序尝试创建资源，当第一...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
新建ARGODB_SQL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性及调度依赖。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本...
- 产品推荐
- 这些文档可能帮助您