使用DMS进行数据归档
但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库空间充足，避免空间容量不足引发实例不可用问题。清理备份临时表：您可以在确认数据归档完成且数据无误后，通过新建 普通数据变更 工单，清理源库中的备份临时表。...
计算节点配置说明
弱依赖：若依赖节点运行失败，调度不阻塞，当前节点继续按照计划继续触发执行 下游 说明 在 下游节点 页签中，查看当前节点被哪些节点或者任务依赖，即展示依赖当前节点的其他节点信息。无需配置。节点 依赖当前节点的节点名称。所属工作组...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
计算节点配置说明
弱依赖：若依赖节点运行失败，调度不阻塞，当前节点继续按照计划继续触发执行 下游 说明 在 下游节点 页签中，查看当前节点被哪些节点或者任务依赖，即展示依赖当前节点的其他节点信息。无需配置。节点 依赖当前节点的节点名称。所属工作组...
应用管理
0 日历 您可在下拉列表中选择在 金融日 或者 工作日 调度应用。0 步骤二：通知配置 在 通知配置 向导页填写相关信息，选择 通知渠道 并设置 联系人。通知渠道 目前支持 短信、邮件、Webhook 和 电话。关于 Webhook 配置的详细信息，请参见 ...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
产品优势
结果可视 E-HPC提供可视化服务功能，您可以通过可视化服务功能将计算结果转换为可读的图形化数据。例如您可以直接观看渲染后的动画效果，或者直接查看天气变化的动态图。E-HPC与传统计算集群对比的优势 对比项 E-HPC 传统计算集群 部署 ...
云原生AI套件管理员运维指南
如果授权状态为红色的 未授权，且 确定 按钮为不可用状态，请执行步骤 2。如果授权状态为 已授权，请执行步骤 3。单击 提示 对话框中的授权策略链接。在 权限管理 页签中，单击目标授权策略名称。策略内容 页签中，单击 修改策略内容，在 ...
创建实例
说明 不同地域和可用区可选择的 实例资源类型 会有所不同，若当前地域和可用区没有您需要的 实例资源类型，请更换地域和可用区。不同地域和可用区支持创建的资源类型，请参见 规格及选型。Serverless模式 选择Serverless实例的调度模式，...
产品功能
企业可观测能力 SchedulerX拥有丰富的可视化能力，例如：用户大盘 任务历史执行记录 任务运行日志 任务运行堆栈 任务的链路追踪。更多信息，请参见 如何接入链路追踪。任务操作记录 强大的运维能力 启用或禁用任务 可以通过控制台动态启用...
新增和使用独享调度资源组
一个独享调度资源组可以分配给多个工作空间使用，但不可跨地域使用，例如，上海地域的独享调度资源组仅可绑定上海地域的工作空间使用，不可绑定其他地域的工作空间。绑定归属工作空间的操作如下。登录 DataWorks控制台。在 资源组列表 的 ...
服务初始化
当某个可用区不可用时，仍然能够保障数据的正常访问。重要 华南1（深圳）、华北2（北京）、华东1（杭州）、华东2（上海）、中国香港、新加坡以及印度尼西亚（雅加达）地域支持开启同城冗余存储。此外，同城冗余存储的费用较高，且开启后不...
Pod诊断
节点是否不可调度 检查节点是否不可调度。节点不可调度，请检查节点调度设置。具体操作，请参见 设置节点调度。节点OOM情况 检查节点是否出现OOM。节点出现OOM问题，请收集节点日志并 提交工单 处理。关于收集节点日志操作，请参见 一键...
集群概述
集群指运行高性能计算的节点集合，可以提供单节点不能提供的强大计算能力，拥有高性能、弹性扩展、稳定可靠等优点。本文介绍集群涉及的基本概念和功能。节点 E-HPC集群中的每个节点是一台ECS实例。按节点功能分类，可以分为登录节点、管控...
自定义资源组
如何处理添加自定义资源组后状态不可用的情况？如何处理ECS状态正常，但Shell任务执行失败的情况？如何处理查看DataWorks运行日志，找不到对应文件的情况？如何处理自定义资源组下任务执行OOM，无法分配内存给作业线程的情况？如何处理数据...
创建和使用EMR资源
如果您目前无可用的独享调度资源组，请购买并配置独享调度资源组便于使用，操作详情请参见 新增和使用独享调度资源组。使用资源注册函数 DataWorks支持可视化方式使用资源来注册函数，当您将函数注册所需的资源通过DataWorks可视化上传后，...
创建资源
关闭 load5 不能超过客户端机器CPU可用核数 0 内存使用率 表示近5分钟进程内存平均使用率不能大于该阈值，否则判断客户端机器繁忙。90%磁盘使用率 表示磁盘使用率不能大于该值，否则判断客户端机器不健康，状态繁忙。95%是否触发繁忙机器 ...
数据开发
调度依赖配置：配置调度依赖的目的是为了保障上游表产出完成才会触发下游读取数据，而当前节点上游的数据是静态的，不需要等待产出，所以本节点的上游依赖可配置为工作空间根节点，即周期依赖的上游节点配置为"使用工作空间根节点"，其他...
管理工作流定义
工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。本文为您介绍如何创建工作流及工作流定义的相关操作。前提条件 已新建项目，详情请参见 管理项目。创建工作流 进入项目管理页面。使用阿里云账号...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
创建有状态工作负载StatefulSet
所需资源 为该应用预留资源额度，包括CPU、内存和Ephemeral-Storage三种资源，即容器独占这些资源，防止因资源不足而被其他服务或进程争夺资源，导致应用不可用。关于设置所需资源的更多信息，请参见 资源画像。容器启动项 stdin：表示为该...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
任务常见问题
cron、fix_rate不支持秒级别调度，您可以选择时间类型为second_delay，即上一次运行完之后间隔几秒再运行。某个时间点没有调度怎么办？某个单机任务有一个时间点没有调度运行时，您需要确认机器列表是否存在机器，并确认机器是否全部处于...
服务定时自动部署
使用限制 使用方案二部署EAS服务：仅支持使用DataWorks 独享调度资源组，不支持使用 公共资源组。方案一：使用Designer-更新EAS服务组件 步骤一：创建Designer工作流 如果您的模型是基于Designer工作流训练得到的，可以直接在训练组件下游...
应用管理
0 日历 您可在下拉列表中选择在 金融日 或者 工作日 调度应用。0 步骤二：通知配置 在 通知配置 向导页填写相关信息，选择 通知渠道 并设置 联系人。通知渠道 目前支持 短信、邮件、Webhook 和 电话。关于 Webhook 配置的详细信息，请参见 ...
历史功能发布记录（2023年）
全部 Sidecar Acceleration using eBPF 支持操作系统内核层的容器监控可观测能力 支持操作系统内核层的容器监控可观测能力，为您提供更可靠、透明的容器引擎层，助力您更顺利地进行容器化迁移，解决了因容器引擎层的不透明性而导致的故障...
应用管理
您可以通过应用管理页面创建应用（任务分组）、测试该应用的连接机器、为RAM用户进行分组授权等操作，如果不需要该应用，还可以删除应用。创建应用 在创建调度任务前，您需要先创建应用。在顶部菜单栏选择地域。在 应用管理 页面选择目标...
计费逻辑说明
并发任务运行说明 独享调度资源组规格与机器数直接影响到可同时执行的任务数，若您已经购买了独享调度资源组，但任务运行超过资源组支持的最大并发，同样会出现任务排队，等待资源的情况。请合理规划任务定时时间，错开任务运行时间，选择...
如何管理应用级别的资源和任务优先级
专业版 load5 不能超过客户端机器CPU可用核数 0 内存使用率 表示近5分钟进程内存平均使用率不能大于该阈值，否则判断客户端机器繁忙。90%磁盘使用率 表示磁盘使用率不能大于该值，否则判断客户端机器不健康，状态繁忙。95%是否触发繁忙机器...
DataWorks on EMR快速入门
服务高可用 不开启 默认不开启。打开 服务高可用 开关后，EMR会把Master节点分布在不同的底层硬件上以降低故障风险。可选服务 HADOOP-COMMON、OSS-HDFS、YARN、Hive、Spark3、Tez、Knox和OpenLDAP。根据您的实际需求选择组件，被选中的组件...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
周期实例通用运维概述
当到达当前实例的定时运行时间，且Dataphin剩余可用调度资源充足、并通过所有命中的限流规则校验后，周期实例的状态会从 等待调度时间 变成 运行中。说明 暂停实例即暂停当前周期实例的运行，不影响该任务其他周期生成的实例运行。如果需要...
设计阶段
多并行、少串行（在分布式系统下可发挥其优势）。运行周期 如果数据研发的场景是在常见T+1离线计算场景，则应将不同调度任务按照实际业务需求，赋予小时、日、周、月和季度等不同的调度粒度。说明 程序必须支持重跑。如果SQL语句优化后，单...
OpenAPI列表
运维 通过该API模块，用户可构建个性化的运维工具，通过API可完成节点及实例的相关操作，又可以获取Dataphin的告警事件及告警消息。说明 目前开放的API主要针对离线脚码任务和管道集成任务。规范建模相关的任务运维的API暂未开放。API API...
周期实例通用运维概述
当到达当前实例的定时运行时间，且Dataphin剩余可用调度资源充足、并通过所有命中的限流规则校验后，周期实例的状态会从 等待调度时间 变成 运行中。说明 暂停实例即暂停当前周期实例的运行，不影响该任务其他周期生成的实例运行。如果需要...
虚拟节点调度方案对比及介绍
关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如，通过nodeAffinity和podAffinity实现可用区亲和。不支持：无法对不同节点集合进行优先级编排。例如，通过...
- 产品推荐
- 这些文档可能帮助您