AWS资源采集工具使用准备
规格系统 此外工具服务器需要至少 2C4G 的机器规格，对于操作系统没有依赖。环境依赖 AWS资源采集工具运行需要工具服务器拥有Java8的运行环境，您可以通过 java-version 来查看机器的Java版本。运行文件下载 请选择合适的执行文件，下载后...
实时同步任务运行与管理
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维...
查看并管理手动实例
说明 系统支持强制重跑运行状态为成功、失败、运行中、等待中和未运行的实例节点。手动实例详情页 编号 描述 ① 运维操作入口 提供运维管理手动实例的入口，详情请参见 手动实例详情页支持的操作。② 节点信息 展示手动实例的节点信息和...
周期任务基本运维操作
查看周期任务 周期任务列表中为您展示生产环境下调度系统按照调度配置自动定时运行的任务，您可以检查任务代码、调度参数、调度依赖、节点血缘等是否符合预期。同时，支持您通过列表及DAG图的方式，快速查看任务的详细信息并执行相关操作。...
查看并管理手动任务
优先级：支持根据任务运行的优先级进行筛选。更新时间：支持快捷选中 今天 或设置任务更新的 开始时间 和 结束时间 范围进行筛选。调度资源组：可根据手动任务配置的调度资源组进行筛选。如果您需要重新选择，则单击，可快速清除已选筛选...
查看并管理脚本实例
终止 仅 成功、失败、未运行 的实例不支持终止，其他状态实例均支持进行终止操作。终止后实例的运行状态变更为 失败。当前实例节点终止运行后，该节点的下游节点也不会运行。终止操作多用于如下场景：由于Dataphin异常或操作失误，需要终止...
查看并管理实时实例
停止中 已触发停止实例的操作，系统正在执行停止实例。停止 停止正在运行的实例。运行失败 运行失败的实例。启动失败 启动失败的实例。实时实例列表支持的操作 操作 描述 启动 启动当前实时实例。具体操作，请参见 实时任务启动实时实例。...
自动定时重启ECS云服务器
然而，在实际运行中，我们可能会遇到这样一些场景：系统更新：一些操作系统或者软件的更新可能需要重启服务器才能生效。通过定时重启能够保证这些更新的正常应用。内存泄漏：有的程序可能存在内存泄漏的问题，长时间运行后可能会消耗大量的...
查看并管理实时实例
停止中 已触发停止实例的操作，系统正在执行停止实例。停止 停止正在运行的实例。运行失败 运行失败的实例。启动失败 启动失败的实例。实时实例列表支持的操作 操作 描述 启动 启动当前实时实例。具体操作，请参见 实时任务启动实时实例。...
查看并管理手动实例
说明 系统支持强制重跑运行状态为成功、失败、运行中、等待中和未运行的实例节点。修改调度资源组 可修改实例运行时使用的调度资源组。说明 仅生产环境项目下的实例可修改调度资源组。修改后仅影响当前实例，对所属任务其他实例均无影响。...
测试指标
标准 现代的操作系统为了最大利用内存，在内存中存放了缓存，因此内存利用率100%并不代表内存有瓶颈，衡量系统内有瓶颈主要靠SWAP（与虚拟内存交换）交换空间利用率，一般情况下，SWAP交换空间利用率要低于70%，太多的交换将会引起系统性能...
Session集群管理概述
停用中 已完成停用Session集群操作，系统正在自动停止在此集群上运行的所有作业。已停用 系统已完成在此集群上运行的所有作业。已停用的状态的Session集群不可以用于实时任务调试等场景。失败 系统进行Session集群初始化失败，或Session...
排查和处理文件备份客户端状态异常
说明 不同Linux操作系统指令不同：新版客户端重启命令：systemctl restart hbrclient systemctl restart hbrclientupdater 旧版客户端重启命令：systemctl restart hybridbackup systemctl restart updater 若客户端仍然没有正常运行，您...
查看并管理待提交实例
待提交实例是对周期任务发起定时补数据操作时产生的实例，待提交实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待提交实例页面，对待提交实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待提交实例。待提交 ...
查看并管理待生成实例
待生成实例是对周期任务发起定时补数据操作时产生的实例，待生成实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待生成实例页面，对待生成实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待生成实例。待生成 ...
调度配置
您可以根据业务需求选中 时间段 或 时间点：如果您选中了 时间段，您可以单击 开始 或 结束 后的 图标，指定运行的开始和结束时间。同时您可以单击 间隔 后的 图标，在下拉列表中选择间隔时间。如果您选中了 时间点，单击下拉列表框，在...
如何创建 App
MinDiskSize：App 运行的最小系统盘大小。DiskType：App 运行的盘类型。MaxRetryCount：App 的某个实例失败后最大的重试次数。Timeout：App 的实例运行的超时时间。注意：以上 Config 中的所有参数，创建 App 时通过默认值指定为某种配置，...
调度配置
您可以根据业务需求选中 时间段 或 时间点：如果您选中了 时间段，您可以单击 开始 或 结束 后的 图标，指定运行的开始和结束时间。同时您可以单击 间隔 后的 图标，在下拉列表中选择间隔时间。如果您选中了 时间点，单击下拉列表框，在...
查看并管理明细及汇总表实例
终止 仅 节点状态 为 成功、失败、未运行 的实例不支持终止，其他 节点状态 实例均支持进行终止操作。终止后实例的节点状态变更为 失败。当前实例节点终止运行后，该节点的下游节点也不会运行。终止操作多用于如下场景：由于Dataphin异常或...
查看并管理明细及汇总表实例
终止 仅 节点状态 为 成功、失败、未运行 的实例不支持终止，其他 节点状态 实例均支持进行终止操作。终止后实例的节点状态变更为 失败。当前实例节点终止运行后，该节点的下游节点也不会运行。终止操作多用于如下场景：由于Dataphin异常或...
管理工作流实例
（暂停）对正在运行的工作流实例进行 暂停 操作，系统状态变为 准备暂停，会等待正在执行的任务结束，暂停下一个要执行的任务。（删除）删除工作流实例及工作流实例下的任务实例。（甘特图）甘特图纵轴是当前工作流实例下的任务实例的拓扑...
运行及排错
DataWorks为您提供测试运行、补数据和周期运行三种触发方式，帮助您确认实例运行的定时时间、相互依赖关系、数据结果产出是否符合预期。测试运行：手动触发方式。如果您仅需要确认单个节点的定时情况和运行，建议您使用测试运行。详情请...
转换MBR分区为GPT分区
重要 转换Windows云盘分区过程中，云盘数据不可用，如果您正在运行的业务依赖于该盘的数据，可能会出现问题。建议您先停止服务，待分区转换完成并恢复云盘数据后再继续运行业务。步骤一：转换分区（可选）备份云盘数据。警告 Windows转换...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
查看异常统计
异常统计为您展示全局或已选项目下运行异常任务的统计信息，包括运行出错和运行总时间过长两个视角，便于您及时获取任务运行的状况，以判断资源的消耗及影响，从而作出预算准备、资源扩容或规格升级的决策。本文为您介绍运维中心的异常统计...
查看异常统计
异常统计为您展示全局或已选项目下运行异常任务的统计信息，包括运行出错和运行总时间过长两个视角，便于您及时获取任务运行的状况，以判断资源的消耗及影响，从而作出预算准备、资源扩容或规格升级的决策。本文为您介绍运维中心的异常统计...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
设置集群身份映射
CDP与CDH的集群身份映射配置操作基本一致，本文以CDH为例，为您介绍相关操作详情。映射类型说明 在DataWorks注册CDH集群时，可通过 默认访问身份 参数，配置后续在DataWorks运行CDH集群任务时，实际在CDH集群内执行任务代码使用的账号，...
ECS系统事件概述
说明 非预期运维事件一般指的是因底层宿主机发生了无法预测的故障，或者ECS实例的操作系统发生了内核错误等问题，导致ECS实例突然出现宕机或重启。因宿主机故障导致ECS实例宕机或重启事件（SystemFailure.Reboot）属于偶发现象，无法避免。...
配置ECS远程命令节点
可以选择多个操作系统一致的ECS实例。命令类型 是 如果ECS实例为Linux系统，选择Shell。如果ECS实例为Windows系统，选择Bat或PowerShell。超时时间 是 设置执行命令的超时时间，单位为秒（s）。运行目录 是 输入命令在ECS实例中的运行目录...
逻辑表运行配置
您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤 请参见 数据开发入口，...
迁移ECS实例至轻量应用服务器
本文示例中轻量应用服务器的操作系统为CentOS 7.6，因此，需要运行以下命令，安装宝塔面板免费版。说明 如果您的轻量应用服务器所用的镜像为BT-Panel应用镜像，请跳过安装宝塔面板的步骤，直接配置宝塔面板。yum install-y wget&wget-O ...
逻辑表运行配置
您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤 在Dataphin首页，单击...
运维中心概述
运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块，为您提供任务操作与状态、引擎、资源等多方位的运维能力。运维中心功能模块 当您在DataStudio中完成节点开发，并提交...
采集Job任务的日志
由于ECI不支持DaemonSet，在ECI上运行的Job任务运行结束后，Pod会立即退出，因此可能会出现日志尚未完全采集的情况。建议您为Job挂载NAS文件系统来保存日志文件。本文介绍在ACK集群中使用ECI来运行Job任务时，如何采集Job任务的日志。前提...
常见问题
在确认输入数据和系统运行没有问题之外，那么可能就是原始输入doc表的数据问题，Proxima CE默认采用的是hnsw算法构建索引，可能出现了构图不连通的极端情况，导致检索召回结果数量不够。解决方法：可以通过降低recall。该方法解决不彻底，...
步骤五：设置离线节点的调度信息
重试间隔 每两次重新运行的时间间隔，超过这个时间，系统重新开始运行。设置超时时间。运行超时的时间设置，超过这个时间，则系统报错，运行超时，停止运行。（可选）配置告警监控信息 单击 告警监控 后的 开关，打开告警配置信息。配置告...
步骤五：设置离线节点的调度信息
重试间隔 每两次重新运行的时间间隔，超过这个时间，系统重新开始运行。设置超时时间。运行超时的时间设置，超过这个时间，则系统报错，运行超时，停止运行。（可选）配置告警监控信息 单击 告警监控 后的 开关，打开告警配置信息。配置告...
- 产品推荐
- 这些文档可能帮助您