查看并处理任务
处理任务 待处理任务列表为您展示当前租户下所有待您审批的任务，您可选择单个任务进行审批；也可批量选择任务进行审批，简化审批流程，提升审批效率。处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务...
新建数据处理任务
本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。背景信息 数据处理支持以下数据格式的输入和输出：类型 输入格式 输出格式 倾斜数据 OSGB S...
查看并处理任务
处理任务 待处理任务列表为您展示当前租户下所有待您审批的任务，您可选择单个任务进行审批；也可批量选择任务进行审批，简化审批流程，提升审批效率。处理单个任务 在任务中心的 待处理 页签，选择需处理的任务并单击任务的名称，对任务...
异步任务处理机制
获取任务状态 通过MNS或RocketMQ获取任务状态 如 任务处理流程 中的介绍，开发者可以通过设置MNS或RocketMQ来接受IMM的任务处理状态，这也是IMM推荐的使用方式。MNS通知消息格式请参见 异步通知消息格式。重要 MNS或RocketMQ需要和IMM在同...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
使用内置算子建一个简单的数据处理任务
图1 配置OSS数据源示例 创建数据处理任务 在创建好云计算资源后，可创建数据处理任务，数据处理任务中数据源来自于刚刚所创建的云资源，具体步骤如下：在任务流列表中点击“添加任务”按钮添加 数据处理任务。在画布区域从 系统节点 中拖入...
处理标注任务
本文以处理图像类标注任务为例，为您介绍如何处理标注任务，其他类型的标注任务操作类似。前提条件 管理员已分配标注任务，详情请参见 创建标注任务。使用限制 仅管理员或标注管理员可以进行标注相关操作。如果您的账号没有权限，请联系...
修改待处理事件的任务切换时间
111111 SwitchTime string 是 后台将在指定时间点执行目标待处理任务所对应的操作。格式为 yyyy-MM-ddTHH:mm:ssZ（UTC 时间）。2020-06-09T22:00:00Z ResourceGroupId string 否 资源组 ID。rg-*返回参数 名称 类型 描述 示例值 object ...
Dataphin的数据处理SQL任务中如何实现使用concat_ws...
问题描述 Dataphin的数据处理SQL任务中如何实现使用concat_ws函数参数为null时，返回值不为null。即实现如果分割符为null，则返回null，参数为null，则忽略该参数。问题原因 这个是hive兼容的flag。默认新建项目都会开启的。创建项目的时候...
Dataphin数据集成任务如何处理来源表字段中的数据存在...
问题描述 Dataphin配置集成任务，当来源表字段中的数据存在空格时会同步失败。2021-09-26 11:04:50.998[0-0-0-reader]ERROR DlinkTaskPluginCollector-脏数据:{"message":"类型转换错误,无法将[3]转换为[LONG]","record":[{"byteSize":10,...
异步任务MNS消息处理示例
本文介绍如何通过消息服务MNS获取IMM异步任务的执行状态消息。创建MNS相关资源 步骤一：创建MNS主题 登录 消息服务MNS管理控制台。在左侧导航栏选择 主题列表，并单击 创建主题。在 创建主题 面板设置主题的相关信息，并单击 确定，如下以...
找不到任务实例如何处理
问题现象 提交发布任务后，在运维中心的实例列表页面，找不到任务对应的实例。可能原因 找不到任务对应的实例则说明实例未成功创建。DataWorks会根据任务节点中的调度配置中 生成实例方式 和 调度依赖 的配置结果，使用不同方式为您创建...
处理能力接入审批任务
本文介绍如何处理能力接入、应用部署等审批任务。操作步骤 登录BizWorks，在 选择平台 下拉列表中选中 能力开放平台。在 能力开放平台 导航栏中，选择 能力接入管理>能力接入审批。在 任务中心 页面，单击 待我审批 页签。单击待审批的目标...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
任务监控大盘异常处理
任务监控大盘报错处理 异常描述 在目标Project下，打开目标任务的概览页面时，提示 查询失败 错误，统计报表中未展示任何统计数据。异常原因 任务运行日志保存在指定Project下名为internal-diagnostic_log的Logstore中。当internal-...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
查看不同任务类型下待处理事件的数量
查看不同任务类型下待处理事件的数量。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
ListBatches-查询批处理任务列表
查询批处理任务列表，支持排序，支持按照任务标签，任务状态等条件查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
Dataphin同步任务表字段包含#号时如何处理
问题描述 Dataphin的集成离线任务中，创建的数据同步任务的表中存在字段名称包含（#）号时，同步任务失败，报错信息显示找不到对应的字段。问题原因 源数据库字段名称中包含（#）号这种特殊字符时，dataphin中无法成功解析字段名，导致任务...
数据未正常产出或任务未运行如何处理
问题现象 在数据地图查看数据时，发现当天数据未正常产出，或者在运维中心的周期实例发现任务节点状态为灰色的未运行状态，如下图所示。可能原因 未运行节点的上游节点未成功运行，上游节点实例可能被冻结，或还在等待运行。上游节点未成功...
Dataphin管道任务同步SQL Server字段包含关键字处理...
问题描述 Dataphin管道任务同步SQL Server数据，但是SQL Server字段包含关键字导致同步总是报错，列不存在。解决方案 在本例中，需要使用脚本模式。具体写发如下，parameter中的column写[]中括号转义符，但是外层再写一次column，映射字段...
Dataphin管道任务从SqlServer抽取数据时，空字符串的...
产品名称 Dataphin 产品模块 管道任务 概述 本文描述了当使用管道从SqlServer抽取数据时，SqlServer中存在空字符串的处理方法。问题描述 当您使用管道从SqlServer抽取数据时，有个字段数据存在有空字符串，想用字段计算给它换掉,希望将空串...
Dataphin中提交SQL任务报错：“语法检查内部异常，请...
问题描述 Dataphin中提交SQL任务报错：“语法检查内部异常，请联系管理员处理”。解决方案 将项目名称变量名修改成当前项目名称即可，提交时检验成功。适用于 Dataphin 公共云V3.7.2
Dataphin集成任务从Oracle 抽数据到 Hive，过滤组件中...
问题描述 Dataphin集成任务从Oracle 抽数据到 Hive，过滤组件中对Date类型数据处理出现脏数据。{"category":"filter","distribute":true,"name":"WHERE","parameter":{"condition":"(ODS_LOAD_DT='2021-12-31')","conditionObject":"[{\...
新手指引
步骤五、创建媒体处理任务 媒体处理支持通过控制台或API提交各种媒体处理任务，支持创建单任务或工作流。控制台创建单个媒体处理任务 单击左侧导航栏 任务管理，进入创建任务页面。根据业务需求选择所需页签，单击 创建任务，按需配置文件...
ModifyPendingMaintenanceAction
SwitchTime String 是 2020-06-09T22:00:00Z 后台将在指定时间点执行目标待处理任务所对应的操作。格式为 yyyy-MM-ddTHH:mmZ（UTC时间）。RegionId String 否 cn-hangzhou 地域ID。返回数据 名称 类型 示例值 描述 Ids String 111111 目标...
任务常见问题
如果确实需要停止后立即结束所有运行中的任务，需要修改子任务处理逻辑，增加对当前线程Interrupt状态的处理。如何进行任务管理高级配置？更多信息，请参见 任务管理高级配置参数说明。机器繁忙（all workers are busy）该怎么办？可以在...
ModifyPendingMaintenanceAction
SwitchTime String 是 2020-06-09T22:00:00Z 后台将在指定时间点执行目标待处理任务所对应的操作。格式为 yyyy-MM-ddTHH:mm:ssZ（UTC时间）。ResourceGroupId String 否 rg-*资源组ID。返回数据 名称 类型 示例值 描述 RequestId String ...
最佳实践
此时必须对该PENDING状态进行合适的任务处理，才能解除PENDING状态并恢复正常访问，否则后续的DDL将会被禁止执行并报错。处理原则 您可以通过 SHOW[FULL]DDL 语句查看DDL任务的信息和失败原因（即 REMARK 字段记录的异常信息）。您也可以...
查看子场景下预处理及切图任务状态
查看子场景下预处理及切图任务状态 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
设置消息通知
媒体处理中的任务分为同步任务和异步任务，异步任务无法实时接收到任务结果。如果您需要获取异步任务执行状态，如获取转码任务是否成功、智能审核任务是否已完成等，您可以设置消息通知监控管道或工作流内任务状态的变化情况。本文介绍在...
通知中心权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 消息中心 查看未读消息 Y Y Y Y Y Y Y 任务中心 查看待处理任务列表 Y Y Y Y Y Y Y 处理待处理任务 Y Y Y Y Y Y Y 查看已处理任务 Y Y Y Y Y Y Y ...
通知中心权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 消息中心 查看未读消息 Y Y Y Y Y Y Y 任务中心 查看待处理任务列表 Y Y Y Y Y Y Y 处理待处理任务 Y Y Y Y Y Y Y 查看已处理任务 Y Y Y Y Y Y Y ...
审批流程
单击 任务名称 列下的待处理任务名称，处理任务。参数 描述 审批结果 选择待处理任务的 审批结果。审批结果 包括：通过：任务申请成功，您将获取所申请的权限。驳回：任务申请失败，您可以重新申请或更改申请内容。转交：单击显示框区域，...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
添加处理后数据到数据管理
前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，选 择...
- 产品推荐
- 这些文档可能帮助您