配置存量扫描任务
查看配置 如果您需要查看当前任务的配置信息，在操作列选择 更多>查看配置（任务未扫描完成）或者单击操作列 查看配置（任务已扫描完成），展开 任务配置详情 面板查看。用量说明 如果您需要查看当前任务的用量，在操作列选择 更多>用量...
TaskDetail
true RelateTaskConfig object 关系任务配置 null PeriodConfig object 时间配置 {"periodConfigId":"","status":""} MineConfigs object 我的配置 null VoteConfigs object 投票配置 {"1":{"VoteNum":1,"MinVote":1}} NoticeConfig object...
UpdateJob
调用UpdateJob接口更新任务配置信息。默认先调用获取任务找到对应字段进行修改。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必...
创建EMR Kyuubi节点
更多任务的相关参数配置，请参考 Kyuubi Configurations。说明 EMR Kyuubi任务也支持Spark相关参数配置，在EMR集群设置的全局级别Spark参数，或在EMR Kyuubi任务的高级参数里定义的Spark参数，运行EMR Kyuubi任务时也会生效。Spark参数配置...
配置离线集成管道基本信息
在 属性 对话框中，基本信息 区域配置任务的基本信息。参数 描述 名称 新建离线集成任务时输入的任务名称。节点id 离线集成任务提交后会生成唯一的ID，不可以修改。节点类型 新建离线集成任务时选择的节点类型，不可以修改。开发责任人 ...
配置离线集成管道基本信息
在 属性 对话框中，基本信息 区域配置任务的基本信息。参数 描述 名称 新建离线集成任务时输入的任务名称。节点id 离线集成任务提交后会生成唯一的ID，不可以修改。节点类型 新建离线集成任务时选择的节点类型，不可以修改。开发责任人 ...
创建ID安全匹配任务
进入任务页面配置任务参数 步骤二：配置任务参数信息 在 创建任务 页面，配置参数。参数 描述 任务名称 请填写任务的名称。任务类型 任务类型默认是TrustDA/PSI，不支持修改。加密采用的椭圆曲线 支持选择x25519、secp256k1、secp256r1、...
创建安全数据加密任务
进入任务页面配置任务参数 步骤二：配置任务参数信息 在 创建任务 页面，配置参数。参数 描述 任务名称 请填写任务的名称。任务类型 任务类型默认是TrustDA/PSI，不支持修改。加密采用的椭圆曲线 支持选择x25519、secp256k1、sm2三种椭圆...
创建安全数据左对齐任务
进入任务页面配置任务参数 步骤二：配置任务参数信息 在 创建任务 页面，配置参数。参数 描述 任务名称 请填写任务的名称。任务类型 任务类型默认是TrustDA/LeftJoin，不支持修改。加密采用的椭圆曲线 支持选择x25519、secp256k1、sm2三种...
创建安全数据对齐任务
进入任务页面配置任务参数。步骤二：配置任务参数信息 在 创建任务 页面，配置参数。参数 描述 任务名称 请填写任务的名称。任务类型 任务类型默认是TrustDA/PSI，不支持修改。加密采用的椭圆曲线 支持选择x25519、secp256k1、sm2三种椭圆...
逻辑表配置概述
逻辑表任务配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入逻辑表任务配置页面。配置逻辑表任务 在逻辑表任务配置页面，支持配置逻辑表任务的基本信息与调度相关属性。配置项 描述 基本信息 包括表类型、业务对象...
API概览
UpdateJob 更新任务配置 更新一个任务的配置信息，例如修改一个排队中任务的优先级。StopJob 停止任务 停止一个正在运行的任务。ListJobs 获取任务列表 获取任务列表，支持分页、排序和按条件过滤。GetJob 获取任务详情 获取一个任务的详细...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
逻辑表调度配置概述
逻辑表调度配置入口 请参见 逻辑表任务配置入口，进入逻辑表任务配置页面。单击调度配置，进入逻辑表 调度配置 对话框。逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于...
提交Tensorflow训练任务和定时任务
在 基本信息 区域：配置 任务名称、任务类型（默认值为TF单机）、命名空间、执行命令 等。重要 命名空间 只能选择为集群管理员为您分配的 命名空间，其他选项可根据需要配置。可选：打开 Tensorboard 开关，可视化查看训练作业。可选：打开...
MySQL整库周期性增全量同步至MaxCompute
完成上述所有任务配置后，单击 完成配置，完成同步任务的配置。任务运维 启动同步任务 完成配置之后，界面会自动跳转到 任务列表 页面，您可以单击对应任务的 操作 列的 启动 按钮，启动同步任务。查看任务详情 您可以单击 任务名称 或 ...
数据同步
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
逻辑表配置概述
逻辑表任务配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入逻辑表任务配置页面。配置逻辑表任务 在逻辑表任务配置页面，支持配置逻辑表任务的基本信息与调度相关属性。配置项 描述 基本信息 包括表类型、业务对象...
分布式部署
运行 执行迁移任务 分布式部署时，执行任务的一般步骤是修改任务配置文件、部署服务、清除同名任务、提交任务、启动迁移服务、查看任务状态、重试失败子任务以及停止迁移任务。详细说明如下：部署服务。在Linux终端执行bash console.sh ...
管理自动化营销任务
Y Y Y Y 操作：操作按钮 说明 是否适用于该任务类型（Y：适用，N：不适用）行为事件触发任务 非周期性特定人群触发任务 周期性特定人群触发任务 周期性任务的单个执行周期 查看/编辑 单击跳转到任务配置界面，可查看任务配置、任务执行情况...
脚本任务
名称 参数 调度时间#{schedule.timestamp} 数据时间#{data.timestamp} 自定义参数的Shell任务示例 通过任务参数配置自定义参数，多个自定义参数需使用空格分隔。第一个参数通过$0 渲染，第二个参数通过$1 渲染，以此类推。Python Go
API概览
特征一致性检查任务管理 API 标题 API概述 CreateFeatureConsistencyCheckJobConfig 创建特征一致性检查任务配置 创建特征一致性检查任务配置。CreateFeatureConsistencyCheckJob 创建特征一致性检查任务 创建特征一致性检查任务。...
管理简单任务和集群任务
在左侧导航栏选择 中间件>任务调度>任务配置。您可以在任务列表中查看已创建的调度任务，包括任务的名称、所属应用、任务优先级等信息。查看订阅节点 在任务列表中，单击目标任务名称。单击 客户端 页签。您可以查看已订阅的客户端 IP、...
流水线上的部署任务
运行期间和运行结束后，可以在页面下方点击“查看发布单”，查看更多细节：部署任务的配置 在流水线编辑页面，添加任务时，请选择“部署”，并填写其基本配置：配置的核心思路是，选择合适的包，部署到合适的地方。其中，选择合适的包，是...
任务触发与执行问题
解决方案 检查代码里的 handlerName 返回值和任务配置里的执行器名字是否一致。在客户端加上 handler 实现，getName 值设置为当前 {handler_name}。拓扑无可执行的发布版本 问题现象 出现 no published topology process was found 报错。...
预加载算法
图片非实时分析：适用于低频检测场景，检测的间隔长，每两秒1帧，相比于视频实时分析，可配置更多的算法任务。重要 为边缘一体机配置了最大开启任务数后，若要修改 推理模式，您需要删除该边缘一体机已开启的全部算法任务，才能修改。计算...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。操作步骤 请参见 离...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
数据传输作业：数据集成
在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute数据源，详情请参见 配置MaxCompute数据源。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据源网络环境已经连通，详情请参见 配置资源组与网络连通...
定时检测OSS增量图片和音视频数据
任务列表支持根据任务时间筛选，也可以查看任务检测结果，以及任务配置情况。最多可查询最近180天内的检测任务和检测结果。查看任务检测结果 在 OSS违规检测普惠版 页面任务列表，单击指定任务右侧 操作 列 查看结果。根据定时任务调度日期...
新建BLINK_SQL任务
说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式下的实例。开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等...
新建BLINK_SQL任务
说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式下的实例。开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。操作步骤 请参见 离...
创建质检任务
操作步骤 登录 智能双录质检控制台，在左侧导航栏中选择 云端质检>云端任务配置 菜单项。在云端任务配置页面中，单击 创建任务 按钮，页面中弹出创建任务的窗口。任务名称：为当前创建的质检任务定义一个名称，且不能与已有的任务名称重名...
调度周期：日调度
天任务依赖小时任务场景说明 场景 描述 天任务依赖小时任务所有周期（默认情况）DataWorks上天任务默认依赖小时、分钟任务当天所有实例，即待小时、分钟任务当天所有周期数据加工完成后，天任务才会对小时、分钟任务当天所有数据进行加工...
Second delay
在 创建任务 配置向导的 定时配置 页签中配置相关信息，然后单击 下一步。配置项 描述 时间类型 选择 second_delay。固定延迟 范围为1~60，单位为秒。时间偏移 数据时间偏移，单位为秒。时区 根据实际情况选择。查看秒级别任务的统计信息 ...
通过脚本模式创建集成任务
运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见 离线管道任务运行配置。单击 确定。步骤四...
通过脚本模式创建集成任务
运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见 离线管道任务运行配置。单击 确定。步骤四...
- 产品推荐
- 这些文档可能帮助您