通过向导模式配置离线同步任务
离线同步任务将通过调度资源组下发至数据集成任务执行资源组上执行，任务调度收费与离线同步任务个数有关，和任务配置的并发无关。关于离线同步任务下发机制，详情请参见：任务下发机制。同步速率 用于控制同步速率。限流：您可以通过限流...
创建训练任务
完成准备工作后，您可以通过控制台、Python SDK或命令行提交 DLC 任务。本文为您介绍提交 DLC 任务的具体操作步骤。前提条件 已准备资源、镜像、数据集和代码集。具体操作，请参见 准备工作。如果使用Python SDK提交训练任务，需要配置环境...
离线同步常见问题
说明 由于离线同步任务通过调度资源组下发到数据集成执行资源组上执行，所以一个离线同步任务将同时耗费一个调度资源，若离线同步任务长时间运行未释放资源，除了阻塞其他离线任务运行外，可能还将阻塞其他类型的调度任务运行。如何处理...
常见问题
因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响，请参见 到期或欠费说明。如何提前释放包年...
离线同步任务调优
检查占用资源的任务是否卡住或者严重变慢，如果任务存在问题需要先解决此类问题或者停掉部分任务。如果任务未卡住，待占用该数据集成任务执行资源的任务执行成功，将资源释放后启动运行。您也可以找到占用该资源的任务列表及责任人，与其...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
任务管理
suspend()后所处的挂起状态 SLP 任务处于休眠状态 PEND_SUS 任务在阻塞状态下，被其他任务挂起，处于阻塞挂起状态 SLP_SUS 任务在休眠状态下，被其他任务挂起，处于休眠挂起状态 DELETED 任务处于删除状态 任务调度 任务调度是为多任务环境...
Android 发布管理
发布管理是客户端升级新版本的配置后台，支持用户创建多任务、多维度的升级配置。关于此任务 Android 发布管理的功能包括以下方面：增加升级资源并提示二维码的下载地址。创建、修改新版本资源包的任务。对已添加的发布包创建多种类型的...
任务编排
本文介绍如何使用 数据管理DMS 任务编排的单实例SQL节点，将源表中6个月前的数据（历史数据）迁移（归档）至目标表中，并删除源表中已迁移的数据。应用场景 DMS 的任务编排功能提供了强大的自动化编排和调度能力，满足数据同步、数据归档、...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
创建PolarDB-X 1.0数据订阅任务
其他限制 由于 PolarDB-X 1.0 的订阅任务为分布式订阅，其下挂的一个RDS MySQL对应一个订阅子任务。子任务运行情况，可在 任务拓扑 进行查询。由于 PolarDB-X 1.0 支持分库分表，源 PolarDB-X 1.0 的某一DDL指令会在所有分表上执行对应的...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
数据湖管理FAQ
“Lakehouse”是基于数据湖的数仓，一种新的大数据范式，最根本出发点就是为了解决单纯Data Lake应用下的各种问题，例如不支持UPSERT，不支持多版本，不支持增量ETL，小文件太多，格式不是分析型的，元信息不统一，Schema没有约束，缺乏...
实时同步常见问题
当您在查询实时同步任务产出的表数据，发现数据未同步时，原因可能是实时同步任务出现延迟，您可以进入运维中心的 实时同步任务 界面，查看任务的 业务延迟 数值是否过大。详情请参见 实时同步任务延迟解决方案。若业务延迟较大，其可能...
PolarDB-X 1.0迁移至PolarDB-X 2.0
说明 针对同源或者同目标的多个DTS实例，网络重试时间以后创建任务的设置为准。由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标库实例释放后尽快释放DTS实例。配置ETL功能 选择是否配置ETL...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
查看及管理实时计算任务列表
实时计算任务列表是指在Dataphin创建的实时计算任务集合。在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算...
任务类型
集群任务 集群任务 适用于复杂的调度场景，支持用户按业务的要求，通过自定义的拆分逻辑将一个大的任务拆分到多个客户端上并发执行。集群任务可以分成两个阶段：拆分阶段和执行阶段。拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果...
新建VIRTUAL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，...
新建VIRTUAL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，...
新建SPARK_JAR_ON_HIVE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_HIVE类型的任务。背景信息 SPARK_JAR_ON_HIVE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_HIVE任务中引用。具体操作，请参见...
新建HIVE_SQL任务
本文为您介绍如何基于Dataphin构建HIVE_SQL类型的离线计算任务。背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 ...
iOS 发布管理
发布管理是客户端升级新版本的配置后台，支持用户创建多任务、多维度的升级配置。关于此任务 iOS 发布管理的功能包括以下方面：增加升级资源并提示 App 的下载二维码（仅限 企业分发）。创建、修改新版本资源包的任务。对已添加的发布包...
人工客服学习-删除任务
人工客服学习-删除任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteTask 系统规定...
新建SPARK_SQL任务
本文为您介绍如何基于Dataphin构建Spark SQL任务类型的离线计算任务。前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
新建MAX_COMPUTE_SQL任务
本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面...
新建INCEPTOR_SQL任务
本文为您介绍在绑定了星环TDH计算引擎的项目下如何创建INCEPTOR_SQL任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建INCEPTOR_SQL任务 对话框。编写并运行代码。在 新建INCEPTOR...
新建SPARK_JAR_ON_MAX_COMPUTE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_MAX_COMPUTE类型的任务。背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_MAX_COMPUTE任务中...
新建SPARK_JAR_ON_MAX_COMPUTE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_MAX_COMPUTE类型的任务。背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_MAX_COMPUTE任务中...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
截图常见问题
提交任务不成功，提示OutputFile Object参数问题 错误码：InvalidParameter.ResourceContentBad 错误描述：The format of parameter"SnapshotConfig:OutputFile:Object"is invalid 原因 解决方案 提交多张截图任务（Num>1），但OutputFile...
新建ADB_PG_SQL任务
本文为您介绍在绑定了AnalyticDB for PostgreSQL计算引擎的项目下如何创建ADB_PG_SQL任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建ADB_PG_SQL任务 对话框。编写并运行代码。...
配置Lindorm Spark节点
任务编排的Lindorm Spark节点可以通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求，同时可以方便地读取Lindorm宽表引擎数据，与OSS上的数据进行联合分析。前提条件 您...
- 产品推荐
- 这些文档可能帮助您