自定义血缘配置
Dataphin支持自动解析SQL类型计算任务和逻辑表任务的血缘信息，针对非SQL类型的计算任务，支持自定义配置血缘信息，以补全血缘链路。本文为您介绍如何自定义配置非SQL任务的血缘。使用限制 仅支持针对非SQL类型的计算任务自定义配置血缘...
通用参考：切换资源组
在左侧导航栏，单击 同步任务，然后在任务列表中，找到目标同步任务，并单击右侧 操作 列的 更多>修改配置，在任务配置中，修改资源组。数据开发页面 重要 数据开发中修改的资源组不会同步到生产环境中，您需要通过 发布流程 将任务发布后...
新建数据库SQL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。资源配置：任务生成的实例调度所消耗的资源，不同资源组之间资源...
DMS调度Spark
单击 任务流常量 页签，配置任务流常量。任务流常量为固定值，在所有节点中都可使用，在SQL中的使用格式为${name}。单击 任务流变量 页签，配置任务流变量。配置方法，请参见 配置时间变量。单击 输入变量 页签，查看输入变量。双击 ADB ...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
查看异常统计
排名靠前的任务，需要评估监控配置是否合理（例如，是否需要修改设置的超时阈值）、评估任务配置是否需要优化。同时，您可以执行以下操作：单击 告警中心，查看告警详情。单击 操作 列下的 图标，进入对应的任务模块，查看生产任务。单击 ...
查看异常统计
排名靠前的任务，需要评估监控配置是否合理（例如，是否需要修改设置的超时阈值）、评估任务配置是否需要优化。同时，您可以执行以下操作：单击 告警中心，查看告警详情。单击 操作 列下的 图标，进入对应的任务模块，查看生产任务。单击 ...
工作原理
如果伸缩组在某个时间先触发定时任务配置项，则先执行定时任务，再执行报警任务。各配置方式具体说明如下：序号 配置方式 说明 ① 伸缩组+实例配置来源 您需要先创建伸缩组，再为伸缩组配置实例配置来源，然后启用实例配置来源和伸缩组。...
创建及管理群组离线服务任务
③ 群组离线服务列表 群组离线服务页面以列表形式为您展示创建的群组离线服务，包括 任务名、负责人、应用名、群组名、实体、实体ID、任务状态、执行状态、标签、目标源类型、目标表、调度类型、创建时间 以及支持的 操作。群组离线服务...
管理模板
模板概述 模板 说明 任务模板 任务模板是为Spark任务预定义的一组配置。它包含了运行一个特定作业所需要的所有配置信息。使用任务模板可以确保在任务提交时保持一致的配置和运行环境。SQL Compute模板 SQL Compute模板为Spark交互式会话预...
基于ALB的单机QPS监控指标实现弹性扩缩容
弹性伸缩的系统报警任务支持基于ALB服务器组的单机QPS监控指标，本文为您介绍基于ALB服务器组的单机QPS监控指标实现弹性伸缩的扩缩容活动。前提条件 已注册阿里云账号。如果还未注册，请先 注册阿里云账号。说明 如果您使用RAM用户，您还...
常见问题
如何处理：切换到jdbc连接串，同时检查白名单配置，以及独享资源组的VPC配置。Oracle数据源网络联通性测试失败怎么办？错误现象：添加数据源Oracle时，网络连通性测试失败。如何处理：切换到jdbc连接串，同时检查白名单配置，以及独享资源...
常见问题
如何处理：切换到jdbc连接串，同时检查白名单配置，以及独享资源组的VPC配置。MySQL数据源网络联通性测试失败怎么办？错误现象：添加数据源MySQL时，网络连通性测试失败。如何处理：切换到jdbc连接串，同时检查白名单配置，以及独享资源组...
创建通用项目
您也可以在任务配置时自定义修改单个任务对应的资源组。仅支持选择资源组状态为 正常、使用场景包含 任务日常调度 且和当前项目有 关联关系的资源组。此处修改了默认资源组之后，调度资源组配置为 项目默认资源组 的任务，会自动跟随更新所...
通过整库迁移配置集成任务
资源配置 参数 描述 生产任务调度资源组 整库迁移集成任务调度运行时需要消耗调度资源。整库迁移集成任务为独享资源任务，您可指定每个整库迁移集成任务生成的实例可使用的调度资源组，实例调度时会从占用指定资源组的资源配额，如果指定的...
TaskDetail
true RelateTaskConfig object 关系任务配置 null PeriodConfig object 时间配置 {"periodConfigId":"","status":""} MineConfigs object 我的配置 null VoteConfigs object 投票配置 {"1":{"VoteNum":1,"MinVote":1}} NoticeConfig object...
离线同步能力说明
示例：创建一个离线同步任务，每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区，原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds，可以将任务配置如下：同步任务配置：调度参数配置：订单...
DataWorks公共数据集成（调试）资源组下线公告
修改数据集成资源组 对于配置了公共数据集成资源组的任务：如果您在 2024年4月1日 前修改数据集成资源组，请参见 通用参考：切换资源组。如果您在 2024年4月1日及以后，想要修改已经配置了DataWorks公共数据集成资源组的任务，请将已有任务...
创建StarRocks计算源
不指定任务资源组：将使用StarRocks集群中所配置默认资源组执行提交的任务。指定资源组：根据优先级填写对应的资源组名称。优先级支持 最高、高、中、低、最低。单击 测试连接。连接测试通过后，单击 提交。后续步骤 完成创建StarRocks计算...
数据开发
步骤一：购买并配置独享数据集成资源组 本教程需将存储在MySQL中的数据同步至MaxCompute，同步任务需使用DataWorks的独享数据集成资源组，因此您需要先准备独享数据集成资源组，并完成前期的准备工作。说明 DataWorks为您提供了独享数据...
创建标注任务
人员配置 根据选择的 任务流程，配置标注人员/组、检查人员/组、验收人员/组或任务管理员/组。您可以与该工作空间下的多个成员协作完成标注任务。iTAG 中的角色权限，请参见 概述。配置完成后，单击 创建。查看任务列表 创建完成打标、检查...
全增量实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
数据传输作业：数据集成
在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute数据源，详情请参见 配置MaxCompute数据源。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据源网络环境已经连通，详情请参见 配置资源组与网络连通...
MySQL分库分表同步至Hologres（方案2.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
离线同步写入MongoDB数据
db.createCollection('test_write_mongo')离线任务配置 step1：添加MongoDB数据源 添加一个MongoDB数据源，保障数据源与独享数据集成资源组之间网络连通。操作详情请参见 配置MongoDB数据源。step2：创建离线同步节点，并配置离线同步任务 ...
运维中心入门
操作流程 阶段一：测试验证调度任务 步骤一：查看周期任务配置 为避免周期任务调度不符合预期，建议您在任务发布后先检查周期任务配置的调度参数、调度资源组等是否正确。若不符合预期，请修改相应配置并重新发布。步骤二：测试周期任务 ...
注册EMR集群至DataWorks
步骤三：资源组初始化 初次绑定集群、集群服务配置变更 或 组件版本升级（例如：修改core-site.xml）请初始化资源组，确保资源组可正常访问EMR，资源组当前环境配置可正常执行EMR任务。在 开源集群 页面，找到已注册的EMR集群页签，单击右...
数据集成侧同步任务能力说明
全增量同步任务配置 全增量同步任务配置时支持的能力如下，详细配置请参见：数据集成侧同步任务配置。任务配置相关能力说明请参见：数据集成侧同步任务配置相关能力。全增量同步任务运维 全增量同步任务为您提供了一键增加及删除同步表功能...
周期任务基本运维操作
任务监控报警 您可以在周期任务列表对任务配置监控规则：支持针对周期任务设置周期实例调度运行时的状态监控。详情请参见：创建并管理自定义规则。支持针对周期任务设置周期实例、补数据实例、测试实例运行时产出的表数据质量监控。详情请...
计费逻辑说明
请在任务配置完成后确认其产生的任务列表。其他费用 同步解决方案创建的任务，可能会产生由数据同步任务相关配置引起的费用和账单。说明 例如，同步任务涉及的上下游数据库、计算引擎系统计算和存储费用、网络服务费用（如高速通道、共享...
DataWorks的审计事件
ConfirmReverseTaskDetail 保存模型逆向任务配置。CopyApi 克隆数据。Create 登录产品售卖页面进行的购买操作。CreateAccount 创建账号。CreateAdjunct 创建修饰词。CreateAlisaTask 创建调度任务。CreateAtomicIndicator 创建原子指标。...
功能特性
伸缩组 功能集 功能 功能描述 参考文档 伸缩组管理 创建伸缩组 如果需要根据业务变动需求与策略自动增加或减少指定类型的实例数量，则您可以通过创建伸缩组来自动调整您的业务计算能力（即实例数量）。创建伸缩组 启用/停用伸缩组 启用伸缩...
创建EMR Presto节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
离线同步任务运维
为确保周期调度的离线同步任务运行无误，请在任务发布完成后，前往 生产运维中心>周期任务 界面查看生产环境任务配置（任务代码，任务使用的调度资源组及数据集成任务执行资源组）是否符合预期。DataWorks的离线同步任务通过调度资源组将其...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
数据导入方式
步骤五：修改任务配置 如果使用Lindorm SQL方式访问，请参考 Reader脚本Demo 和 Writer脚本Demo 配置文档中TableService模型的配置。如果使用HBase兼容方式访问，请参考 Reader脚本Demo 和 Writer脚本Demo 配置文档中WideColumn模型的配置...
功能发布记录
2024-02-28 全部 CreateScalingGroup-创建一个伸缩组 ModifyScalingGroup-修改一个伸缩组 DescribeScalingGroups-查询伸缩组列表 支持K8s YAML配置文件方式管理伸缩组或伸缩配置 通过配置文件（K8s YAML格式）可以快速创建和管理ECI类型...
实时同步能力说明
实时同步任务配置 实时同步任务配置时支持的能力如下，您无需编写代码，通过简单的任务配置即可实现单表ETL实时同步，整库实时数据的收集。详情请参见：配置单表实时同步任务、配置整库实时同步任务。单表增量数据实时同步：支持图形化开发...
查看并管理周期任务
您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务运维操作说明详情请参见：周期任务基本运维操作。...
BigQuery数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。附录：脚本Demo与参数说明 离线任务脚本配置方式 如果...
- 产品推荐
- 这些文档可能帮助您