创建网站测速任务
自定义监测点组：您可以将常用的监测点创建1个自定义监测点组管理起来，方便后续创建任务时快速选择。说明 IDC机房暂不支持监测IPV6类型的Web应用。选择监测点 选择需要监测的运营商，添加至右侧 已选择监测点 区域框中。说明 您可以将 已...
使用 mPaaS 插件
状态：表示此模块在当前工程中的状态：未安装、已安装最新版本、可升级到最新版本。开始更新：自动将产品集中所有可升级的模块进行升级。升级成功后，当前工程目录下的 mpaas_sdk.config 文件也会同步更新产品集及各模块的版本信息。升级...
运维中心入门
背景信息 DataWorks运维中心支持对周期任务、手动任务、实时同步任务等多种类型任务进行运维管理，并针对任务本身及任务执行使用的资源等各类对象提供多种监控方式，方便您根据监控报警及时发现并处理异常，保障数据生产的高效与稳定。...
全增量实时同步至Hologres
步骤八：资源组配置 运行当前同步解决方案将产生多个离线同步子任务和一个实时同步子任务，您可以单击界面右上方的 资源组配置，查看并切换当前的任务所使用的离线同步资源组和实时同步资源组。说明 离线和实时同步任务推荐使用不同的资源...
基本概念
调度资源组 调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。工作流定义 工作流定义是对一系列按照特定逻辑进行编排的任务及其执行顺序的描述。它包括分配给各个任务的调度节点和制定的调度...
创建标注任务
人员配置 根据选择的 任务流程，配置标注人员/组、检查人员/组、验收人员/组或任务管理员/组。您可以与该工作空间下的多个成员协作完成标注任务。iTAG 中的角色权限，请参见 概述。配置完成后，单击 创建。查看任务列表 创建完成打标、检查...
管理线下IDC的数据接入任务
您可以通过创建线下IDC（Internet Data Center）的数据接入任务，将监控数据接入云监控。监控数据接入云监控后，您可以创建监控大盘，通过监控大盘查看指定监控指标的监控图表。前提条件 请确保云监控与线下IDC，以及线下IDC中间件所在主机...
Data Lake Analytics节点
重要 Data Lake Analytics节点仅支持使用独享调度资源组执行任务，详情请参见 新增和使用独享调度资源组。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作...
智能外呼机器人的审计事件
createJobGroupExportTask 创建外呼作业组导出任务。CreateNumberDistrictInfoDownloadUrl 号码归属地信息下载地址。CreateNumberDistrictInfoParsingTask 创建号码归属地信息解析任务。CreateNumberDistrictInfoUploadParams 查询号码库...
ack-ai-dev-console
安装后，算法工程师和数据科学家可通过简单的Web界面完成训练任务快速提交、任务生命周期管理等操作。本文介绍ack-ai-dev-console组件的基础信息、使用说明和变更记录。组件介绍 安装配置ack-ai-dev-console组件后，您可以使用云原生AI套件...
快速提交单机PyTorch迁移学习任务
参数 描述 资源组 选择 公共资源组。任务名称 填写任务名称，例如 torch-sample。任务类型 选择 Pytorch。执行命令 填写如下命令，其中包括了下载数据、下载代码、执行训练任务及检查模型的步骤。wget ...
通过DataWorks将RDS SQL Server数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入Elasticsearch。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线...
DMS调度Spark
其他操作 您可在任务执行完成后，单击页面右上方的 前往运维，进入运维中心查看任务流的详细信息（包含 创建时间、创建人 或 责任人、是否发布 等信息）以及任务的 执行状态（成功、失败、执行中）、起止时间，同时您也可以在该页面进行...
滚动升级
通过弹性伸缩的滚动升级功能，您可以为伸缩组内处于服务中状态的ECS实例或ECI实例批量更新镜像、执行脚本或者安装OOS软件包。前提条件 如果您需要为伸缩组内ECS实例或ECI实例更新镜像，已准备更新用的镜像。如果您需要为伸缩组内ECS实例或...
创建并配置发布环境
在映射数据集成资源组时，您需要保证目标数据集成资源组的白名单、网络连通性等配置与原数据集成资源组一致，否则可能会影响数据集成任务的正常运行。数据集成资源组的网络连通配置，详情请参见 配置资源组与网络连通。参数 描述 原工作...
通过DataWorks将Hadoop数据同步到阿里云ES
步骤三：配置并运行离线数据同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
通过DataWorks将HBase数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
Hive数据导入
Job型资源组 指定任务运行的Job型资源组。所需ACU数 指定任务运行的Job型资源组ACU数。最小ACU数为4，最大ACU数为Job型资源组可用计算最大资源数。建议多指定一些ACU数，可以提升数据迁移性能及任务稳定性。并行任务数 默认并行任务数为1，...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
使用阿里云CLI执行滚动升级任务
步骤三：通过阿里云CLI执行滚动升级任务 本步骤提供示例命令，演示更新伸缩组内ECS实例的镜像、在ECS实例中执行脚本以及为ECS实例安装OOS软件包。输入阿里云CLI命令执行滚动升级任务。示例代码中涉及的OOS模板参数说明，请参见 模板参数...
查看并管理手动实例
租户默认资源组：不归属任何项目，一个租户只有一个默认资源组，任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时，会使用租户默认资源组来调度，仅针对独享资源任务（除SQL任务、Virtual任务等）。共享调度资源池：SQL...
离线同步常见问题
说明 由于离线同步任务通过调度资源组下发到数据集成执行资源组上执行，所以一个离线同步任务将同时耗费一个调度资源，若离线同步任务长时间运行未释放资源，除了阻塞其他离线任务运行外，可能还将阻塞其他类型的调度任务运行。如何处理...
任务管理
任务是指在DMS发起的变更SQL任务，例如普通数据变更、结构设计、库表同步等，但不包含在SQL窗口中直接执行的SQL。本文为您介绍了如何新建或管理SQL任务。前提条件 您的用户角色为管理员或DBA，关于用户角色信息，请参见 系统角色。操作步骤...
创建手动任务
您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时...
通过DataWorks将MySQL数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
流水线任务 jobs
流水线任务jobs：流水线任务 job 可以为多个步骤 steps 的组合（多个步骤共享工作空间，共同完成指定任务），或一个组件 component 的调用（调用组件执行指定任务，组件任务支持重试、跳过等更多操作）。示例 以下为一个任务添加多个步骤的...
通过DataWorks将MaxCompute数据同步到阿里云ES
步骤四：配置并运行数据同步任务 数据同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入Elasticsearch。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务...
配置任务调度
本文以配置任务write_result的调度周期为周调度为例，为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...
实时同步任务运行与管理
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
管理工作流定义
工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。本文为您介绍如何创建工作流及工作流定义的相关操作。前提条件 已新建项目，详情请参见 管理项目。创建工作流 进入项目管理页面。使用阿里云账号...
创建同步计划
添加完源端和目的端数据源，您就可以创建同步计划进行数据同步任务。本文介绍创建同步计划的操作步骤。前提条件 已开通阿里云 云备份 服务。开通 云备份 不收取任何费用，数据同步功能公测中，不收取任何费用。执行数据同步任务的机器已...
报表中心
任务周期 订阅任务的邮件发送周期，取值：每天（日报）每周（周报）每月（月报）每年（年报）发送时间 根据设置的任务周期，设置邮件发送的具体时间。单击 保存。成功添加订阅任务后，如果您需要编辑或删除订阅任务，您可以在 管理订阅任务...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
DataWorks的审计事件
ListCurrentTasksForResourceGroup 查询当前资源组运行或等待运行任务列表。ListCurrentUsageForResourceGroup 查询当前资源组使用率。ListDags 查询Dag列表。ListDataApiAuthInfo 列出数据服务API权限信息。ListDataServiceApiAuthorities...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下：...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
查看并管理脚本实例
租户默认资源组：不归属任何项目，一个租户只有一个默认资源组，任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时，会使用租户默认资源组来调度，仅针对独享资源任务（除SQL任务、Virtual任务等）。共享调度资源池：SQL...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
在PyODPS节点中调用第三方包
DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务代码时引用，如果需要在MaxCompute的Python UDF中引用Python第三方包，详情请参见 UDF示例：Python UDF使用第三方包。如果您的PyODPS任务需要...
- 产品推荐
- 这些文档可能帮助您