创建文件传输&CDN测速任务
ARMS云拨测文件传输&CDN测速任务通过模拟用户在不同环境下对资源的上传下载，对资源的可用性、性能及CDN加速效果进行监控分析，帮助您优化网络架构、调整服务部署，提升网络性能和用户体验。登录 ARMS控制台。在左侧导航栏中选择 云拨测>...
PAI产品购买指引
【预付费】前往 AI计算资源组（预付费）页面，提前购买通用训练资源或灵骏智算资源专有资源组，部署在专有资源组上的分布式训练任务，按照专有资源组购买时长收费，如何使用专有资源组提交训练任务，请参见 分布式训练（DLC）。说明 灵骏智...
调度资源组计费说明
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。EMR Workflow于2024年1月10日起启动商业化，支持购买付费调度资源...
公共数据集成（调试）资源组
本文为您介绍公共数据集成（调试）资源组相关问题。公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组支持哪些类型的任务？公共数据集成（调试）资源组支持哪些网络类型？公共数据集成（调试）资源组的性能限制 公共数据...
流式ETL
灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作。应用场景 多地域或异构数据实时集中：将多地域或者异构数据实时存储至同一数据库中，便于企业中心化高效管理及决策支持。...
滚动升级
与自动更新伸缩配置中镜像的区别 自动更新伸缩配置中的镜像：适用于频繁发布应用的场景，并且仅适用于ECS类型的伸缩组，您只需在弹性伸缩控制台创建更新任务，执行任务时系统会自动为原ECS实例创建自定义镜像，可以实现伸缩组中新创建的ECS...
什么是ETL
灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作。应用场景 多地域或异构数据实时集中：将多地域或者异构数据实时存储至同一数据库中，便于企业中心化高效管理及决策支持。...
创建网站测速任务
自定义监测点组：您可以将常用的监测点创建1个自定义监测点组管理起来，方便后续创建任务时快速选择。说明 IDC机房暂不支持监测IPV6类型的Web应用。选择监测点 选择需要监测的运营商，添加至右侧 已选择监测点 区域框中。说明 您可以将 已...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
全增量实时同步至Hologres
步骤八：资源组配置 运行当前同步解决方案将产生多个离线同步子任务和一个实时同步子任务，您可以单击界面右上方的 资源组配置，查看并切换当前的任务所使用的离线同步资源组和实时同步资源组。说明 离线和实时同步任务推荐使用不同的资源...
基本概念
调度资源组 调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。工作流定义 工作流定义是对一系列按照特定逻辑进行编排的任务及其执行顺序的描述。它包括分配给各个任务的调度节点和制定的调度...
创建标注任务
人员配置 根据选择的 任务流程，配置标注人员/组、检查人员/组、验收人员/组或任务管理员/组。您可以与该工作空间下的多个成员协作完成标注任务。iTAG 中的角色权限，请参见 概述。配置完成后，单击 创建。查看任务列表 创建完成打标、检查...
运维中心入门
背景信息 DataWorks运维中心支持对周期任务、手动任务、实时同步任务等多种类型任务进行运维管理，并针对任务本身及任务执行使用的资源等各类对象提供多种监控方式，方便您根据监控报警及时发现并处理异常，保障数据生产的高效与稳定。...
智能外呼机器人的审计事件
createJobGroupExportTask 创建外呼作业组导出任务。CreateNumberDistrictInfoDownloadUrl 号码归属地信息下载地址。CreateNumberDistrictInfoParsingTask 创建号码归属地信息解析任务。CreateNumberDistrictInfoUploadParams 查询号码库...
通过DataWorks将Hadoop数据同步到阿里云ES
步骤三：配置并运行离线数据同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
通过DataWorks将RDS SQL Server数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入Elasticsearch。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线...
通过DataWorks将HBase数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
Hive数据导入
Job型资源组 指定任务运行的Job型资源组。所需ACU数 指定任务运行的Job型资源组ACU数。最小ACU数为4，最大ACU数为Job型资源组可用计算最大资源数。建议多指定一些ACU数，可以提升数据迁移性能及任务稳定性。并行任务数 默认并行任务数为1，...
离线同步常见问题
说明 由于离线同步任务通过调度资源组下发到数据集成执行资源组上执行，所以一个离线同步任务将同时耗费一个调度资源，若离线同步任务长时间运行未释放资源，除了阻塞其他离线任务运行外，可能还将阻塞其他类型的调度任务运行。如何处理...
创建并配置发布环境
在映射数据集成资源组时，您需要保证目标数据集成资源组的白名单、网络连通性等配置与原数据集成资源组一致，否则可能会影响数据集成任务的正常运行。数据集成资源组的网络连通配置，详情请参见 配置资源组与网络连通。参数 描述 原工作...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
任务管理
任务是指在DMS发起的变更SQL任务，例如普通数据变更、结构设计、库表同步等，但不包含在SQL窗口中直接执行的SQL。本文为您介绍了如何新建或管理SQL任务。前提条件 您的用户角色为管理员或DBA，关于用户角色信息，请参见 系统角色。操作步骤...
通过DataWorks将MySQL数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
DMS调度Spark
其他操作 您可在任务执行完成后，单击页面右上方的 前往运维，进入运维中心查看任务流的详细信息（包含 创建时间、创建人 或 责任人、是否发布 等信息）以及任务的 执行状态（成功、失败、执行中）、起止时间，同时您也可以在该页面进行...
配置任务调度
本文以配置任务write_result的调度周期为周调度为例，为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
流水线任务 jobs
流水线任务jobs：流水线任务 job 可以为多个步骤 steps 的组合（多个步骤共享工作空间，共同完成指定任务），或一个组件 component 的调用（调用组件执行指定任务，组件任务支持重试、跳过等更多操作）。示例 以下为一个任务添加多个步骤的...
创建手动任务
您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时...
查看并管理手动实例
租户默认资源组：不归属任何项目，一个租户只有一个默认资源组，任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时，会使用租户默认资源组来调度，仅针对独享资源任务（除SQL任务、Virtual任务等）。共享调度资源池：SQL...
报表中心
任务周期 订阅任务的邮件发送周期，取值：每天（日报）每周（周报）每月（月报）每年（年报）发送时间 根据设置的任务周期，设置邮件发送的具体时间。单击 保存。成功添加订阅任务后，如果您需要编辑或删除订阅任务，您可以在 管理订阅任务...
实时同步任务运行与管理
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
管理工作流定义
工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。本文为您介绍如何创建工作流及工作流定义的相关操作。前提条件 已新建项目，详情请参见 管理项目。创建工作流 进入项目管理页面。使用阿里云账号...
DataWorks的审计事件
ListCurrentTasksForResourceGroup 查询当前资源组运行或等待运行任务列表。ListCurrentUsageForResourceGroup 查询当前资源组使用率。ListDags 查询Dag列表。ListDataApiAuthInfo 列出数据服务API权限信息。ListDataServiceApiAuthorities...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
查看并管理脚本实例
租户默认资源组：不归属任何项目，一个租户只有一个默认资源组，任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时，会使用租户默认资源组来调度，仅针对独享资源任务（除SQL任务、Virtual任务等）。共享调度资源池：SQL...
互联网金融
互联网金融方案 适合初创互联网金融公司快速搭建平台，满足在开业筹备期间快速完成各类监管验收所需系统搭建和业务功能。业务架构 架构说明：初创互金公司关键系统是风控系统和网申系统，阿里云上有大量的部署参考案例。通过合理的网络和...
产品优势
让您可以在同一DAG图中，构建异构计算引擎形成混编任务流（数据同步+SQL+MR+MaxCompute Spark+实时计算+ML），无需分别维护各技术栈，助您高效组合混编任务流。人效提升快 一键开通即可完成开箱即用的数仓技术架构搭建，告别繁重的自研、...
采集数据
您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击 批量测试连通性。详情请参见 配置资源组与网络连通。单击...
- 产品推荐
- 这些文档可能帮助您