运维中心入门
步骤八：创建资源组自动运维规则 如果您使用的是独享资源组运行任务，则可根据业务需求创建独享资源组的自动运维规则，对资源组的使用率及资源组上等待的实例数设置监控报警并进行相关运维操作。自动运维功能是通过关联独享资源组的监控...
智能外呼机器人的审计事件
createJobGroupExportTask 创建外呼作业组导出任务。CreateNumberDistrictInfoDownloadUrl 号码归属地信息下载地址。CreateNumberDistrictInfoParsingTask 创建号码归属地信息解析任务。CreateNumberDistrictInfoUploadParams 查询号码库...
通过DataWorks将Hadoop数据同步到阿里云ES
步骤三：配置并运行离线数据同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
通过DataWorks将RDS SQL Server数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入Elasticsearch。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线...
通过DataWorks将HBase数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
Hive数据导入
Job型资源组 指定任务运行的Job型资源组。所需ACU数 指定任务运行的Job型资源组ACU数。最小ACU数为4，最大ACU数为Job型资源组可用计算最大资源数。建议多指定一些ACU数，可以提升数据迁移性能及任务稳定性。并行任务数 默认并行任务数为1，...
MySQL整库实时同步至MaxCompute
步骤八：资源组配置 运行当前同步任务将产生多个离线同步子任务和一个实时同步子任务，您可以单击界面右上方的 资源组配置，查看并切换当前的任务所使用的离线同步资源组和实时同步资源组。说明 离线和实时同步任务推荐使用不同的资源组，...
创建并配置发布环境
在映射数据集成资源组时，您需要保证目标数据集成资源组的白名单、网络连通性等配置与原数据集成资源组一致，否则可能会影响数据集成任务的正常运行。数据集成资源组的网络连通配置，详情请参见 配置资源组与网络连通。参数 描述 原工作...
DMS调度Spark
其他操作 您可在任务执行完成后，单击页面右上方的 前往运维，进入运维中心查看任务流的详细信息（包含 创建时间、创建人 或 责任人、是否发布 等信息）以及任务的 执行状态（成功、失败、执行中）、起止时间，同时您也可以在该页面进行...
通过DataWorks将MySQL数据同步到阿里云ES
步骤四：配置并运行数据离线同步任务 数据离线同步任务将独享资源组作为一个可以执行任务的资源，独享资源组将获取数据集成服务中数据源的数据，并将数据写入ES。说明 有两种方式可以配置离线同步任务，文本以向导模式配置离线同步任务为例...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
流水线任务 jobs
流水线任务jobs：流水线任务 job 可以为多个步骤 steps 的组合（多个步骤共享工作空间，共同完成指定任务），或一个组件 component 的调用（调用组件执行指定任务，组件任务支持重试、跳过等更多操作）。示例 以下为一个任务添加多个步骤的...
创建手动任务
您可以在DataWorks的数据开发（DataStudio）模块创建手动任务，并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务，并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎，您可选择 新建临时...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
查看并管理手动实例
租户默认资源组：不归属任何项目，一个租户只有一个默认资源组，任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时，会使用租户默认资源组来调度，仅针对独享资源任务（除SQL任务、Virtual任务等）。共享调度资源池：SQL...
报表中心
任务周期 订阅任务的邮件发送周期，取值：每天（日报）每周（周报）每月（月报）每年（年报）发送时间 根据设置的任务周期，设置邮件发送的具体时间。单击 保存。成功添加订阅任务后，如果您需要编辑或删除订阅任务，您可以在 管理订阅任务...
实时同步任务运行与管理
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
DataWorks的审计事件
ListCurrentTasksForResourceGroup 查询当前资源组运行或等待运行任务列表。ListCurrentUsageForResourceGroup 查询当前资源组使用率。ListDags 查询Dag列表。ListDataApiAuthInfo 列出数据服务API权限信息。ListDataServiceApiAuthorities...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
功能特性
管理工作空间 调度资源组管理 调度资源组用于任务的调度运行。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。管理调度资源组 项目管理 在项目中您可以进行任务的编辑和工作流的调度。创建项目...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
查看并管理脚本实例
租户默认资源组：不归属任何项目，一个租户只有一个默认资源组，任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时，会使用租户默认资源组来调度，仅针对独享资源任务（除SQL任务、Virtual任务等）。共享调度资源池：SQL...
开发和管理自定义组件
步骤二：安装依赖 解压下载的zip包，进入工程根目录，执行 npm install 命令安装依赖。步骤三：启动本地应用 执行 npm start 命令启动本地应用。步骤四：调试自定义组件 在应用开发过程中，您无需上传本地组件至平台，即可在任意页面设计器...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
智能媒体生产的审计事件
AddEditingProjectMaterials 增加剪辑工程关联素材。AddFavoritePublicMedia 收藏公共版权媒资。AddFilterConfigs 添加过滤条件。AddLicense 新增License。AddSaasCategory 创建分类。AddStorage 添加存储地址。AddTemplate 创建模板。...
开发和管理自定义页面
步骤七：上传zip包文件到自定义页面（新增自定义页面）登录BizWorks，在 选择平台 下拉列表中选中 轻应用组装平台。单击页面右上角 图标或其文本框区域，在下拉列表中单击目标项目名称后，单击 应用 页签。在应用列表页面单击目标轻应用...
智能媒体服务的审计事件
AddEditingProjectMaterials 增加剪辑工程关联素材。AddFavoritePublicMedia 收藏公共版权媒资。AddFilterConfigs 添加过滤条件。AddLicense 新增License。AddMediaMarks 为媒资增加标注信息。AddOssCorsRule 添加OSS跨域配置。...
新建离线模型
您可以在画布中通过鼠标的拖拽和条件设定，组装、编排业务需求的业务模型。本文介绍如何新建离线模型。前提条件 已存在离线模型所需数据，具体操作，请参见 通过选择已有表新建数据集、通过上传本地数据新建数据集。已新建离线模型所需的...
快速入门
任务调度产品支持多种任务类型，包括简单任务、集群任务，您可以根据业务的需求，选择其一实现业务。本文以简单任务为例，介绍如何快速完成一个简单任务的本地开发以及控制台任务配置等。说明 若您需要任务调度工程示例代码，请下载 示例...
功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
数据开发
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键部署和上线能力，极大的提高了工程效率。节点模式 节点模式...
功能发布记录
优化组件属性说明，优化按钮组、表单类组件及树形控件设置。页面框架：支持配置多页签模式，同一Tab页中运行中的应用内部可同时打开多个菜单项，并支持页签间的切换。可视化编排服务方法 可视化编排页面 配置页面导航和框架 优化运营平台 ...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
云防火墙的审计事件
AddStrategyGroupCheckTask 添加策略组检查任务。AddStrategyGroupSyncTask 添加策略组同步任务。AddSurveyInfo 添加调研问卷内容。AddVulnCheckTask 添加漏洞检查任务。AdjustStrategyGroupRules 适配策略规则组规则。...
创建调度任务
选择 添加任务>简单任务，然后配置以下参数：参数 说明 任务名称 配置任务的名称，用于识别任务。应用名称 填写或选择目标应用名称。支持英文、中文、数字、下划线（_）、短划线（-），50 个字符之内。必须与工程中 application.properties...
身份管理
不要把RAM用户的AccessKey ID和AccessKey Secret保存在工程代码中，否则可能导致AK泄露，威胁您账号下所有资源的安全。建议您使用STS或环境变量等方式获取访问授权。满足条件时对RAM用户设置SSO单点登录功能，实现直接使用企业自有的身份...
- 产品推荐
- 这些文档可能帮助您