对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
登录数据库
云原生数据仓库AnalyticDB MySQL版 集群支持通过DMS进行一站式数据...后续步骤 通过DMS（新版）控制台成功登录 AnalyticDB MySQL 集群后，您就可以管理集群的数据资产或进行任务开发与调度操作，详情请参见 数据资产管理 和 任务开发与调度。
使用场景
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
产品架构
数据管理DMS的产品架构分为三层：数据源、数据运营与管理和商业应用。数据源 关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。...
如何管理应用级别的资源和任务优先级
SchedulerX提供了资源管理和任务优先级的功能。资源管理 资源管理即管理应用的任务实例数量，例如在创建应用时，为该应用打开了流控开关，并将任务实例并发数设置为1。再在该应用下创建3个任务，A、B和C，每个任务运行一次，则任务A运行中...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
离线同步任务运维
为确保任务运行无误，当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心管理离线同步任务、监控任务运行状态、修改同步资源组和查看任务运行日志等。本文列举离线同步任务的常见运维操作。前提条件 已完成离线同步...
DataWorks on EMR数据安全方案
数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
功能特性
查看集群列表与详情 登录集群 通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。登录集群 集群类型 阿里云EMR提供多种集群类型，包括DataLake、OLAP、DataFlow、DataServing等，旨在为大数据处理和...
治理项管理流程
治理项管理包括元数据注册、治理项管理、推送管理和任务管理。治理项管理帮助您管理自定义治理项以及系统内置的通用治理项。Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范...任务管理：管理治理项任务和推送任务。
治理项管理流程
治理项管理包括元数据注册、治理项管理、推送管理和任务管理。治理项管理帮助您管理自定义治理项以及系统内置的通用治理项。Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范...任务管理：管理治理项任务和推送任务。
任务管理
任务管理帮助您管理数据资产治理中的治理项类型任务和推送类型任务。本文为您介绍如何查看任务详情、重跑任务、查看日志。推送类型 和 治理项类型 的任务管理功能模块是相似的，本章节以 治理项类型 为例进行介绍。进入任务管理页面 在...
任务管理
任务管理帮助您管理数据资产治理中的治理项类型任务和推送类型任务。本文为您介绍如何查看任务详情、重跑任务、查看日志。推送类型 和 治理项类型 的任务管理功能模块是相似的，本章节以 治理项类型 为例进行介绍。进入任务管理页面 在...
创建安全规则
安全规则是通过一组领域专用语言DSL（Domain Specific Language）对数据库实现精细化管控的规则集合，您在使用DMS的查询、导出、变更等功能时，可以通过安全规则管控这些功能行为，从而在平台内制定和打造数据库的操作规范和研发流程。...
功能特性
支持任务调度的管理和监控 可设置任务的调度策略，包括定时调度、触发条件调度等，保证准时执行任务。支持任务之间的依赖关系配置 可以设置任务的前置依赖和后置依赖，确保任务按照正确的顺序执行。支持任务参数的灵活配置 用户可以根据...
任务中心
任务中心对数据资源平台中的数据同步、数据开发、标签加工等任务和实例进行运维管理。数据资源平台各模块发起的任务，如数据同步、数据开发、标签加工等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务流程，任务流中...
概述
任务中心对 数据资源平台 中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。数据资源平台 各模块发起的任务，如数据同步、数据开发、标签加工 等，都会发到对应的任务流，不同的任务来源通过业务类型区分。根据业务...
查看并管理定时调度补数据任务
定时调度补数据任务页面介绍 定时调度补数据任务页面主要由筛选和功能区、补数据任务列表、批量操作区组成。您可以在定时调度补数据任务页面对创建的定时调度补数据任务进行相关的运维操作。区域 描述 ① 筛选和功能区 筛选和功能区支持...
任务中心
和离线任务有所不同的是实时模型只有常驻任务没有周期性任务，也就是说只要任务处于调度中时，模型有实时数据进来就会自动进行执行。资源组管理 资源组管理主要是对实时模型依赖的计算引擎及最大任务数进行配置，上线的资源组可在添加实时...
DataWorks V3.0
图计算服务：图计算服务（Graph Compute，简称GCS）是新一代一站式图数据管理和分析平台，具有数据加载快、规模可扩展、查询延时低（毫秒级）、离线在线混合引擎和共享存储等优势。DataWorks V3.0全新推出图计算开发平台Graph Studio，为图...
调度DLA Presto任务
您可以在数据管理DMS中创建和调度DLA任务流实现数仓开发，任务流只需定义一次，即可周期性地自动被调度执行，大大减少人工操作成本。同时执行DLA任务流时产生的中间结果可以被复用，例如用于其他数据分析任务，从而最大化利用DLA的资源。...
概述
任务中心对 企业数据智能平台 中的数据同步、数据开发、标签同步、质量评估等任务和实例进行运维管理。企业数据智能平台 各模块发起的任务，如数据同步、数据开发、标签加工 等，都会发到对应的任务流，不同的任务来源通过业务类型区分。...
权限管控与隔离
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
权限管控与隔离
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
什么是Dataphin
超级管理员需要通过管理中心来进行成员管理和计算设置，同时您也可以通过智能引擎来配置计算和存储规则，以提高数据构建的效率。管理中心 全局规划 基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您...
数据校验计费方式
本文介绍DTS数据校验任务的计费方式和计费标准。计费方式 全量数据校验任务当前仅支持按量付费（后付费）的计费方式。说明 按表行数进行校验 的校验模式不收费，按抽样比例进行HASH校验 的校验模式收费。更多信息，请参见下方计费标准的 全...
OpenEvent概述
完成申请单事件：例如在数据地图中，当访问账号为管理员时，在 权限管理页面 单击 待我审批 选项卡，审批所有项目下的表、资源和函数的权限。表权限申请事件：例如用户根据需求申请特定表的读取、写入、修改等权限。数据质量 数据质量校验...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
Flink_SQL任务开发方式
原生DDL+DML开发方式 原生DDL开发是指在Flink_SQL任务使用Flink SQL语句直接创建和管理数据表的开发方式。如使用 CREATE TABLE/CREATE TEMPORARY TABLE 创建表。这种开发方式通过代码定义表结构并通过SQL语句来创建和管理表。重要 原生DDL+...
任务编排
应用场景 DMS 的任务编排功能提供了强大的自动化编排和调度能力，满足数据同步、数据归档、数据备份、数据分析、数据挖掘等需求，可帮助企业实现数据管理的自动化和标准化，提高数据管理的效率与质量。DTS数据迁移节点可用于跨库、单个表或...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
Flink_SQL任务开发方式
原生DDL+DML开发方式 原生DDL开发是指在Flink_SQL任务使用Flink SQL语句直接创建和管理数据表的开发方式。如使用 CREATE TABLE/CREATE TEMPORARY TABLE 创建表。这种开发方式通过代码定义表结构并通过SQL语句来创建和管理表。重要 原生DDL+...
数据同步
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
什么是EMR Workflow
无缝对接EMR资源集群和各种大数据计算存储引擎，例如Hive、Spark和Flink等。提供与Apache DolphinScheduler兼容的接口和使用体验，支持开源DolphinScheduler和EMR旧版数据开发作业的一键迁移。产品功能 EMR Workflow具有如下功能：支持多种...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
客户案例
客户需求 如架构图所示，MaxCompute和EMR不同引擎用于不同的业务场景，使用阿里云数据湖构建DLF统一做元数据管理和统一用户权限管理。通过DataWorks进行全链路数据治理，提升数据质量与应用能力。价值体现 将EMR的元数据统一到DLF，底层...
补数据实例运维概述
已生成实例：立即执行的补数据任务和待生成实例所生成的可运行实例。更多信息，请参见 补数据实例运维概述。补数据实例关系 不同补数据操作将会生成不同的补数据实例。补数据操作与补数据实例关系如下：单次立即运行补数据任务：将立即生成...
- 产品推荐
- 这些文档可能帮助您