补数据实例运维概述
已生成实例：立即执行的补数据任务和待生成实例所生成的可运行实例。更多信息，请参见 补数据实例运维概述。补数据实例关系 不同补数据操作将会生成不同的补数据实例。补数据操作与补数据实例关系如下：单次立即运行补数据任务：将立即生成...
补数据实例运维概述
已生成实例：立即执行的补数据任务和待生成实例所生成的可运行实例。更多信息，请参见 补数据实例运维概述。补数据实例关系 不同补数据操作将会生成不同的补数据实例。补数据操作与补数据实例关系如下：单次立即运行补数据任务：将立即生成...
DataWorks数据集成
说明 具体操作步骤请参考DataWorks 通过脚本模式配置离线同步任务 数据导出 数据导出的步骤和数据导入的步骤一样，区别是在数据导出中，数据源配置需要配置为 AnalyticDB PostgreSQL版（参见 配置AnalyticDB for PostgreSQL数据源），而...
EMR Studio概述
能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
API概览
Key分析 API 标题 API概述 DescribeHotBigKeys 实时获取当前热Key和大Key 调用DescribeHotBigKeys接口，实时获取当前内存中的热Key和大Key。DescribeTopHotKeys 获取排名前100的热Key 调用DescribeTopHotKeys接口，获取一段时间内排名前100...
管理导入任务
该功能适用于以下场景：查看某一个导入任务的数据导入情况，包括已导入的数据条数和数据大小等信息。查看某一个导入失败任务的错误情况，以及原因分析。如果表数据出现错误或延迟，需要从导入任务做排查，以看到任务是否正在在运行，是否...
功能简介
通过数据同步的自定义同步任务配置能力，可实现快速创建周期数据同步任务和实时同步任务。用户可选择已经注册的数据源端数据，并选定目标端创建同步任务。系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块...
数据同步
通过数据同步的自定义同步任务配置能力，可实现快速创建周期数据同步任务和实时同步任务。用户可选择已经注册的数据源端数据，并选定目标端创建同步任务。系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块...
功能简介
通过数据同步的自定义同步任务配置能力，可实现快速创建周期数据同步任务和实时同步任务。用户可选择已经注册的数据源端数据，并选定目标端创建同步任务。系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块...
查看并管理定时调度补数据任务
定时调度补数据任务页面介绍 定时调度补数据任务页面主要由筛选和功能区、补数据任务列表、批量操作区组成。您可以在定时调度补数据任务页面对创建的定时调度补数据任务进行相关的运维操作。区域 描述 ① 筛选和功能区 筛选和功能区支持...
资源组操作及网络连通
如何切换任务在调度系统中执行所用的资源组 在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组：在数据开发界面走发布流程修改生产环境任务执行使用的资源组。说明 以下方式修改资源组请记得发布，标准模式下提交操作...
迁移或同步指定时间段内的数据
一键迁移 您可以在一键迁移中同时配置历史迁移任务和实时数据同步任务。在LTS控制台的左侧导航栏，选择 Lindorm/HBase迁移>一键迁移。单击 创建任务。按需填写并勾选相关参数和操作：源集群、目标集群、表结构迁移、实时数据复制、历史数据...
数仓开发任务流
每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓开发任务流 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 ...
DataWorks数据安全治理路线
DataWorks基于数据安全治理的常见思路，针对资产梳理、技术体系建设和运营体系建设，提供了一系列数据安全产品能力，您可通过“基础防护建设、数据安全防护措施及策略增强建设、数据安全持续运营”三个阶段在DataWorks上落地数据安全治理...
创建CDH Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
什么是Dataphin
资产质量 资源治理 资源治理具备资源统计分析能力，可智能识别当前系统内低价值的数据资产和数据任务，并进行优化提示。您可以在治理工作台中，一站式的进行资源的优化处理，全局把控计算与存储成本，提升系统使用效率。资源治理 资产安全 ...
专业版公测（2022年01月26日）
阿里巴巴分布式任务调度平台SchedulerX 2.0的专业版于2022年01月26正式公测，本次公测带来了全新的可视化功能，兼容开源XXL-JOB任务，支持一次性任务，融合大数据DataWorks任务。可视化 日志服务 在当前微服务和容器化越来越流行的情况下，...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
数据迁移操作指导
数据迁移可以帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文介绍数据迁移功能的使用流程，帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移...
等待资源
解决措施：检查日志（任务配置）中concurrent参数值，如果并发任务设置过大，需根据机器支持的最大并发数与当前同时消耗的并发数配置任务并发。如果单个任务并发设置超过了机器支持的最大并发数，请将这些并发任务全部停掉，修改任务并发数...
查看运维大屏
运维概览页面仅统计周期任务及周期实例的相关运维情况，不包括其它类型的任务和实例。进入运维大屏 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。查看运维概览 运维...
步骤七：运维补数据
集成任务和明细及汇总表的补数据操作相同，下文以客户表集成和 dim_products 逻辑表补数据为例。集成任务补数据 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择 产品表集成 进行补数据。在 补数据-补当前任务 对话框，...
步骤七：运维补数据
集成任务和明细及汇总表的补数据操作相同，下文以客户表集成和 dim_products 逻辑表补数据为例。集成任务补数据 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择 产品表集成 进行补数据。在 补数据-补当前任务 对话框，...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
常见报错
存储引擎检查失败 解决方法：该检查项主要检查源数据库中是否存在增量迁移不支持的存储引擎，目前MySQL到MySQL的增量数据迁移任务不支持FEDERATED和MRG_MyISAM存储引擎。如果检查失败，说明待迁移表的存储引擎为其中的一种，您可以根据下述...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
补数据
本文为您介绍补数据的相关问题。补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？...场景示例：对月调度任务进行补数据 任务调度周期定义：定时每月1号0点调度的任务，在补数据时，需要选择业务为上个月末。
如何重刷数据
说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度任务的数据出现偏差或遗漏，您可以通过重新设置执行参数并执行某个调度任务属性、获取数据。登录 分布式任务调度平台。在 任务管理 页面，单击目标...
如何重刷数据
说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度任务的数据出现偏差或遗漏，您可以通过重新设置执行参数并执行某个调度任务属性、获取数据。登录 分布式任务调度平台。在 任务管理 页面，单击目标...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
DataStudio侧实时同步任务配置
当不允许脏数据产生时，则同步任务执行过程中如果产生脏数据，任务将失败退出。当允许脏数据时：同步任务将忽略脏数据（即不会写入目标端），并正常执行。单击 完成配置。步骤四：提交并发布实时同步任务 单击工具栏中的 图标，保存节点。...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
数据湖管理FAQ
“Lakehouse”是基于数据湖的数仓，一种新的大数据范式，最根本出发点就是为了解决单纯Data Lake应用下的各种问题，例如不支持UPSERT，不支持多版本，不支持增量ETL，小文件太多，格式不是分析型的，元信息不统一，Schema没有约束，缺乏...
如何管理应用级别的资源和任务优先级
在该应用的任务管理页面依次在 中优先级任务、低优先级任务 和 高优先级任务 的 操作 列，单击 运行一次。观察执行结果。由于中优先级任务运行的时候，队列中是空的，所以中优先级直接被执行。中优先级任务执行完成后，高优先级任务会抢占...
- 产品推荐
- 这些文档可能帮助您