什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
查看计量大屏
进入计量大屏页面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。单击页面上方的 服务管理，默认进入 API管理 页面。在左侧导航栏，单击 API计量>计量大屏，进入...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
产品系列概述
大中型企业的生产数据库。互联网、物联网、零售电商、物流、游戏等行业的数据库。集群系列 一主多备的高可用架构，支持自动故障切换。备节点可访问，提升读能力。可增加更多备节点进一步扩展读能力。大中型企业的生产数据库。互联网新零售...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
步骤七：故障切换
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
步骤七：故障切换
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
通用参考：切换资源组
数据集成切换资源组 资源组创建并配置完成后，您可以通过如下方式切换数据集成使用的资源组。数据集成页面 进入数据集成页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入...
无锁结构变更
OceanBase Oracle 模式版本小于 4.0.0 或 OceanBase MySQL 模式版本小于 4.3.0，ODC 通过锁定用户且关闭会话的方式避免表名切换过程中数据的写入。无锁结构变更期间，发起其它关于该表的 DDL 变更将导致任务失败。原理介绍 创建临时表。...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
DataWorks on EMR Serverless StarRocks最佳实践
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建离线同步节点，设置数据来源为MySQL，数据去向为StarRocks数据源。选择资源组后，并分别测试与...
Tab列表（v3.0及以上版本）
数据面板（默认模式）说明 组件数据面板默认是 默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成...
步骤七：故障切换
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
步骤七：故障切换
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
切换主可用区
如果您需要针对高可用场景进行演练，可以在 OceanBase 管理控制台中手动切换主可用区，一般情况下不建议手动切换。注意事项 为保障访问主可用区的性能，在故障切换演练完成后，请确保主可用区和主地址代理在相同的可用区。操作步骤 登录 ...
概述
全局预热系统是热备切换中最核心的模块，主要负责实时同步主节点的元信息，将一些关键数据提前加载进内存，来提升未来潜在的升主切换速度。全局预热系统包含四个模块：Buffer Pool、Undo、Redo和Binlog。Buffer Pool Buffer Pool预热模块会...
变更配置
可维护时间内进行切换：在变更配置生效期间，可能会出现一次约30秒的闪断，而且与数据库、账号、网络等相关的大部分操作都无法执行，因此您可以选择在可维护时间段内执行切换的操作。说明 若您要修改可维护时间，执行如下操作：单击 修改。...
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
通用数据查询与管理
进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。查找表 您可以在数据地图中快速查找支持的各类引擎的表，并可在表详情页面查看表的字段、血缘等详情，并可...
数据分析概述
进入数据分析 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析>SQL查询，在下拉框中选择对应工作空间后单击 进入SQL查询。进入 数据分析 首页，页面包含以下两个区域：快捷入口：在 快捷入口 区域，单击对应图标进入 ...
资源组编排
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入资源组编排页面。在数据开发页面，鼠标悬停至目标业务流程，单击业务流程后的 图标，进入该业务...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
上传数据
说明 如果对话框中没有遥感影像源数据，请先切换到 我的数据 页面的 栅格 页签中，上传遥感影像（Tiff）文件数据，详情请参见 上传遥感影像数据。在 遥感影像识别 对话框中，您可以查看识别文件的 文件名称、文件大小 和 像素大小。说明 ...
MaxCompute资源管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。展开左侧导航栏中的 MaxCompute，单击 MaxCompute资源。序号 图标 说明 ① MaxCompute资源默认显示 ...
上传数据
说明 如果对话框中没有遥感影像源数据，请先切换到 我的数据 页面的 栅格 页签中，上传遥感影像（Tiff）文件数据，详情请参见 上传遥感影像数据。在 遥感影像识别 对话框中，您可以查看识别文件的 文件名称、文件大小 和 像素大小。说明 ...
实时同步任务延迟解决方案
您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，如果有个别Reader现场总字节数明显大于其他Reader线程，可以判断存在数据倾斜情况。但由于总字节数包括任务从上次指定位点启动开始的数据量，如果...
标准代码
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。进入 标准代码。在 智能数据建模 页面的顶部菜单栏，单击 数据标准，进入 数据标准 页面。在 数据...
混合云应用双活容灾最佳实践
容灾切换数据质量保障难 容灾切换过程中，可能因数据同步延迟导致读到旧数据，以及切换规则推送到分布式应用节点时间不一致等原因可能造成云上云下数据库同时读写而出现脏写的问题，整个切换过程数据质量保障是关键点及难点。无业务代码...
轮播页面
数据面板（默认模式）说明 组件数据面板默认是 默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成...
- 产品推荐
- 这些文档可能帮助您