需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
数据查询与分析管控
背景信息 数据查询与分析管控支持对数据源查询和查询结果可执行的展示、复制、下载、分享等操作进行权限管控，具体如下：数据源查询权限管控 用于对数据源的查询权限进行管控。DataWorks的数据源分为绑定引擎时默认创建的引擎数据源，及在...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
空间管理
数据与日志比 以饼图形式展示用户RDS实例数据空间和日志空间对比，如果日志空间占比过高，可能需要在控制台收缩日志或者 打开30分钟日志备份功能。TOP 5 DB空间 以横向柱形图形式展示用户RDS实例空间使用率TOP 5的数据库空间详情，包括：总...
应用场景
敏感数据识别与打标 DSC 能从海量数据中发现和锁定保护对象，精准区分敏感数据与非敏感数据。通过内置算法规则和自定义敏感数据识别规则，对其存储的数据库类型数据以及非数据库类型文件进行整体扫描、分类、分级，并根据结果做进一步的...
空间管理
数据与日志比 以饼图形式展示实例数据空间和日志空间对比，如果日志空间占比过高，可能需要在控制台收缩日志或者 快打开30分钟日志备份功能。TOP 5 DB空间 以横向柱形图形式展示实例空间使用率TOP 5的数据库空间详情，包括：总空间（单位：...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
数据上传
说明 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。预览数据并设置目标表字段（上传数据至新建表）可通过 ...
管理数据库（仅 MySQL）
背景信息 您可以通过登录数据库进行数据库对象管理、数据导入导出、SQL 编辑与执行、PL 编译与调试、数据与结构处理、执行分析、数据库运维等操作。更多信息请参见 开发者中心介绍。通过对数据库进行管理账号的操作，您可以根据业务需求...
ADAM概览
实时收集待迁移应用的数据库访问返回数据和性能数据，与原应用进行对比，保证迁移后的应用在功能和性能上可以与原应用一致。应用静态改造：通过静态SQL代码扫描方式，定位应用对数据库对象的访问点，自动识别应用中因为数据库迁移需要改变...
使用MaxCompute控制台（离线）
重要 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。查看上传记录 提交上传后，若数据量较大，需要耗费一些...
实验介绍
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
管理样本数据集
实例中不能存在与数据集同名的数据库 adb_sampledata_tpch，如果存在同名数据库，会导致数据集加载失败。数据集加载耗时约6~8分钟，数据集加载期间可能会影响实例的其它操作，例如新增节点、节点规格变配等。新建实例加载样本数据集 登录 ...
数据追踪
DMS 可追踪到的数据与目标数据库实例的Binlog保留时长有关，若该数据的保存时间超过Binlog的保留时长，则获取不到该部分数据。若数据库的Binlog未开启或数据库登录状态异常，系统将无法获取日志文件。数据追踪功能仅支持追踪DML数据变更的...
合规&认证
个人信息 甲乙双方均应严格遵守网络安全与数据保护相关法律法规的要求，其中，用户使用瓴羊服务收集、储存、处理、使用的个人信息和实施与这些数据有关的活动，须遵循合法、正当、必要原则，且应当遵守相关法律法规、瓴羊产品服务协议和瓴...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
创建AnalyticDB for MySQL3.0数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力，您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源，或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...
数据集成概述
您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源...
快速体验
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
采集数据
新建两个离线同步节点 ods_raw_log_d、ods_user_info_d，用于后续同步MySQL用户数据与OSS网站访问日志数据，再新建虚拟节点 WorkShop_Start 统一管理该业务流程。本阶段仅涉及数据采集业务流程，不涉及具体同步任务配置。1、新建业务流程 ...
什么是MaxCompute
提供持续的SaaS化云上数据保护 为云上企业提供基础设施、数据中心、网络、供电、平台安全能力、用户权限管理、隐私保护等保三级超20项安全功能，兼具开源大数据与托管数据库的安全能力。产品架构 MaxCompute的产品架构如下。其中核心模块...
OSS数据安全防护最佳实践
应用场景 敏感数据识别 云端OSS中存储了大量的数据与文件，但无法准确获知这些OSS数据中是否包含敏感信息以及敏感数据所在的位置。您可以使用 DSC 内置算法规则，或根据其行业特点自定义规则，对其存储在OSS中的数据进行整体扫描、分类、...
恢复Oracle逻辑备份
本文介绍如何通过 数据库备份DBS 恢复已完成逻辑备份的Oracle数据库，可用于误操作后恢复以及分析历史数据等场景。前提条件 已完成数据库备份。相关操作，请参见 Oracle逻辑备份。操作步骤 登录 DBS控制台。单击左侧导航栏中的 备份计划，...
数据归档至DBS内置OSS
说明 数据归档功能将以0时区进行数据归档与后置行为（与数据库实际时区无关）。可选：查看已归档数据。在DBS中将备份集创建数据湖。更多信息，请参见 创建数据湖。可选：将数据湖录入至DMS实例中。您可以在SQL窗口中进行数据查询，在任务...
数据归档至用户OSS
校验：归档数据与原库数据进行比对，展示差异信息与归档信息。校验时间随数据量增长。运行方式 选择运行方式，当前支持：单次执行：工单审核通过后，仅单次运行归档任务。周期调度：工单审核通过后，可根据部署的周期调度执行归档任务。...
恢复MongoDB数据库
本文介绍如何通过 数据库备份DBS 恢复已完成备份的MongoDB数据库，可用于误操作后恢复以及分析历史数据等场景。前提条件 已完成数据库备份。相关操作，请参见 MongoDB逻辑备份、从备库备份MongoDB数据库。操作步骤 登录 DBS控制台。单击...
通过脚本模式配置离线同步任务
部分数据与支持分布式模式执行任务，详情请参见具体插件配置文档。concurrent（任务期望最大并发数）用于定义当前任务从源端并行读取或并行写入目标端的最大线程数。说明 由于资源规格等原因，实际执行时并发数可能小于等于此处配置的并发...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
采集数据
新建两个离线同步节点 ods_raw_log_d、ods_user_info_d，用于后续同步MySQL用户数据与OSS网站访问日志数据，再新建虚拟节点 WorkShop_Start 统一管理该业务流程。本阶段仅涉及数据采集业务流程，不涉及具体同步任务配置。1、新建业务流程 ...
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
PostgreSQL逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
概述
在需要将部分数据与第三方分享时，用户希望在不泄漏自身密钥的前提下完成加密数据的分享，同时满足合规要求。注意事项 加密规则在主地址上不生效，您需要使用集群地址或自定义集群地址。当前只支持普通的 COM_QUERY ，不支持 ...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
创建ClickHouse数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力，您可将其他数据源的数据同步至当前ClickHouse数据源，或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。增...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下：...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
- 产品推荐
- 这些文档可能帮助您