需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
数据查询与分析管控
背景信息 数据查询与分析管控支持对数据源查询和查询结果可执行的展示、复制、下载、分享等操作进行权限管控，具体如下：数据源查询权限管控 用于对数据源的查询权限进行管控。DataWorks的数据源分为绑定引擎时默认创建的引擎数据源，及在...
关系数据库全量入湖
配置数据源与目标数据湖信息。详情请参考 入湖基础操作。配置任务信息。详情请参考 入湖基础操作。单击下一步查看入湖信息，单击 确认 创建。一库多表入湖 DLF支持关系数据库一库多表的入湖，目前需要在表路径中配置前缀匹配，例如test_db/...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
购买数据安全中心
支持选择以下版本：企业版：满足等保2.0关于数据审计与个人信息保护的要求，支持对云原生的数据类型（包括RDS、OSS、MaxCompute、ADB、OTS、OceanBase等）进行全面的安全审计，识别其中保存的敏感信息并进行分类分级，并支持数据泄漏告警，...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
新建AnalyticDB for MySQL 3.0数据源
背景信息 云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 云...
新建AnalyticDB for MySQL 3.0数据源
背景信息 云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 云...
合规&认证
个人信息 甲乙双方均应严格遵守网络安全与数据保护相关法律法规的要求，其中，用户使用瓴羊服务收集、储存、处理、使用的个人信息和实施与这些数据有关的活动，须遵循合法、正当、必要原则，且应当遵守相关法律法规、瓴羊产品服务协议和瓴...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
查看数据集
在 数据预览 页签，查看数据集的表数据信息。单击列名称后的 图标，可对数据集列值进行排序或者筛选。在 元数据 页签，查看数据集表字段信息。当需要查看最新的数据时，在临时查询SQL编辑框菜单栏，输入查询脚本，单击 图标，查看当前的表...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
数据传输与迁移概述
类型 典型场景 OSS数据与MaxCompute数据上传 LOAD命令。外部表，湖仓一体。Hologres数据写入MaxCompute MaxCompute直读Hologres数据。OTS/RDS（MySQL）/HBase/Lindorm/Hudi/HDFS/Hive等其它数据源写入MaxCompute 无。实时数据写入（数据...
备份恢复概览
在本地备份和异地备份区域中可以直接查看整体使用量的数据信息。在本地备份区域中，将鼠标指针置于数据备份使用量右侧的，可查看数据备份中物理备份和逻辑备份的使用量。将鼠标指针置于付费容量右侧的，可查看付费容量的详情。
交叉透视表
图表样式 交叉透视表是表格组件的一种，支持数据内容的自定义展示，能够将数据信息以表格的形式清晰地展示在可视化应用上。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速...
DataWorks模块使用说明
迁移助手 DataWorks迁移助手支持将开源调度引擎的作业迁移至DataWorks，支持作业跨云、跨Region、跨账号迁移，实现DataWorks作业快速克隆部署，同时DataWorks团队联合大数据专家服务团队，上线迁云服务，帮助您快速实现数据与任务的上云。...
容量中心
单击 详情 或者数据库名称，可进一步查看不同数据库的表数据信息分布详情。可查看每个表的 表名、行数、磁盘使用大小、数据大小、宏块使用率、分区数量 和 自增列使用率。查看集群容量信息。当选择所有租户时，不再显示数据库和数据表筛选...
交叉透视表
图表样式 交叉透视表是表格组件的一种，支持数据内容的自定义展示，能够将数据信息以表格的形式清晰地展示在可视化应用上。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
应用场景
数据库网关（DatabaseGateway，简称DG）具有广泛的应用场景，用户可以使用云服务访问并管理本地IDC或其他云厂商的数据库，同时也可以与其他阿里云服务集成提供丰富的解决方案。多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理...
应用场景
数据库网关（DatabaseGateway，简称DG）具有广泛的应用场景，用户可以使用云服务访问并管理本地IDC或其他云厂商的数据库，同时也可以与其他阿里云服务集成提供丰富的解决方案。多云数据库统一管理 数据管理 DMS 是一种集数据管理、结构管理...
DescribeColumns-查询数据资产表中列的数据
例如，输入 test，会搜索出搜索项中包含 test 的全部数据信息。test TableId long 否 MaxCompute、RDS 等资产表中的列所属的资产表唯一标识 ID。说明 根据资产表的 ID 查询数据安全中心连接授权的数据资产表中列的数据，资产表 ID 可调用 ...
功能概述
在需要将部分数据与第三方分享时，用户希望在不泄露自身密钥的前提下完成加密数据的分享，同时满足合规要求。例如：在联合风控、跨国服务等场景下，有严格的数据合规要求，组织间无法进行明文数据的合规化获取。在合作营销等场景下，存在...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
什么是备份数据量
存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小：数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（内置存储）。...
数据分析概述
本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比，在线数据分析的优势如下：海量：借助计算引擎的能力，可以高效分析全量、海量的数据。流动：在线数据分析可以从不同数据源获取数据进行查询和分析，...
流式气泡层（v1.x版本）
流式气泡层是基础平面地图的子组件，支持独立的样式和数据配置，包括气泡的大小、位置、颜色、动画效果以及经纬度等，能够以流式气泡的形式表现地理位置上的点数据信息。本文介绍流式气泡层各配置项的含义。注意 当前为v1.x版本的流式气泡...
资产安全概述
资产安全为Dataphin提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请...
资产安全概述
资产安全为Dataphin提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前...
DescribeColumnsV2-查询数据资产表中列的数据V2
例如，输入 test，会搜索出搜索项中包含 test 的全部数据信息。test TableId string 否 MaxCompute、RDS 等资产表中的列所属的资产表唯一标识 ID。说明 根据资产表的 ID 查询数据安全中心连接授权的数据资产表中列的数据，资产表 ID 可调用...
DescribeInstances-查询数据资产实例列表
例如，输入 data，会搜索出搜索项中包含 data 的全部数据信息。data ProductId long 否 设置数据资产实例所属产品的 ID。您可以通过调用 DescribeDataAssets 接口获取产品 ID。1 RiskLevelId long 否 设置数据资产实例的风险等级 ID。风险...
数据脱敏
通过配置数据脱敏规则，您可以脱敏审计日志中的银行卡号、手机号码、身份证号等敏感信息，防止在SQL语句或返回结果中泄漏敏感数据。本文介绍如何配置数据脱敏规则。背景信息 数据库审计系统提供10条内置的数据脱敏规则，并默认启用所有内置...
- 产品推荐
- 这些文档可能帮助您