需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
需求分析
注意事项 本实验提供教程所需用户信息数据与网站访问测试数据，您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户...
数据查询与分析管控
您可通过 管控数据源的查询权限 功能，对其他用户或角色进行授权，授权时应注意：成员或角色被授权数据源查询权限后，将获得与数据源访问身份同样的权限。为保障数据的安全性（特别是生产数据），建议您合理规划后谨慎分配权限。标准模式...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
采集数据
您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击 批量测试连通性。详情请参见 配置资源组与网络连通。单击...
重启实例
重启的影响与注意事项 重启可能发生 数据丢失。重启过程中实例会发生 秒级闪断，请判断业务影响后执行重启操作，重启前请做好业务安排并 确保应用有重连 机制。操作步骤 访问 Tair实例列表，在上方选择地域。在目标实例的 操作 列，单击 ...
重启实例
重启的影响与注意事项 重启可能发生 数据丢失。重启过程中实例会发生 秒级闪断，请判断业务影响后执行重启操作，重启前请做好业务安排并 确保应用有重连 机制。操作步骤 访问 Redis实例列表，在上方选择地域。在目标实例的 操作 列，单击 ...
RDS MySQL或自建MySQL逻辑备份
ECS上的自建数据库：备份ECS上的数据库，您还需配置源数据库实例所在的 ECS实例ID 与数据库端口号。PolarDB：备份PolarDB MySQL，您还需选择源 POLARDB实例ID。有公网IP:Port的自建数据库：可通过公网IP备份自建数据库，您还需配置源数据库...
新建AnalyticDB for MySQL 3.0数据源
背景信息 云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 云...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
新建AnalyticDB for MySQL 3.0数据源
背景信息 云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 云...
合规&认证
个人信息 甲乙双方均应严格遵守网络安全与数据保护相关法律法规的要求，其中，用户使用瓴羊服务收集、储存、处理、使用的个人信息和实施与这些数据有关的活动，须遵循合法、正当、必要原则，且应当遵守相关法律法规、瓴羊产品服务协议和瓴...
创建同步任务
您需要测试每种资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。测试连通性通过后，单击 完成，数据源创建完成。步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
重启设备
背景信息 重启设备一般有两种方法：通过关闭或打开设备电源进行重启。通过智能接入网关控制台，远程重启设备。关闭或打开设备电源 警告 您通过关闭或打开设备电源进行重启时，请注意保存设备的当前配置，避免造成配置变更未保存的情况。...
基本概念
数据建模 数据模型：是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架，数据资源平台支持逻辑模型和物理模型。逻辑模型：反映的是系统分析设计人员对数据存储...
新建数据源
相关操作 在数据源添加成功后，在 数据源管理 页面，可对数据源进行以下操作：操作 说明 查看数据源详情 在数据源列表，单击目标数据源 操作 列的 更多，选择 查看详情，查看数据源的基本信息和数据对象的表结构信息。编辑数据源 在数据源...
新建数据源
相关操作 在数据源添加成功后，在 数据源管理 页面，可对数据源进行以下操作：操作 说明 查看数据源详情 在数据源列表，单击目标数据源 操作 列的 更多，选择 查看详情，查看数据源的基本信息和数据对象的表结构信息。编辑数据源 在数据源...
数据传输与迁移概述
类型 典型场景 OSS数据与MaxCompute数据上传 LOAD命令。外部表，湖仓一体。Hologres数据写入MaxCompute MaxCompute直读Hologres数据。OTS/RDS（MySQL）/HBase/Lindorm/Hudi/HDFS/Hive等其它数据源写入MaxCompute 无。实时数据写入（数据...
日志备份时报：The transaction log for database xx ...
如果 tempdb 数据库总空间大于等于5 GB，且可以重启数据库实例：重启数据库实例，具体操作请参见 重启实例。在目标实例控制台左侧导航栏中，单击 备份恢复。在 备份恢复 页单击 备份并收缩事务日志。在弹出的对话框中单击 确定。如果 ...
YARN高可用特性使用指南
配置集 配置项（推荐）配置值 说明 yarn-site.xml yarn.nodemanager.recovery.enabled true 是否启用NM有状态重启特性，默认值false yarn.nodemanager.recovery.dir/home/hadoop/yarn-nm-recovery 存储任务信息与状态数据的本地目录，默认...
DescribeColumns-查询数据资产表中列的数据
例如，输入 test，会搜索出搜索项中包含 test 的全部数据信息。test TableId long 否 MaxCompute、RDS 等资产表中的列所属的资产表唯一标识 ID。说明 根据资产表的 ID 查询数据安全中心连接授权的数据资产表中列的数据，资产表 ID 可调用 ...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，...创建并保存完成后的数据集会自动排列显示在 数据集管理 页面中，每一个保存的数据集后面都会自动显示数据集内的数据信息数量。
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
功能特性
社区兼容版集群变配和水平扩缩容 垂直升降配 当您需要调整云数据库ClickHouse社区兼容版集群的配置或规模时，您可以对云数据库ClickHouse进行垂直升降配，以帮助您的业务在成本与性能之间达到最佳平衡。社区兼容版集群变配和水平扩缩容 ...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
资产安全概述
密切结合生产开发场景：在开发生产过程中，资产安全与数据流转场景紧密结合，保障在Dataphin数据开发周期中的数据安全。相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行...
资产安全概述
密切结合生产开发场景：在开发生产过程中，资产安全与数据流转场景紧密结合，保障在Dataphin数据开发周期中的数据安全。相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行...
DescribeColumnsV2-查询数据资产表中列的数据V2
例如，输入 test，会搜索出搜索项中包含 test 的全部数据信息。test TableId string 否 MaxCompute、RDS 等资产表中的列所属的资产表唯一标识 ID。说明 根据资产表的 ID 查询数据安全中心连接授权的数据资产表中列的数据，资产表 ID 可调用...
导出数据
数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。说明 建议导出的数据超过200条时使用数据水印嵌入。未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
他云/自建数据库录入
本文介绍如何将他云/自建数据库录入至数据管理DMS中。前提条件 支持录入的他云/自建数据库类型，请参见 支持的他云/自建数据库。已在他云/自建数据库的白名单中添加DMS的服务器访问地址。详细信息，请参见 设置IP白名单。目标数据库实例的...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
敏感数据保护
数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级标准。Dataphin的数据分类，支持多级的数据分类层级管理，同时支持内置识别特征和识别方式，便于后续自动进行...
- 产品推荐
- 这些文档可能帮助您