数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并...敏感数据溯源 通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。
配置MySQL输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
配置MySQL输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
存储空间分析
说明 热数据的相关信息，请参见 数据存储冷热分离。冷数据量 AnalyticDB for MySQL 集群所有表的冷数据量。说明 数仓版（3.0）预留模式集群不支持冷热数据分离，因此不显示冷数据量。冷数据的相关信息，请参见 数据存储冷热分离。热数据量 ...
交叉透视表
图表样式 交叉透视表是表格组件的一种，支持数据内容的自定义展示，能够将数据信息以表格的形式清晰地展示在可视化应用上。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速...
基本概念
数据元：表示一个数据的最小信息项，包含基本的描述、值域范围和约束规则。生命周期：指的是表的生命周期，指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被数据库（例如：MaxCompute）自动回收...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
使用数据传输迁移数据
如果选择 全量迁移，建议您在迁移数据前，使用 ANALYZE 语句收集 MySQL 数据库的统计信息。增量同步 增量同步任务开始后，数据传输会同步源库发生变化的数据（新增、修改或删除）至目标端数据库对应的表中。增量同步 包括 DML 同步 和 DDL ...
MaxCompute表数据
查看数据统计信息和分布情况 数据探查通过分析数据的结构和取值，为您展示数据的统计信息和分布情况等探查结果。说明 数据探查的使用限制如下：仅支持探查分区表。仅支持探查生产环境的表。仅表的所有者有权限开启自动探查功能。仅上海地域...
交叉透视表
图表样式 交叉透视表是表格组件的一种，支持数据内容的自定义展示，能够将数据信息以表格的形式清晰地展示在可视化应用上。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
DMS
功能简介 数据管理（Data Management Service，简称DMS）支持MySQL、SQL Server、PostgreSQL、PPAS、Petadata等关系型数据库，PolarDB-X 等OLTP数据库，AnalyticDB、DLA等OLAP数据库和MongoDB、Redis等NoSQL的数据库管理。它是一种集数据...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
基于Delta lake的一站式数据湖构建与分析实战
2.统一元数据服务 对象存储本身是没有面向大数据分析的语义的，需要结合Hive Metastore Service等元数据服务为上层各种分析引擎提供数据的Meta信息。数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统...
使用DataWorks
操作流程 通过数据集成导出MaxCompute数据的流程如下：添加MaxCompute数据源 将MaxCompute数据源添加至DataWorks的数据源列表。添加目标数据源 将目标数据源添加至DataWorks的数据源列表。创建业务流程 在DataWorks上创建业务流程，为创建...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
Redis备份上云
备份目标信息 备份目标存储类型 存储备份数据的存储类型，请选择 DBS内置存储（推荐）。DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包...
容量中心
单击 详情 或者数据库名称，可进一步查看不同数据库的表数据信息分布详情。可查看每个表的 表名、行数、磁盘使用大小、数据大小、宏块使用率、分区数量 和 自增列使用率。查看集群容量信息。当选择所有租户时，不再显示数据库和数据表筛选...
场景：跨账号创建数据源
详情请参见 创建MaxCompute数据源、创建Hologres数据源。...创建MaxCompute项目，详情请参见 创建MaxCompute项目。...说明 您可根据跨账号添加的数据...进入运维中心、数据地图，查看数据源的更多详细信息。详情请参见 运维中心概述、数据地图概述。
数据脱敏
配置脱敏数据的来源文件信息，并单击下一步。脱敏源为 RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表 时配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括...
EMR+DLF数据湖解决方案
可以使用 元数据抽取 来识别OSS上数据的元数据信息，并存储在DLF中。步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/...
DescribeColumnsV2-查询数据资产表中列的数据V2
例如，输入 test，会搜索出搜索项中包含 test 的全部数据信息。test TableId string 否 MaxCompute、RDS 等资产表中的列所属的资产表唯一标识 ID。说明 根据资产表的 ID 查询数据安全中心连接授权的数据资产表中列的数据，资产表 ID 可调用...
查看数据同步项目的详情
启动数据同步项目后，您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，...
OceanBase 数据库支持版本
本页面为您介绍云数据库 OceanBase 支持的数据库版本，您可跳转至 OceanBase 官网查看对应版本的数据库信息。数据库版本 当前支持的 OceanBase 数据库版本：V4.2.1、V3.2.4 和 V3.2.3。OceanBase 数据库企业版 V4.2.1 OceanBase 数据库企业...
DescribeTables-查询数据资产表的数据
例如，输入 test，会搜索出搜索项中包含 test 的全部数据信息。test ProductId long 否 数据资产表所属产品 ID。该产品 ID 可调用 DescribeDataAssets 接口获取。1 ProductCode string 否 数据资产表所属产品名称，包括 MaxCompute、OSS、...
测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，有效减轻您准备测试数据的负担。准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
功能特性
管理IP白名单 数据动态脱敏 当项目用户具备查询MaxCompute项目中的某些敏感数据的权限，但又不希望用户能看到完整的敏感数据信息时，可以对查询结果进行数据动态脱敏。数据动态脱敏 审计日志 MaxCompute完整地记录用户的各项操作行为，并...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
自建数据库异地备份
若您在上一步开启了 增量备份 功能，您还需要配置增量备份数据的保存时间，关于备份数据生命周期的更多信息，请参见 如何管理生命周期。完成上述配置后，单击页面右下角的 预检查并启动。预检查 对话框中显示预检查通过后，单击 立即启动。...
SQL Console初体验
变更表数据 使用SQL语句变更表数据 在SQL Console中输入变更表数据的SQL语句。如下SQL示例的含义为变更全表的name字段值为Apple。update `test_table` set name='Apple' where 1=1;选中变更SQL，单击 执行。执行成功后，您可双击表名查看表...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
MariaDB逻辑备份
备份目标信息 备份目标存储类型 存放备份数据的存储类型，支持的选项：DBS内置存储（推荐）：无需创建存储空间，数据将自动存入DBS内置存储中，会根据存入DBS的数据量产生费用，计费方式请参见 存储费用。推荐您预购存储包，进一步减低存储...
- 产品推荐
- 这些文档可能帮助您