管理数据库资产
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
SQL Server逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID，配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
实时消费Kafka数据
MERGE：当写入数据与目标表列的值相等时，使用写入数据更新目标表列的现有数据。当写入数据与目标表列的值不相等时，直接将数据写入目标表。MERGE写入模式可类比于UPSERT（UPDATE and INSERT），关于UPSERT的写入方式，请参见 使用INSERT ...
MariaDB逻辑备份
数据库备份DBS 可满足MariaDB数据库的单表恢复、异地备份、长期归档等需求。本文介绍如何使用DBS备份RDS MariaDB或自建MariaDB数据库。创建备份计划 具体操作，请参见 创建备份计划。说明 购买时，选择数据源类型为 MariaDB，选择备份方式...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
RDS MySQL或自建MySQL逻辑备份
更多信息，请参见 支持的数据库引擎与功能。备份任务默认不支持后续新创建的数据库，如需备份该库，您可在备份计划配置中添加该库便于后续备份。具体操作，请参见 修改备份对象。在 配置备份时间 页面，配置备份时间等信息，并单击页面右下...
功能特性
管理IP白名单 数据动态脱敏 当项目用户具备查询MaxCompute项目中的某些敏感数据的权限，但又不希望用户能看到完整的敏感数据信息时，可以对查询结果进行数据动态脱敏。数据动态脱敏 审计日志 MaxCompute完整地记录用户的各项操作行为，并...
区域热力层
如果修改后的区域数据与父组件区域范围无任何交集，无法看到配置后的子组件区域热力层内容。在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力...
敏感数据保护概览
背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资损或者罚款。敏感数据保护结构图如下图所示：支持的数据库 关系型数据库：MySQL...
MySQL节点
您可以通过创建MySQL节点，直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。前提条件 MySQL节点仅支持使用独享调度资源组，独享调度资源组的使用请参考文档：新增和使用独享调度资源组。已通过连接串...
配置SQLServer数据源
背景信息 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见 数据源开发和生产环境隔离。操作步骤 进入 数据源管理 页面。登录 DataWorks控制台。在左侧导航栏，...
使用数据传输迁移数据
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
OceanBase 数据库之间的数据迁移
处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
矢量散点层（v2.x版本）
矢量散点层是基础平面地图的子组件，支持独立的样式、数据和交互配置，包括矢量散点层的散点配置、系列配置、弹框样式以及交互配置等，能够以矢量散点的形式表现地理位置上的点数据信息。本文介绍矢量散点层各配置项的含义。单击 子组件...
从零开始完成无锁结构变更
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
导出结构和数据
背景信息 ODC 支持批量导出数据库对象的结构和数据。通过 ODC 导出任务可以分别导出数据库对象的结构和数据、仅导出数据或者仅导出结构。导出结构和数据：同时导出数据库对象的定义语句及其数据。仅导出数据：仅导出表/视图对象的数据。仅...
功能特性
OSS数据源 一键入湖 通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
管理数据库档案
编码方式 否 选择与数据库字符集对应的编码方式。端口 是 无需填写，在您选择数据库实例后，系统会为您自动获取。用户名 是 填写数据库账号。口令 是 填写数据库密码。单击 测试连接。测试连接成功后，单击 创建。其他操作 测试数据库档案...
数据建模
数据建模支持ER模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置...
云数据库录入
使用该参数的前提是数据库已开启SSL连接，当前支持如下选项：默认（DMS与数据库服务自动协商是否开启）：系统将自动识别目标数据库是否已开启SSL连接，若数据库已开启SSL连接，则DMS将通过SSL连接数据库；若数据库未开启SSL连接，则通过...
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
识别任务说明
建议您将扫描周期设置为与数据库内容更新的频率大致一致，以便及时发现数据库中的变化的数据中存在的敏感信息。可设置的最小的扫描周期为每天。登录 数据安全中心控制台。在左侧导航栏，选择 数据洞察>任务管理。在 任务管理 页面 识别任务...
升级数据库大版本
迁移数据的方法如下：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分片集群架构）自建数据库MongoDB版（分片集群架构）迁移至云数据库...
从这里开始
DataV旨在让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的数据看板，满足您会议展览、业务监控、风险预警和地理信息分析等多种业务的展示需求。本文为您介绍DataV产品功能和功能体验等内容。使用...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
- 产品推荐
- 这些文档可能帮助您