产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
管理网络配置
参数 说明 专有网络 选择用于需与后续添加使用的EMR集群、数据库专有网络一致 交换机 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通的交换机，仅支持选择特定可用区下的交换机，详情请参见使用限制。安全组 选择机器加入的安全...
RDS实例间的数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
RDS实例间数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
备份集查询功能概览
工作原理 DBS与数据湖Data Lake Analytics深度集成，提供备份集在线查询能力，通过DLA直接对OSS上的备份数据文件进行查询。备份集查询功能的整体架构如下图所示。DBS也支持在单个备份计划下查询多个备份集。您需要选择目标备份集并创建数据...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
添加访问地址
原理介绍 OceanBase 数据库在数据库和应用程序之间提供网络代理服务，您可以根据业务需求在代理层添加只读地址和读写分离地址，充分利用 OceanBase 数据库的多副本能力，提升业务系统的执行效率。OceanBase 数据库的读写分离是指将数据库的...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
Bucket Shuffle Join
本文介绍 云数据库 SelectDB 版 支持通过Bucket Shuffle Join进行查询优化，能够减少数据在节点间的传输耗时和Join时的内存开销，进而优化查询性能。功能简介 Bucket Shuffle Join旨在为某些Join查询提供基于本地的优化，减少数据在节点间...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
如何使用DataV Proxy
DataV Proxy应用工作原理 将加密的SQL查询字符串和数据库ID值传递给应用程序。由该应用程序连接到数据库，获取查询结果。将查询结果返回到DataV页面。启动DataV Proxy应用 Windows：下载 DataV Proxy应用安装包。解压后双击打开 datav_...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
什么是数据库审计
工作原理 数据库审计服务通过旁路监听模式，支持完全独立于数据库的部署。在不影响数据库日常运行效能的前提下，实现灵活的审计与监控。基于数据库操作语句进行审计，监视数据库登录、访问行为，有效地实施审计策略。数据库审计服务还具备...
使用MaxCompute访问
在配置HDFS Writer和HDFS Reader时，需要指定数据源，数据源配置详见：配置HDFS数据源，目前该数据源仅支持 独享数据集成资源组，所以在配置之前需要先配置独享数据集成资源组，如下图所示。xxxx 是前面已经配置完成的数据源。说明 由于...
什么是数据库网关
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
自建Oracle迁移至PolarDB-X
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用平滑地完成Oracle数据库的数据迁移工作。本文以PolarDB-X 2.0为例，介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle数据库迁移至...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
使用DBS和DG备份本地或第三方云数据库
数据库备份DBS支持通过数据库网关DG（Database Gateway）备份本地IDC或第三方云厂商的私网数据库到云存储，您只需简单几步即可将数据库低成本地接入至阿里云。完成接入后，在配置DBS的逻辑备份时，您可以直接将数据库网关中接入的数据库...
跨阿里云主账号访问
您在跨账号进行数据同步任务之前，需要设置并确保执行任务的独享数据集成资源组，与源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时，数据库与DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...
使用DBS和DG备份本地或第三方云数据库
数据库备份DBS支持通过数据库网关DG（Database Gateway）备份本地IDC或第三方云厂商的私网数据库到云存储，您只需简单几步即可将数据库低成本地接入至阿里云。完成接入后，在配置DBS的逻辑备份时，您可以直接将数据库网关中接入的数据库...
通过数据库网关DG备份本地或第三方云的私网数据库到云...
数据库备份DBS支持通过数据库网关DG（Database Gateway）备份本地或第三方云的私网数据库到云存储，您只需简单几步即可将数据库低成本地接入至阿里云。完成接入后，您可通过配置DBS的逻辑备份计划，直接将数据库网关中接入的数据库作为源库...
创建Oracle数据订阅任务
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文为您介绍如何创建Oracle数据订阅任务。前提条件 自建Oracle数据库的版本为9i、10g、11g版本，暂不...
通用参考：添加路由
如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 配置资源组与网络连通 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
HTTP API 概览
默认数据交换是通过 JSON。所有返回的结果都使用标准的 HTTP 响应代码，并使用特定的格式返回错误。下表列出了 TSDB 提供的与数据读写和管理相关的所有 API。关于如何使用每个 API 的具体说明，请点击描述中提供的链接查看相应文档。API ...
DLA Presto CU版本快速入门
本文主要教您如何快速上手阿里云云原生数据湖分析DLA Presto CU版本。操作步骤 创建虚拟集群 与Serverless Presto扫描版不同，在CU版本下执行SQL前，必须要创建一个虚拟集群。具体请参见 虚拟集群管理。说明 创建虚拟集群时，选项 引擎 ...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
客户案例
客户价值 百姓网通过数据库网关DG实现无需开通公网地址，即可将私网数据库跨云迁移，解决了本地IDC的私网环境数据库，无法直接被云产品访问的难题，保障了整个跨云迁移过程中的数据安全。借助数据库网关DG的压缩、多并发能力，实现长距离...
客户案例
客户价值 百姓网通过数据库网关DG实现无需开通公网地址，即可将私网数据库跨云迁移，解决了本地IDC的私网环境数据库，无法直接被云产品访问的难题，保障了整个跨云迁移过程中的数据安全。借助数据库网关DG的压缩、多并发能力，实现长距离...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
- 产品推荐
- 这些文档可能帮助您