网络方案概述
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。...通过VPC网络连接，可以在公共云环境中搭建出类似于本地数据中心的私有网络环境，实现数据隔离和安全防护。具体说明，请参见 VPN网关ECS反向代理方案。
2023年
本文为MSHA 2023年的版本发布记录，介绍发布的特性变更情况。...新增 配置数据层 新增数据源与同步链路的多对一配置 针对应用双活架构、异地双活架构，MSHA数据层支持将多对数据源绑定到同一条数据同步链路。新增 配置数据层
系统架构
如下架构图：有两个DC，DC1有4个节点组成，DC2有4个...不同的数据中心可以设定不同的复本数，既可以作为跨数据中心容灾，也可以作备份或离线分析使用。节点 其中，存储空间：一个节点为 160GB~16TB，500个节点，也就是8000TB，大约8PB左右。
概述
为了抵消存储计算分离架构带来的网络延迟，执行器层也引入了本地缓存技术，将热数据实时加载到本地磁盘，保证了低延迟的查询需求。在存储引擎层面，列存索引的构建保证了事务提交的原子性，确保查询上可以查询到事务级别一致性的数据。产品...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
多活架构介绍
异地应用双活 两个数据中心的物理距离通常≤100 km，存在跨地域的网络延迟（RT≤7 ms）。应用、中间件、数据库两地冗余部署，同时对外提供服务。数据库两地冗余部署，两地应用单点写数据库，避免考虑数据一致性问题，数据异步复制。容灾...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
查看敏感数据识别结果
查看该数据类型下已接入数据安全中心的所有数据库实例的敏感数据识别结果。如需查看数据库实例中敏感数据的详细信息，您可以单击 操作 列的 表详情、集合详情 或 文件详情，查看敏感表、敏感集合或敏感文件占比图、命中规则Top 5和敏感数据...
产品优势
本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的要求。云原生 依托云原生优势，为云上数据源提供一体化数据保护和防御机制。支持防护常见的结构...
功能特性
多活数据中心 支持同城双活、异地多活架构，具备异地容灾能力，保障系统的可用性。支持多种维度系统扩展支持应用级、数据库级、机房级、地域级的快速扩展。按机房进行服务发现和路由，支持跨 IDC 的服务发现，并支持按机房进行路由。按数据...
快速实现数据分类分级
数据安全中心DSC（Data Security Center）是一款数据安全中心产品，可以通过收集和分析数据库的信息，提供云上数据的分类分级（包括敏感数据识别）能力。本文介绍如何快速在DSC控制台实现数据分类分级。前提条件 已规划好要接入数据安全...
数据集成：全领域数据汇聚
数据集成资源组与网络连通 如上图所示，进行数据同步前，需通过合适的网络连通方案将数据库和数据集成资源组间的网络打通。DataWorks当前支持使用独享数据集成资源组或自定义数据集成资源组，不同资源组的属性与适用场景不同，网络连通方案...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
Tair命令概览
云原生内存数据库Tair 存在多个版本、系列和架构，各种类型的实例对于Redis命令的支持度有所不同。根据本章节的导航信息，您可以快速找到Tair各版本支持的命令和限制使用的命令。命令支持概览 兼容Redis社区版命令 云原生内存数据库Tair ...
数据集成概述
您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源...
Tair扩展数据结构概览
Hash增强 exHash 无 TairHash支持为field设置过期时间和版本，提高了Hash数据结构的灵活性，简化了很多场景下的业务开发工作。该数据结构已开源，更多信息请参见 TairHash。最佳实践：基于TairHash实现用户多设备登录管理。Zset增强 exZset...
功能特性
多活数据中心 支持同城双活/异地多活架构，具备异地容灾能力，保障系统的可用性。支持多种维度系统扩展 支持应用级、数据库级、机房级、地域级的快速扩展。按机房进行服务发现和路由 支持跨 IDC 的服务发现，并支持按机房进行路由。按数据...
备份和灾难恢复
阿里云的网络、数据库等主要产品组件均支持同城双活的配置。用户可以在30分钟内轻松搭建高可用的同城双活架构 2.两地三中心 业务部署模式：目前相同的业务应用可以分别部署在阿里云两个城市的三个数据中心中，生产中心和同城灾备中心处于...
安全基线检查
了解安全基线检查 数据安全中心以GB/T 37988-2019《信息安全技术数据安全能力成熟度模型》为依据，针对云上复杂的数据库应用环境和不同类型的数据（结构化数据和非结构化数据），制定了7类基线检查策略以及40+具体的检查项，并提供不同类型...
新建 PolarDB-X 1.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB 数据源。背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式版数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生...
索引加速
前缀索引 不同于传统的数据库设计，云数据库 SelectDB 版 这类 MPP 架构的 OLAP 数据库，一般通过提高并发来处理大量数据。同时可结合一些索引结构，来加速查询性能。SelectDB的数据存储在类似SSTable（Sorted String Table）的数据结构中...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
互联网金融：上海富友支付服务股份有限公司
支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助力用户构建安全、可扩展、高可用的数据架构。DTS支持源为传统商业数据库的迁移，如Db2 ...
磁盘型
云原生内存数据库Tair 推出磁盘（ESSD/SSD）型实例，均兼容Redis核心数据结构与接口，可提供大容量、低成本、持久化的数据库服务。适用于兼容Redis、需要大容量且访问性能较高的温冷数据存储场景。背景信息 传统Redis基于内存属于易失性...
从自建Redis迁移至MyBase Redis
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至阿里云Redis实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移...
磁盘型
Tair 推出磁盘（ESSD/SSD）型实例，均兼容Redis核心数据结构与接口，可提供大容量、低成本、持久化的数据库服务。适用于兼容Redis、需要大容量且访问性能较高的温冷数据存储场景。背景信息 传统Redis基于内存属于易失性存储介质，随着业务...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
如果您在数据迁移过程中切换 PolarDB-X 2.0 数据库的网络类型，请在切换成功后，调整数据迁移项目的网络连接信息。如果数据迁移项目中仅配置了全量迁移，请勿向源端实例写入新的数据，避免导致源端和目标端的数据不一致。建议您在配置数据...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
授权全球多活数据库集群访问云资源
第一次创建RDS全球多活数据库集群时，您需要创建一个服务关联角色 AliyunServiceRoleForRDSGAD，并授予给全球多活数据库集群使用，以允许全球多活数据库集群创建和访问您的RDS和DTS云资源，完成全球多活数据库集群的配置和管理。...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
产品优势
经典应用服务 基于应用视角、提供基于 VM 模式发布管控的可视化运维管理平台，满足数据中心级别的发布部署需求和灰度能力。容器应用服务 满足金融级运维场景的云原生容器应用服务，在兼顾标准化一致性 K8s 能力的同时，提供源自蚂蚁实践的...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
- 产品推荐
- 这些文档可能帮助您