添加 MySQL 数据源的白名单
复制 OMS 控制台 添加数据源 对话框中显示的 OceanBase 数据传输服务器的 IP 地址。在安全组详情页面的 访问规则>入方向 区域，单击 快速添加。您也可以选择 手动添加，手动输入 端口范围、授权对象 等信息。在 快速添加 对话框，粘贴复制...
MaxCompute近实时增全量一体化架构介绍
背景和现状 在当前典型的数据处理业务场景中，对时效性要求较低的大规模数据全量批处理的单一场景，直接采用MaxCompute已经足以满足业务需求。然而，随着MaxCompute承载的业务规模和使用场景的不断丰富，除了处理好大规模离线批处理链路...
我的看板
数据来源 在工作台中创建并发布的数据看板内容，会同步在此处展示，若数据看板仅编辑完成，但是未发布，则在此处不展示。如需编辑某一看板内容，请单击页面右上角的 前往可视化工作台，编辑并发布对应数据看板后，刷新当前页面即可。操作...
数据膨胀诊断
消除数据膨胀 随着对表不断进行INSERT、DELETE或UPDATE操作，会积累大量Dead Tuple，占据大部分本可以用来存放数据的空间，使得Page中未使用空间减小，导致更多的Page被分配出来。当Page被扫描时，这些大量的Dead Tuple也会被扫描，从而...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
查询备份数据
查询备份与恢复备份的区别 区别项 查询备份数据 恢复备份 功能原理 按需找到目标历史备份时间点的备份数据集，将备份数据集保存至临时实例中，可通过DMS控制台在临时实例的SQL窗口中对历史数据进行查询。通过数据备份和日志备份进行恢复，...
非结构化分析
向量分析作为 AnalyticDB PostgreSQL版 向量分析的高级特性目前已经服务阿里巴巴内外部多项业务，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑。典型架构 图 1.基于 AnalyticDB PostgreSQL版 实现非结构化数据向量分析...
RDS实例间的数据迁移
数据迁移的实现原理是读取源库数据，并将数据复制至目标库，不会删除源库数据。更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、...
RDS实例间数据迁移
数据迁移的实现原理是读取源库数据，并将数据复制至目标库，不会删除源库数据。更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
组复制简介
原理 在组复制中，使用数据行的主键哈希值来进行行级别的冲突检测。每个节点都会维护一个事务认证信息数组，这是一个哈希数组，它的key是数据行的哈希值，它的value是最近修改这一行的事务的GTID与此事务在源节点提交时的gtid_executed（源...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
概述
工作原理 在 PolarDB 控制台上设置完脱敏规则后，控制台会将规则写入至Proxy中。当应用程序通过规则中指定的账号连接至数据库并查询规则中指定的列时，Proxy会先将数据库返回的数据脱敏转换，再将脱敏后的数据返回给客户端。上图的脱敏规则...
管理备份
说明 控制台上展示的 备份大小 与当前集群的模式有关，其中：数仓版（3.0）弹性模式集群：控制台上展示的 备份大小 即为当前集群中目标备份集的实际数据量。数仓版（3.0）预留模式集群：控制台上展示的 备份大小 会大于当前集群中目标备份...
查询备份数据
查询备份与恢复备份的区别 区别项 查询备份数据 恢复备份 功能原理 按需找到目标历史备份时间点的备份数据集，将备份数据集保存至临时实例中，可通过DMS控制台在临时实例的SQL窗口中对历史数据进行查询。通过数据备份和日志备份进行恢复，...
功能特性
通过Kafka导入数据 通过Flink导入数据 云数据库 SelectDB 版支持通过SelectDB提供的Flink连接器（SelectDB Connector for Apache Flink），将Kafka中的非结构化数据以及MySQL等上游业务数据库中的变更数据，实时同步到云数据库 SelectDB 版...
备份恢复概览
备份原理 OceanBase 数据库采用了读写分离架构，其内部数据按存储方式被细分为两大类：一类是基于 SSTable 格式的基线数据，另一类则是基于 MemTable 格式的增量数据。基线数据代表了已整合并持久化到硬盘的全部数据总和，它被智能地分割为...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
数据备份
本文介绍 云原生数据仓库AnalyticDB PostgreSQL版 如何查看备份数据以及如何设置备份策略。查看和修改备份策略 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。找到目标实例，单击实例ID。在左侧...
使用DataWorks（离线与实时）
场景3：导入其他数据源数据至MaxCompute 同步能力说明 DataWorks 数据集成 支持将其他数据源的数据同步至MaxCompute，例如将RDS等数据库的数据同步至MaxCompute，针对不同的同步场景，数据同步原理与能力支持不一致。DataWorks离线同步为您...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
原理优势
当运行一段时间后，可以根据实际情况，对数据库实例在专属资源池中进行再分布，可以将实例迁移到指定主机，或者将某台主机进行迁空和替换操作，从而实现资源的再分配。更加丰富的权限开放 在资源隔离的基础之上，开放更多数据库权限和 OS...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
数据防泄漏典型案例
使用数据安全中心可以监测和防范各类数据泄露风险，例如身份...处理方法：通过 数据安全中心控制台 的 数据审计>日志分析 页面中的审计日志持续监控后续行为，观察是否有违规行为。相关文档 查看审计日志 发现和处理异常告警 自定义检测模型
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
迁移原理介绍 DTS通过迁移分片集群中的每个Shard节点来实现分片集群数据库的整体迁移，您需要为每个Shard节点创建一个对应的数据迁移任务。说明 数据在目标MongoDB实例中的分布取决于您设置的片键，详情请参见 设置数据分片以充分利用Shard...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
创建数据源
概述 您可以通过以下方式创建 OceanBase 开发者中心（OceanBase Developer Center，ODC）数据源：ODC 首页中创建数据源：进入 ODC 首页后，单击 新建数据源 按钮创建数据源。公有云实例中创建数据源：公有云的实例中，单击 登录数据库，...
库表结构优化
数据库利用索引进行查询数据过滤的原理，请参见 过滤条件不下推。说明 数据索引删除后，如果查询再次使用该数据列进行过滤操作，查询时间会变长。操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在...
使用DBS和DG备份本地或第三方云数据库
数据库备份DBS支持通过数据库网关DG（Database Gateway）备份本地IDC或第三方云厂商的私网数据库到云存储，您只需简单几步即可将数据库低成本地接入至阿里云。完成接入后，在配置DBS的逻辑备份时，您可以直接将数据库网关中接入的数据库...
添加 Oracle 数据源的白名单
复制 OMS 控制台 添加数据源 对话框中显示的 OceanBase 数据传输服务器的 IP 地址。在安全组详情页面的 访问规则>入方向 区域，单击 快速添加。您也可以选择 手动添加，手动输入 端口范围、授权对象 等信息。在 快速添加 对话框，粘贴复制...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
- 产品推荐
- 这些文档可能帮助您