新建 Oracle 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
从RDS同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
技术原理
为了保证副本间的强一致性，现代数据库往往采用以Paxos算法为代表的多数派复制协议，它要求实例中至少存在3个节点，每次写入都要获得超过半数节点的确认，即便其中1个节点宕机实例也仍然能正常提供服务。PolarDB-X采用X-Paxos复制协议，X-...
行业趋势与背景
从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据永远不会丢，即使主机异常宕机，这里需要有数据强一致以及高可用容灾等能力；比如随着移动互联网和IoT的普及，数据层面会有爆炸式的增长，以及疫情之后有更多的企业会...
什么是云原生数据库PolarDB分布式版
金融级高可用 PolarDB-X 采用数据多副本架构，为了保证副本间的强一致性（RPO=0），采用Paxos的多数派复制协议，每次写入都要获得超过半数节点的确认，即便其中1个节点宕机，集群也仍然能正常提供服务。Paxos算法能够保证副本间的强一致性...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
Tair持久化与备份恢复
如遇 Tair 宕机或重启，能够利用磁盘中的持久化文件恢复数据。为满足各类场景下对备份与恢复的需求，云原生内存数据库Tair 提供RDB持久化、AOF持久化和Tair-Binlog持久化策略。持久化策略 云原生内存数据库Tair 支持以下持久化策略：RDB...
Redis持久化与备份恢复
如遇 Redis 宕机或重启，能够利用磁盘中的持久化文件恢复数据。为满足各类场景下对备份与恢复的需求，云数据库 Redis 版 提供RDB持久化、AOF持久化和Tair-Binlog持久化策略。持久化策略 云数据库 Redis 版 支持以下持久化策略。RDB持久化 ...
数据归档
业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面的DDL语句实现数据在ESSD和OSS之间的转换。通过数据...
非结构化分析
AnalyticDB PostgreSQL版 的向量分析旨在帮助您实现非结构化数据的近似检索和分析，具备丰富功能和优异性能。功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
Spark常见报错
解决方法：检查当前Spark作业中指定交换机的IP地址段是否在数据源的白名单配置中。若不在，则需配置数据源的白名单。例如：访问RDS数据源时，若指定交换机的IP地址段不在RDS的白名单中，则需将指定的交换机IP地址段添加到RDS的白名单。检查...
连通性检测
本文介绍云数据库HBase连通性检测和与云数据库HBase网络不通的可能原因。背景信息 云数据库HBase为了保障安全性，不提供Ping的ICMP协议，请不要使用Ping来访问，判断是否连通云数据库HBase，请使用Telnet。平台提供了公网访问及内网访问，...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
发起恢复
源实例与目标实例的产品系列不匹配，仅允许关系型数据库恢复到关系型数据库，非关系型数据库恢复到非关系型数据库。高版本的 OceanBase 数据库备份不支持恢复到低版本。一般低版本 OceanBase 数据库的备份支持恢复到相同或更高版本的数据库...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
DLA Lakehouse实时入湖
您需要在DTS中进行以下操作：说明 目前DLA中RDS数据源的入湖分析工作负载，会先利用RDS做数据的全量同步，然后依赖DTS数据订阅功能做增量同步，最终实现完整的RDS数据入湖。创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
创建单节点实例
云数据库MongoDB的单节点实例是阿里云为用户提供的一种高性价比实例，适用于存储企业非核心数据的场景，例如开发、测试、学习、培训等。本文介绍如何创建单节点实例。前提条件 已注册阿里云账号，注册流程请参见 注册阿里云账号。注意事项 ...
创建单节点实例
云数据库MongoDB的单节点实例是阿里云为用户提供的一种高性价比实例，适用于存储企业非核心数据的场景，例如开发、测试、学习、培训等。本文介绍如何创建单节点实例。前提条件 已注册阿里云账号，注册流程请参见 注册阿里云账号。注意事项 ...
PS线性回归
线性回归（Linear Regression）是分析因变量和多个自变量之间的线性关系模型，参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务。PS线性回归支持千亿样本、十亿特征的大规模线性训练任务。组件配置 您可以使用以下...
技术原理
拆分后，在MySQL上物理存在的数据库称为分库，物理的表称为分表（每个分表数据是完整数据的一部分）。PolarDB-X 1.0 通过在不同MySQL实例上挪动分库，实现数据库扩容，提升 PolarDB-X 1.0 数据库总体访问量和存储容量。您可以通过一定的...
支持向量回归算法（SVR）
简介 SVR是支持向量机（SVM）的重要应用分支。通过SVR算法，可以找到一个回归平面并使得一个集合中的所有数据距离该平面的距离最短。使用场景 SVR是一个回归模型，主要是用于拟合数值，一般应用于特征较为稀疏且特征数较少的场景。例如，...
通过脚本模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
RDS SQL Server I/O高问题
数据页读取I/O吞吐高 数据页读取（Page Reads）的I/O吞吐高是导致RDS SQL Server实例I/O吞吐高的原因中最常见的一种，主要原因是实例的缓存不足，导致查询请求在执行过程中由于缓存无法命中（cache miss），从而需要在磁盘中读取大量的数据...
PolarDB PostgreSQL版架构介绍
数据一致性 传统数据库的内存状态同步 传统share nothing的数据库，主节点和只读节点都有各自的内存和存储，只需要从主节点复制WAL日志到只读节点，并在只读节点上依次回放日志即可，这也是复制状态机的基本原理。基于Shared-Storage的内存...
技术架构
基于共享存储的基础上，结合分布式的多点写入能力，可以在不迁移数据的前提下提供秒级弹性的能力，给到用户完全不一样的弹性体验。开放生态 PolarDB-X 全面拥抱和坚定MySQL的开源生态，做到代码完全自主可控的同时满足分布式MySQL的兼容性...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
Tair选型指南
3 选择容灾方案 云原生内存数据库Tair 实例若因不可预料的原因（例如设备故障、机房断电等）发生故障，容灾机制保障数据的一致性和业务可用性。云原生内存数据库Tair 提供多种灾备方案供您选择，可满足不同的业务场景。4 预估内存规格 提前...
单值查询数据
算子 描述 插值方法 avg 平均值 线性插值（斜率拟合）count 数据点数 插0 mimmin 最小值 插最大值 mimmax 最大值 插最小值 min 最小值 线性插值 max 最大值 线性插值 none 不做计算 插0 sum 求和 线性插值 zimsum 求和 插0 Filters说明 有...
产品概述
通过云原生架构、软硬件一体化、共享分布式存储的设计，主节点和只读节点使用物理复制、RDMA网络低时延，能够快速同步数据，彻底解决了主从异步复制所带来的备库数据非强一致的问题，使得整个数据库集群在应对任何单点故障时，都可以保证...
新建集群
当您面对业务扩展需要构建 云数据库ClickHouse 集群时，本文档为您提供了在 云数据库ClickHouse 控制台上新建集群的详细步骤，帮助您快速搭建起 云数据库ClickHouse 集群。前提条件 已注册阿里云账号。具体操作，请参见 注册阿里云账号。...
多值数据查询
rfirst 功能同 first 但降采样后返回的结果的时间戳是原始数据的时间戳，而非降采样对齐后的时间戳。rlast 功能同 last 但降采样后返回的结果的时间戳是原始数据的时间戳，而非降采样对齐后的时间戳。rmin 功能同 min 但降采样后返回的结果...
新建集群
本文介绍如何新建 云数据库ClickHouse 集群。前提条件 已注册阿里云账号。具体操作，请参见 注册阿里云账号。通过RAM用户（子账号）创建 云数据库ClickHouse 集群时，该RAM用户（子账号）必须拥有AliyunClickHouseFullAccess和...
LightGBM算法
LightGBM可以减少数据对内存的使用、减少通信代价以及提升多机并行时的效率，在数据计算上实现线性加速。使用场景 LightGBM是一个算法框架，包括GBDT模型、随机森林和逻辑回归等模型。通常应用于二分类、多分类和排序等场景。例如：在个性...
云数据库Redis版产品选型必读
选择容灾方案 当云数据库Redis实例因不可预料的原因（例如设备故障、机房断电等）发生故障，容灾机制可用于保障数据的一致性和业务可用性。云数据库Redis提供多种灾备方案供您选择，可满足不同的业务场景。选择大版本 推荐使用更新的大版本...
恢复SQL Server数据
如果拥有RDS SQL Server实例的备份数据，您可以将备份数据恢复到已有实例或新实例上，可用于误操作后恢复以及分析历史数据等场景。功能介绍 您可以通过多种方式恢复RDS SQL Server实例的数据。恢复到已有实例 恢复到新实例 通过临时实例...
数据投递
前提条件 已创建用于接收数据的目标库实例，当前仅支持 AnalyticDB PostgreSQL。创建方法，请参见 创建实例。目标 AnalyticDB PostgreSQL 实例中需已创建好用于接收数据的数据库和Schema（本示例创建的Schema为 dts_deliver_test）。创建...
- 产品推荐
- 这些文档可能帮助您