全增量数据同步

增量数据同步基于HBase WAL实现异步数据同步,Bulkload的数据不写WAL的数据将不会被同步。增量同步中的日志管理 开启增量同步后,如果消费数据,默认日志会保留48小时,超时后订阅关系自动取消,保留的数据自动删除。什么场景会导致...

HBase数据同步与迁移

增量数据同步基于HBase WAL实现异步数据同步,Bulkload的数据不写WAL的数据将不会被同步。支持搜索索引的数据迁移。注意事项 迁移前请确认目标集群的HDFS容量,防止迁移过程中出现容量满的情况。增量同步提交前,建议将源集群的日志...

操作数据源权限

本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源,如需创建,请参见 数据源。授权数据源权限 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图指引,进入 数据源授权 对话框。根据数据源授权对话框提示,...

在GDB控制台清除实例数据

注意事项 清除实例数据后仅保留实例账号信息,且清除的数据不滚,请谨慎操作。如果目标实例下存在只读实例,清除目标实例数据的同时,只读实例的数据会被同步清除,建议您先确保目标实例和只读实例中的数据均不需要使用,然后进行清除...

读写RDS MySQL数据

更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析,分析完成之后把结果数据回写到RDS中,供前台业务使用。DLA如何读取OSS中的数据,请参见 操作步骤。以 person 表为例,通过以下SQL语句把 oss_db 中customer的十条记录进行...

授权与回收数据源权限

本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建,请参见 数据源管理。授权数据源权限 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 数据源授权 对话框。根据数据源授权...

如何基于LSM-tree架构实现一多读

LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree,是一种分层、有序,面向磁盘设计的数据结构,其核心思想是利用磁盘批量的顺序要比随机性能高的特点,将所有更新操作都转化为追加方式,提升写入吞吐。LSM-tree类的存储...

技术原理

业务应用在能够忍受只读实例相对于主实例数据同步延迟的前提下,需要修改代码,即可在 PolarDB-X 1.0 控制台中增加RDS/MySQL只读实例和调整读权重,将读流量按照需要的比例在RDS/MySQL主实例与多个RDS/MySQL只读实例之间调整,操作和...

数据集成概述

数据一致性:数据集成同步仅支持at least once,不支持exact once,即不能保证数据不重复,只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型需要注意精度,如果目标端字段类型最大值小于源端最大值(或最小值大于源端...

迁移时源库为MySQL的注意事项及限制

DTS要求源数据库的本地Binlog日志至少保留7天以上,否则DTS可能因无法获取Binlog而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。...

管理缓存

持久化数据是指将Alluxio存储中可能被修改过或未被修改过的数据写回UFS。通过将数据写回到UFS,可以保证如果Alluxio发生故障数据还是可恢复的。语法 alluxio fs persist示例:将Alluxio中 tmp 目录持久化到底层文件系统中。alluxio fs ...

DBS沙箱功能概览

相比多活热备技术,DBS沙箱功能还提供了数据回滚能力,支持快速退脏数据。容灾恢复演练:根据沙箱的快速恢复能力和按需付费的模式,支持定期发起容灾恢复演练,满足对数据可靠性高度敏感的需求,更多信息,请参见 灾难恢复演练。历史数据...

RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,在目标库遇到与源库主键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下,...

RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,在目标库遇到与源库主键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下,...

多可用区部署

如果业务使用了Increment、CheckAndPut等先读后的原子语义接口,并且没有读到最新数据,那么就会导致数据错乱或者退。如果可用区A的网络存在故障,由于同步延迟问题,在可用区A网络恢复之前的时间段内可用区B的数据会一直处于缺失的...

什么是读写分离

读写属性处理逻辑 读写属性 权限分配方式 主实例权重 正常情况 删除最后一个只读实例 只读实例全部故障 只读 系统分配或自定义 主实例权重不可设置 主实例:不可读不可转发)代理地址:可读不可写 主实例:不可读不可转发)...

通过数据按时间点恢复数据

说明 恢复数据至原实例时,由于待恢复的Key会被写回原实例,可能会引起原实例的QPS或延迟上升,请在业务低峰期操作。图 1.数据闪回两种模式介绍 前提条件 实例的部署模式为 云原生 版,产品系列为 内存型 或 持久内存型。实例的部署模式为 ...

什么是读写分离

如果您的业务场景中读请求远大于请求,且大量的读请求对主实例造成了负载压力,则可以购买只读实例,配合RDS PostgreSQL数据库代理的读写分离功能,通过一个数据库代理地址实现读写请求的自动转发,充分发挥各只读实例的读性能,减轻主...

通过数据按时间点恢复数据

说明 恢复数据至原实例时,由于待恢复的Key会被写回原实例,可能会引起原实例的QPS或延迟上升,请在业务低峰期操作。图 1.数据闪回两种模式介绍 前提条件 实例的部署模式为 云原生 版,产品系列为 Tair(Redis企业版)内存型 或 持久内存型...

自建Oracle迁移至云原生数据仓库 AnalyticDB ...

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,在目标库遇到与源库主键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下,...

自定义区域下钻层(v3.x版本)

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

MongoDB(无分片键)同步至MongoDB(分片集群架构)

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:在目标库遇到与源库主键或唯一键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会同步至目标库中。可能会导致无法初始化数据、只能同步...

写入数据

Client 会自动帮助您批量地提交数据需要您手动打包。如果没有特殊需求,推荐您使用异步非阻塞的数据的方式。示例代码/构建 Point Point point=Point.metric("test1").tag("tagk1","tagv1").value(timestamp,Math.random()).build();...

轮播列表

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

通过DTS实现数据库的垂直拆分

说明 源实例数据库B与应用程序的连接中断后,如果影响了数据库A涉及业务的功能,您需要暂时中断整个源实例与应用程序的连接。登录源实例数据库B,根据数据库类型选择下述命令查看会话信息,确保没有新的会话执行写入操作。MySQL show ...

交叉透视表

配置项说明 配置项 说明 受控模式 打开开关,资产 初始化状态下请求数据,仅通过调ID或蓝图编辑器配置的方法发起请求数据;关闭开关,可以使用自动更新请求数据。开关默认为关闭状态。自动更新请求 选中后可以设置动态轮询,还可以手动...

导入概述

此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据。MySQL和HTTP协议 StarRocks提供MySQL协议和HTTP协议两种访问协议接口来提交作业。Broker Load Broker导入,即通过部署的Broker程序读取外部数据源(例如HDFS)中的数据...

导入概述

此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据,数据质量问题可以参见 数据导入常见问题。MySQL和HTTP协议 StarRocks提供MySQL协议和HTTP协议两种访问协议接口来提交作业。Broker Load Broker导入,即通过部署的...

自建Oracle间迁移

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,在目标库遇到与源库主键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下,...

自建Oracle迁移至RDS PostgreSQL

警告 选择为 忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:表结构一致的情况下,在目标库遇到与源库主键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下,...

我是管理员

数据追踪 由于误操作等原因导致数据不符合预期时,可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL...

Tair持久化与备份恢复

通过数据按时间点恢复数据 开启数据功能(基于 AOF)后,在备份文件的保存期内,您可以恢复指定时间点(精确到秒级)的 Tair 数据,可最大限度地避免误操作带来的数据损失,或者在频繁回档的业务场景快速完成数据切换。说明 该功能...

Redis持久化与备份恢复

通过数据按时间点恢复数据 开启数据功能(基于 AOF)后,在备份文件的保存期内,您可以恢复指定时间点(精确到秒级)的 Redis 数据,可最大限度地避免误操作带来的数据损失,或者在频繁回档的业务场景快速完成数据切换。...

按Key闪

数据库 MongoDB 版 分片集群实例支持了按Key闪功能,您可以对指定的数据集合发起备份,便于后续因系统漏洞或故障而引起的小部分数据错乱或意外丢失时,根据数据的闪Key(默认为_id)可对这部分数据进行回档,快速恢复数据。...

业务切换流程

警告 当迁移任务处于暂停期间时,请不要随意启动任务,否则可能会导致数据不一致。保持业务中断状态,取消源数据库禁止写入的限制。创建反向数据迁移任务并启动,用于将目标库后续产生增量数据迁移源数据库。此步骤创建的反向迁移任务的...

业务切换流程

警告 当迁移任务处于暂停期间时,请不要随意启动任务,否则可能会导致数据不一致。保持业务中断状态,取消源数据库禁止写入的限制。创建反向数据迁移任务并启动,用于将目标库后续产生增量数据迁移源数据库。此步骤创建的反向迁移任务的...

应用场景

由于缓存中的数据不能持久化,一旦缓存异常退出,那么内存中的数据将会丢失。DTS提供的数据订阅功能,可以帮助您异步订阅数据库的增量数据,并更新缓存的数据,实现轻量级的缓存更新策略。该架构具有以下优势:更新路径短,延迟低 业务完成...

企业版和标准版功能对比

支持 支持 DB for AI PolarDB for AI PolarDB for AI功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态,实现了基于数据库的数据智能的一站式服务。支持 支持 数据迁移&同步 RDS一键迁移 PolarDB 支持从RDS数据库一键...

从自建MySQL迁移至RDS实例

全量数据迁移 请勿手动结束迁移任务,否则可能导致数据不完整。您只需等待迁移任务完成即可,迁移任务会自动结束。增量数据迁移 迁移任务不会自动结束,您需要手动结束迁移任务。观察迁移任务的进度变更为 增量迁移,并显示为 无延迟 状态...

概述

快速上手PolarDB for AI 开启PolarDB for AI功能 使用集群地址连接集群并执行AI SQL 模型管理 自然语言到SQL语言转义(基于大语言模型的NL2SQL)分词和向量检索 进阶使用PolarDB for AI 特征管理 算法介绍 将AI模型推理结果写回数据库 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 云数据库 RDS 云数据库 Redis 版 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用