查看数据校验详情
根据实例是否包含增量写入（增量同步或增量迁移）模块，有如下两种情况：不含增量写入模块：全量数据写入完成后开始全量校验。含增量写入模块：说明 全量校验与增量校验任务没有依赖关系，相互之间没有影响。若增量任务为单任务形式（不...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
连接方式概述
本节主要介绍 连接和访问 OceanBase 数据库 MySQL 模式租户的方法。当前主要支持通过客户端、驱动或 ORM 框架连接到 OceanBase 数据库。客户端 在连接 OceanBase 数据库的 MySQL 租户时，支持的客户端如下：MySQL 客户端 MySQL 数据库的...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
自建SQL Server通过物理网关迁移上云
注意事项 数据迁移上云期间允许对源端自建SQL Server数据库进行增量写入，但在上云切换过程中请勿进行写入操作，否则会导致数据不一致。增量迁移期间，目标端RDS SQL Server数据库暂时处于不可用状态。请等待增量迁移任务完成，并且选择...
安装宽表SQL Driver
数据库驱动 Lindorm面向目前主流的应用开发语言分别提供了以下数据库驱动（Database Driver，可以简单理解为执行SQL的SDK）。Java Lindorm面向Java语言应用开发提供了遵循 JDBC 接口规范的Driver。关于该Driver的安装和使用，请参见 使用...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
近实时增量导入
数据流入Transactional Table 2.0主要存在近实时增量写入和批量写入两种场景，本文为您介绍高并发近实时增量写入场景的架构设计。实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了...
设置增量同步位点
设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库增量日志的过期时间或归档时间。适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步项目前，已确保源端...
自建SQL Server通过物理网关迁移上云
注意事项 数据迁移上云期间允许对源端自建SQL Server数据库进行增量写入，但在上云切换过程中请勿进行写入操作，否则会导致数据不一致。增量迁移期间，目标端RDS SQL Server数据库暂时处于不可用状态。请等待增量迁移任务完成，并且选择...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
备份MySQL
您可以随时根据时间点恢复数据库至源数据库，也可以恢复至同地域的其他ECS数据库或本地数据库。本文介绍如何备份MySQL数据库。前提条件 已开通阿里云 云备份 服务。开通 云备份 不收取任何费用，使用 云备份 的数据库备份功能将产生如下...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
创建反向实例
背景信息 DTS支持为正常运行的同步实例一键创建反向增量同步实例，在业务写入数据库由原同步实例的源库切换为目标库时，帮助您将数据库切换后的增量业务数据同步至原业务写入数据库，常应用于数据库容灾场景下的数据回传。前提条件 原实例...
Python程序如何连接RDS MySQL数据库
详细信息 Python标准的数据库接口为Python DB-API，大多数Python数据库接口使用该标准。Python2 参考如下步骤，先安装MySQLdb模块，然后使用import语句导入。通过编译或者pip安装MySQLdb。参考如下Python代码进行连接。import MySQLdb db=...
迁移工具
将MySQL数据同步到表格存储 canal canal基于MySQL数据库增量日志解析，提供增量数据订阅和消费功能，是阿里开源CDC工具，它可以获取MySQL binlog数据并解析，然后将数据变动传输给下游。基于canal，您可以实现从MySQL到其他数据库的实时...
通过HTTP API写入数据
数据写入的时候，需要设置参数 db 的值，该值必须是一个已有的数据库。如果您没有通过参数 rp 来设置数据保留策略的话，那么数据会写到 db 默认的数据保留策略中。想要获得完整的参数信息，请参阅文档 HTTP API 。我们称POST的主体内容，...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
停止本地应用对数据库的写入操作，再做一个LOG Backup，最后一次增量上云。打开数据库 Step8.22:34 完成了最后一个LOG Backup文件增量上云操作，耗时4分钟，开始将数据库上线。Step9.22:35 数据库上线完毕，如果选择异步执行DBCC操作，上线...
功能特性
基础备份 满足自动化、可恢复的最小备份能力 功能集 功能 功能描述 参考文档 备份恢复 全量备份 支持数据库全量数据备份。DBS全量备份 RDS全量备份 PolarDB全量备份 MongoDB全量备份 Redis全量备份 日志备份 支持数据库增量日志备份。DBS...
用户权限说明
目标端为 MySQL 数据库、OceanBase 数据库 MySQL 租户等数据库类型时，需要对源端待迁移数据库及 oceanbase 数据库具备 SELECT 权限。重要 仅 OceanBase 数据库 V4.0.0 及之后版本需要添加 oceanbase 数据库的 SELECT 权限。对于 VPC 内 ...
创建自建数据库用户及授权
背景信息 自建 MySQL 数据库实例的类型包括 VPC 内自建数据库 和 公网 IP 自建数据库。本文创建的自建数据库用户，用于创建自建数据库实例类型的 MySQL 数据源时填写 用户名。创建自建数据库用户 在创建 MySQL 数据源时，您可以直接选择...
新建 OceanBase 数据源
oblogproxy IP（可选）OceanBase 数据库增量日志代理服务，以服务的形式，提供实时增量项目介入和管理能力，方便应用介入 Oceanbase 数据库增量日志。同时，能够解决网络隔离的情况下，订阅增量日志的需求。oblogproxy Port（可选）_...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
Reserve参数说明
源数据库类型为Tair/Redis（包含 云数据库Redis、云原生内存数据库Tair、自建Redis）参数 配置条件 说明 srcKvStoreMode 数据库实例的接入方式不为 云实例 时。源自建Redis的实例模式，取值为：single：单机版。cluster：集群版。any.sink....
命令行界面
clear[database|db|retention policy|rp]清除当前数据库或保留策略的上下文。connect在不退出Shell的情况下，连接到其它服务器。默认情况下，influx 连接到 localhost:8086。如果您没有指定host或者port，influx 假设未指定的参数使用默认...
查看热点表信息
数据同步和迁移任务中数据频繁变更的表（热点表），可能会导致任务延迟超过1000毫秒。您可以通过控制台查看热点表信息，判断延迟是否由于热点表所导致，并根据实际情况开启热点合并功能以降低任务延迟。前提条件 已创建同步或迁移实例。若...
Canal插件
canal[kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 ...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到...
Parameters参数说明
参数（name）可配置模块（module）说明（value）source.column.encoding 03、04、07 源数据库类型为Oracle时实际业务的写入编码，解决数据库字符集编码和业务写入字符集编码不一致并且不兼容从而导致迁移乱码问题。取值为：default GB 2312...
PolarDB PostgreSQL版间的迁移
前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB PostgreSQL版 集群的 wal_level 参数值设置为 logical。设置方式，请参见 设置集群参数。目标数据库的...
基于Python DB-API的应用开发
指定数据库连接地址 database_url 和连接的初始化参数 connect_kw_args，创建数据库连接。database_url='<lindorm_sql_url>' connection=phoenixdb.connect(database_url,autocommit=True,*connect_kw_args)参数说明 参数 说明 database_...
使用创建反向任务功能
本文为您介绍如何使用数据传输服务DTS（Data Transmission Service）的创建反向任务功能，实现数据库容灾场景下的数据回传。前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备...
增量查询
Transactional Table 2.0支持增量写入和存储，最重要的一个考虑就是支持增量查询以及增量计算优化，为此，专门设计开发了新的SQL增量查询语法来支持近实时增量处理链路。增量查询的处理过程 增量查询Transactional Table 2.0的处理过程如下...
支持的数据库
增量数据同步 单向同步 RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
如为增量迁移任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量迁移完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
OceanBase 数据库 Oracle 租户的数据至 Oracle 数据库
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
使用Tapdata Cloud导入MySQL数据
通过Tapdata Cloud的可视化界面，您可以将自建MySQL、阿里云RDS MySQL、第三方云数据库的数据实时同步到表格存储。前提条件 使用Tapdata Cloud同步MySQL数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储...
从自建Db2迁移至RDS MySQL
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在Db2数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 迁移对象选择的粒度可以为库、表、列三个粒度。...
同步或迁移源库中的触发器
前提条件 同步或迁移实例的源和目标数据库需为指定类型的数据库，例如RDS Mariadb同步到RDS MySQL。更多信息，请参见 支持的实例。实例同时包含库表结构和增量任务。支持的实例 源库 目标库 说明 MySQL、PolarDB MySQL版、MariaDB MySQL、...
- 产品推荐
- 这些文档可能帮助您