设置增量同步位点
设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库增量日志的过期时间或归档时间。适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步项目前，已确保源端...
新建 OceanBase 数据源
oblogproxy IP（可选）OceanBase 数据库增量日志代理服务，以服务的形式，提供实时增量项目介入和管理能力，方便应用介入 Oceanbase 数据库增量日志。同时，能够解决网络隔离的情况下，订阅增量日志的需求。oblogproxy Port（可选）_...
创建自建数据库用户及授权
背景信息 自建 MySQL 数据库实例的类型包括 VPC 内自建数据库 和 公网 IP 自建数据库。本文创建的自建数据库用户，用于创建自建数据库实例类型的 MySQL 数据源时填写 用户名。创建自建数据库用户 在创建 MySQL 数据源时，您可以直接选择...
通过Mongo Shell管理数据库账号
test",pwd:"123456Aa",roles:[{role:"readAnyDatabase",db:"admin"}]})创建成功的返回结果如下：Successfully added user:{"user":"test","roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询数据库账号 查询云数据库MongoDB实例的...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
用户权限说明
目标端为 MySQL 数据库、OceanBase 数据库 MySQL 租户等数据库类型时，需要对源端待迁移数据库及 oceanbase 数据库具备 SELECT 权限。重要 仅 OceanBase 数据库 V4.0.0 及之后版本需要添加 oceanbase 数据库的 SELECT 权限。对于 VPC 内 ...
通过DMS管理数据库账号
查询数据库账号 查询云数据库MongoDB实例的所有数据库账号 在admin数据库执行如下命令：db.getCollection("system.users").find()说明 该命令可以直接复制执行，无需修改。返回结果如下：{ '_id':"admin.root",'userId':BinData(3,"b079b4c...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
USE
背景信息 PolarDB-X 支持访问同一 PolarDB-X 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个数据库。语法 ...
USE
背景信息 PolarDB-X 1.0 支持访问同一 PolarDB-X 1.0 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 1.0 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个...
迁移工具
将MySQL数据同步到表格存储 canal canal基于MySQL数据库增量日志解析，提供增量数据订阅和消费功能，是阿里开源CDC工具，它可以获取MySQL binlog数据并解析，然后将数据变动传输给下游。基于canal，您可以实现从MySQL到其他数据库的实时...
API概览
ListDbfsAttachableEcsInstances 查询可挂载的ECS实例 调用ListDbfsAttachableEcsInstances查询数据库文件系统可挂载的ECS实例列表。ListDbfsAttachedEcsInstances 查询已挂载的ECS实例 调用ListDbfsAttachedEcsInstances查询数据库文件...
数据共享SQL
实例开通数据共享后，还需要通过SQL创建共享...查询数据库ID 查询数据库的ID，ID为UUID格式。说明 查询数据库ID的语句仅支持查询当前数据库的ID，如需查询其他数据库的ID，请切换到对应数据库中执行查询语句。SELECT current_database_uuid();
Canal插件
canal[kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 ...
Reserve参数说明
相关接口 配置DTS迁移或同步任务 配置DTS订阅任务 修改DTS同步任务 修改DTS订阅任务 查询一个DTS任务详情 查询DTS任务列表及各任务执行详情 公共参数 请根据DTS实例类型和数据库的接入方式，在Reserve中配置参数。表 1.迁移或同步实例 参数...
增量查询
Transactional Table 2.0支持增量写入和存储，最重要的一个考虑就是支持增量查询以及增量计算优化，为此，专门设计开发了新的SQL增量查询语法来支持近实时增量处理链路。增量查询的处理过程 增量查询Transactional Table 2.0的处理过程如下...
预降采样
语法参考 SHOW PREDOWNSAMPLES 查询数据库级别的预降采样规则（API方式）请求路径和方法 请求路径 请求方法 描述/api/database GET 查询已经创建的预降采样规则。返回示例[{"name":"default","downsampleRules":{"rules":[{"aggregator":...
搜索
数据库 可组合查询数据库名，如：DB1 DB2 DB3。操作类型 选择需要查询的操作类型，可多选。说明 您可 开启高级查询 输入更多信息以缩小搜索范围。单击 查询，即可看到 日志列表 中 SQL语句 的具体信息。说明 单击 导出，勾选需要的 导出...
Tomcat 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Tomcat 连接池、OceanBase Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 tomcat-mysql-client 示例工程 前提条件 您已安装 OceanBase...
DataStudio侧实时同步任务配置
实时同步整库增量数据时，同步方式选择 数据库变更数据同步（例如，数据库变更数据同步到MaxCompute）。路径 存放实时同步节点的目录。名称 节点名称必须是大小写字母、中文、数字、下划线（_）以及英文句号（.），且不能超过128个字符。...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到...
API概览
本产品（云数据库 ClickHouse 版/2023-05-22）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足...
迁移方案概览
源为TiDB的迁移方案 源为Db2 for LUW的迁移方案 源为Db2 for i（AS/400）的迁移方案 源为Teradata的迁移方案 源为自建HBase的迁移方案 源为第三方云的迁移方案 跨阿里云账号实例间迁移 说明 下表中各类自建数据库（例如自建MySQL、SQL ...
跨库查询
功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例中的不同Database之间无法直接互相查询数据，在保证了数据库业务隔离的同时，也带来了跨业务跨库之间联合查询的不便。在 AnalyticDB PostgreSQL版 中，您可以通过外部数据...
Hudi概述
您可以实时摄取消息队列（Kafka）和日志服务SLS等日志数据至Hudi中，同时也支持实时同步数据库Binlog产生的变更数据。Hudi优化了数据写入过程中产生的小文件。因此，相比其他传统的文件格式，Hudi对HDFS文件系统更加的友好。近实时数据分析...
Schema探索
示例二：运行不带有ON子句的SHOW RETENTION POLICIES查询 使用 USE<database_name>指定数据库>USE NOAA_water_database Using database NOAA_water_database>SHOW RETENTION POLICIES name duration shardGroupDuration replicaN default-...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
数据组织优化
数据回收 由于Time travel和增量查询都会查询数据的历史状态，因此需要保存一定的时间，可通过表属性 acid.data.retain.hours 来配置保留的时间范围。如果历史状态数据存在的时间早于配置值，系统会开始自动回收清理，一旦清理完成，Time ...
示例数据
创建数据库 通过阿里云平台，创建名为 NOAA_water_database 的数据库。下载和写入数据 在终端中输入以下命令来下载一个文本文件，文件中包含符合行协议格式的数据：curl ...
从自建Db2迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的迁移。前提条件 Db2数据库版本为9.7~11.5版本。说明 DTS也支持迁移7.3、7.4版本的Db2 for i数据库至RDS ...
创建OceanBase数据迁移项目时预检查失败并提示“增量...
问题描述 阿里云云数据库OceanBase在创建数据迁移项目时，会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。在预检查环节，预检查失败，增量日志参数检查未通过。解决方案 ...
Time travel查询与增量查询
对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（Time travel查询），也支持指定源表某个历史时间区间或者版本区间进行历史增量查询（Incremental查询）。本文为您介绍...
从自建Db2迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的迁移。前提条件 Db2数据库版本为9.7~11.5版本。说明 DTS也支持迁移7.3、7.4版本的Db2 for i数据库至RDS ...
将ECS上单节点或副本集架构的自建MongoDB迁移上云
本文为旧版DTS控制台操作步骤，新版DTS迁移上云方法如下：单节点架构上云：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）副本集架构上云：云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
跨阿里云账号迁移MongoDB实例
DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分片集群实例，请使用MongoDB自带的工具进行迁移，详细信息，...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
迁移MongoDB实例至其他地域
警告 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB版等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从自建SQL Server增量迁移至RDS SQL Server
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建SQL Server数据库迁移上云。说明 如果仅需要全量数据迁移，请参见 从自建SQL Server全量迁移至RDS SQL Server。...
- 产品推荐
- 这些文档可能帮助您