一键实时同步至AnalyticDB for MySQL 3.0
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 同步解决方案默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建...
什么是数据库代理
对于只读模式的集群地址由于一个应用连接只会与后端数据库中的一个计算节点建立连接，所以应用能够使用的最大连接数为该只读集群地址下所有只读节点的最大连接数之和。对于读写模式的集群地址可以通过 事务级连接池 功能来增加应用的最大...
配置Gremlin请求超时时间
dsl="g.V(G_id)"parameters={} parameters["G_id"]="sand131_id_5_99"message=RequestMessage('','eval',{'gremlin':dsl,'scriptEvaluationTimeout':5000,'bindings':parameters})执行如下命令，发送请求至图数据库GDB服务端。results=...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将...
DBGateway常见问题
请执行以下命令确认：telnet 数据库实例IP或域名 数据库实例服务端口号 例如：telnet 192.168.XX.XX 3306 如出现以下提示，表示网络连接正常，需要参考上文，查看DBGateway日志进行进一步排查。Connected to 192.168.XX.XX Escape ...
概述
反向增量 迁移完成后，针对业务割接场景，可以引导用户在业务数据库完成切换前在数据传输上启动目标库至源库（即反向）的增量同步项目，实时回流业务切换后在目标端数据库产生的变更数据至源业务数据库。数据同步 说明 增量 DDL 支持范围请...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
管理数据库
背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库。数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的...
如何使用消息服务？
服务端下发消息：服务端数据通过CMNS下发到应用客户端，默认消息体2K，可以根据应用需求进行调整，自定义数据最大支持10K。客户端上行数据到服务端：通过CMNS可靠而省电的连接通道，将位置信息等非重要数据从设备发回至您的服务器，应用...
数据库代理注意事项
数据库代理的连接模型是1:N（即您的一个业务连接到达代理后，代理会连接到主实例和所有配置的只读实例），数据库代理本身并没有最大连接数的限制，连接数的限制主要由后端数据库中计算节点的规格决定。未开启事务级连接池时，每条由客户端...
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
查看数据迁移项目的详情
全量迁移加上增量同步，可以确保目标端数据库与源端数据库的最终一致性。如果全量迁移过程中有失败的对象，会为您展示具体的失败原因。重要 如果您在选择 迁移类型 时未配置 结构迁移，则全量迁移时，数据传输会以源端和目标端匹配的字段...
一键实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
错误代码
ERROR 7022:Physical database connection pool is full,database name:x 问题描述：数据访问代理连接后端数据库的连接池已满。排查方法：查看是否有耗时 SQL 影响连接池。如果耗时 SQL 是合理的，则应该是连接池本身设置不合理导致，需在...
ListProjectFullVerifyResult-查询项目的全量校验结果
source_db DestSchemaName string 目标端数据库的名称。dest_db SourceOnlyCount long 仅源端存在的数据条数。0 DestOnlyCount long 仅目标端存在的数据条数。0 MismatchedCount long 两端不一致数据的条数。0 ConsistentCount long 两端...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型...
数据库代理注意事项
数据库代理的连接模型是1：N（即您的一个业务连接到达代理后，代理会连接到主实例和所有配置的只读实例），数据库代理本身并没有最大连接数的限制，连接数的限制主要由后端数据库中计算节点的规格决定。未开启事务级连接池时，每条由客户端...
MySQL分库分表同步至Hologres（方案1.0）
DB_NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 步骤五：设置表粒度同步规则 即当源表发生插入、更新、删除时，您可以在此处定义对应的处理策略。正常处理：源端DML消息将会继续下发给目标数据...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
一键实时同步至DataHub
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
负载均衡
实现原理 按需建立连接，即代理根据需要与后端数据库建立连接。在保证一致性和RW负载的情况下，尽量少地与数据库建联，从而节省数据库因为与代理建联和执行广播导致的开销。大部分情况下，一个会话至多与一个RW节点和一个RO节点建联（在不...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
应用场景
场景一：游戏活动信息缓存 在游戏活动阶段常有突发高并发场景，您可通过 Tair 弹性能力升级到高规格版本，承载在峰值阶段的流量高并发访问，避免后端数据库被击穿。场景二：游戏排行榜 为吸引游戏玩家，排行榜是游戏应用中常见的场景。依托...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
创建触发器
操作步骤 登录源端数据库后，切换至待迁移数据库。以 PSQL 工具为例，通过执行命令 \c<数据库名称>，切换至待迁移数据库。创建下述两张表，用于记录 DDL 事件变更。非 DROP DDL 事件信息表-postgreSQL DDL EVENT TABLE-CREATE TABLE public...
数据集成概述
数据集成是稳定高效、弹性伸缩...在数据集成同步任务配置前，您可以在DataWorks 数据源管理 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
概览
此工具的原理是，同时连接源端MySQL数据库和目的端数据库，从MySQL库中通过查询得到要导出的数据，然后通过COPY命令导入到目的端。暂不支持 rds_dbsync迁移/同步PostgreSQL数据到AnalyticDB PostgreSQL 开源工具rds_dbsync的pgsql2pgsql...
数据传输规格说明
例如，每秒增量同步源端数据库 5000 行数据至目标表，则 RPS 为 5000。表对象：表示数据迁移或数据同步项目建议迁移或同步的最大表数量，以每张表对象最多 50 个字段数量计算。规格说明 OceanBase 数据传输服务根据迁移或同步的性能上限，...
跨库操作（dblink、postgres_fdw）
创建数据库 postgres=>\c<数据库名>/切换数据库 示例 postgres=>create database db1;CREATE DATABASE postgres=>\c db1 新建postgres_fdw插件。db1=>create extension postgres_fdw;新建用于连接远端目标数据库的服务器对象。db1=>CREATE ...
跨实例查询
a|b|c-+-+-2|12|t1 3|13|t1 4|14|t1 7|17|t1 8|18|t1 1|11|t1 5|15|t1 6|16|t1 9|19|t1 10|20|t1(10 rows)性能测试 以下内容为跨实例查询的TPC-H性能测试，测试数据量为1 TB，并分别在数据库本地和目标端数据库中执行查询。大数据场景...
CreateDIJob
内置变量可选值包括：EXECUTE_TIME（执行时间，Long类型）、DB_NAME_SRC（源端数据库名称，String类型）、DATASOURCE_NAME_SRC（源端数据源名称，String类型）、TABLE_NAME_SRC（源端表名，String类型）、DB_NAME_DEST（目标端数据库名称，...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
网关结果码说明
IOException 网络出错，请稍后再试 8 客户端网络请求调度错误，执行线程中断异常 网络出错，请稍后再试 9 客户端处理错误，包括序列化错误、注解处理错误、线程执行错误 网络出错，请稍后再试 10 客户端数据反序列化错误，服务端数据格式有...
Shared Server
同时，在业务容器化部署后，每个容器通过连接池向数据库发起连接，业务在高峰期会弹性扩展出很多容器，后端数据库的连接数会瞬间增高，影响数据库稳定性，导致OOM频发。为了解决上述问题，在使用PostgreSQL时通常会配置连接池组件。例如，...
Shared Server
同时，在业务容器化部署后，每个容器通过连接池向数据库发起连接，业务在高峰期会弹性扩展出很多容器，后端数据库的连接数会瞬间增高，影响数据库稳定性，导致OOM频发。为了解决上述问题，在使用PostgreSQL时通常会配置连接池组件。例如，...
功能特性
会话线索 支持根据时间、客户端IP、客户端端口、服务端IP、服务端端口、数据库账号、资产信息、数据库实例、客户端工具、数据库类型、主机名等多角度分析会话。详细语句线索 支持根据时间、报文检索、资产信息、数据库账号、SQL模板、客户...
UpdateDIJob
内置变量可选值包括：EXECUTE_TIME（执行时间，Long类型）、DB_NAME_SRC（源端数据库名称，String类型）、DATASOURCE_NAME_SRC（源端数据源名称，String类型）、TABLE_NAME_SRC（源端表名，String类型）、DB_NAME_DEST（目标端数据库名称，...
ListProjects-分页查询项目列表
l_dfe*SourceEndpointTypes array 否 源端数据源类型的集合。string 否 源端数据源的类型。枚举值：POLARDB_X_1：POLARDB_X_1。MYSQL：MYSQL。TIDB：TIDB。OB_ORACLE：OB_ORACLE。OB_MYSQL：OB_MYSQL。ORACLE：ORACLE。POLARDB_X_2：...
GetDIJob
内置变量可选值包括：EXECUTE_TIME（执行时间，Long类型）、DB_NAME_SRC（源端数据库名称，String类型）、DATASOURCE_NAME_SRC（源端数据源名称，String类型）、TABLE_NAME_SRC（源端表名，String类型）、DB_NAME_DEST（目标端数据库名称，...
- 产品推荐
- 这些文档可能帮助您