开启事务级连接池后,当客户端发送请求时,会先与 PolarDB 代理建连,代理不会马上将其与后端数据库建连,而是先从事务级连接池里查找是否存在可用的连接(判断是否为可用连接的条件:user、dbname 和系统变量这3个参数值是否一致)。...
数据集成附加字段支持的变量字段如下:EXECUTE_TIME:执行时间 UPDATE_TIME:更新时间 DB_NAME_SRC:原始数据库名称 DB_NAME_SRC_TRANSED:转换后数据库名称 DATASOURCE_NAME_SRC:源端数据源名称 DATASOURCE_NAME_DEST:目的端数据源名称 ...
数据集成附加字段支持的变量字段如下:EXECUTE_TIME:执行时间 UPDATE_TIME:更新时间 DB_NAME_SRC:原始数据库名称 DB_NAME_SRC_TRANSED:转换后数据库名称 DATASOURCE_NAME_SRC:源端数据源名称 DATASOURCE_NAME_DEST:目的端数据源名称 ...
勾选后可以在源端库表的 库过滤 搜索框和 表过滤 搜索框中填写正则表达式,实时同步运行过程中会自动识别源端数据库binlog中数据库名和表名符合正则表达式的变更,识别到这类变更后按照下面设置的 表名到Topic的映射规则 计算源端变更应该...
您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
写入端 操作 说明 配置同步前后执行语句 部分数据源支持在同步前(数据写入目标端数据源前)与同步完成后(数据写入目标端后),在目标端执行相关数据库SQL。示例:MySQL Writer支持配置preSql与postSql,即在数据写入MySQL前或后,可以...
在查询操作中,通常来说热数据会直接从缓存中获取,冷数据需要从后端对象存储中读取并缓存至本地,以便加快后序访问速度。通过内存、本地磁盘及远程存储的联合,StarRocks构建了多层数据访问体系,您可以自定义数据冷热规则以优化业务需求...
流式数据通道写入 MaxCompute流式数据通道服务提供了以流式的方式将数据写入MaxCompute的能力,使用与原批量数据通道服务不同的一套全新的API及后端服务。流式数据写入到MaxCompute的方案如下。SDK接口:提供流式语义API,通过流式服务的...
大数据计算服务MaxCompute(原名ODPS)为您提供完善的数据导入方案,能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前,您需要先配置好相应的输入或转换数据源,详情请参见 实时同步能力说明。背景信息 写入数据不支持...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的增量数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将...
导入大屏轮播数据接口 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。导入当前大屏数据接口 按组件绘制格式处理数据后,导入...
您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
可查询加密只允许在客户端查看敏感数据的明文,在查询到达服务器端时会同时包含从KMS获取的加密密钥,然后在服务器端以密文进行查询并返回,最后在客户端利用密钥解密后以明文呈现。可查询加密的特点如下:从客户端加密敏感数据,只有客户...
步骤二:下载CA证书 开启云端证书后,RDS PostgreSQL数据库提供数据库CA证书供您下载,当您通过客户端远程连接RDS PostgreSQL数据库时,使用数据库CA证书可以对数据库真伪进行校验。切换证书来源为 使用云端证书,单击 下载CA证书。解压...
写入端(Writer)操作 说明 配置同步前后执行语句 部分数据源支持在同步前(数据写入目标端数据源前)与同步完成后(数据写入目标端后),在目标端执行相关数据库SQL。示例:MySQL Writer支持配置preSql与postSql,即在数据写入MySQL前或后...
完成数据订阅任务后,您可以使用DTS提供的SDK示例代码来订阅数据变更信息。本文介绍通过SDK示例代码消费分布式订阅数据,支持的数据源包括PolarDB-X 1.0和DMS LogicDB。前提条件 已安装JDK 1.8版本。已安装IntelliJ IDEA软件。注意事项 ...
完成数据订阅任务后,您可以使用DTS提供的SDK示例代码来订阅数据变更信息。本文介绍通过SDK示例代码消费分布式订阅数据,支持的数据源包括PolarDB-X 1.0和DMS LogicDB。前提条件 已安装JDK 1.8版本。已安装IntelliJ IDEA软件。注意事项 ...
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型。本文介绍小打卡如何通过 PolarDB-X 应对业务挑战。所属...
配置字段映射 选择数据来源和数据去向后,需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动排版。配置通道控制 设置任务同步并发数,可容忍的脏数据条数等。调整内存参数 如果您在并发调大后同步速率...
动作 动作 说明 导入大屏轮播数据接口 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据,参考数据示例。[{"id":1,"serieName":"大屏一","url":"https://img.alicdn.com/imgextra/i4/O1CN01nZeSa71FYaTamJg2D_!...
授权地址:设置网络通信后端服务地址。服务主机:设置网络通信后端服务主机。服务路径:网络通信后端服务路径。消息设置 启用消息通信:启动网络消息通信服务。地理系统 参数 说明 添加栅格 单击 添加栅格,可以在地理系统中添加一个栅格,...
完成数据订阅通道的配置后,您可以使用DTS提供的SDK示例代码来订阅数据变更信息,本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB,消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
功能 描述 数据库对象评估 支持直接连接源端数据库,自动获取源端数据库对象的信息,评估源端数据库至 OceanBase 数据库对应版本的兼容性。目前支持进行对象评估的数据库类型及版本如下:Oracle 数据库:11g/12c/18c/19c MySQL 数据库:5.6...
购买RDS PostgreSQL实例并完成必要配置(创建账号、设置白名单)后,您就可以通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具或应用程序等方式连接RDS PostgreSQL实例,实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件...
在完成数据订阅通道的配置(创建好订阅任务和消费组)后,您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息,本文介绍示例代码的使用方法。重要 本操作为Java语言的SDK客户端示例,Python和Go语言的示例代码,请...
RDS PostgreSQL实例支持通过多种方式连接(如通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具、应用程序等),实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件 已创建RDS PostgreSQL实例。更多信息,请参见 创建RDS ...
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务,具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台,您只需要进行简单的配置即可实时...
op 对应源端读取到的消息类型,取值如下:INSERT:数据插入 UPDATE_BEFOR:数据更新前 UPDATE_AFTER:数据更新后 DELETE:数据删除 TRANSACTION_BEGIN:数据库事务开始 TRANSACTION_END:数据库事务结束 CREATE:数据库建表 ALTER:数据库...
选择工作空间所在地域后,单击相应工作空间后的 快速进入>数据开发。鼠标悬停至 图标,单击 新建节点>数据集成>实时同步。您也可以展开业务流程,右键单击目标业务流程,选择 新建节点>数据集成>实时同步。在 新建节点 对话框中,选择同步...
第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
导入区域热力图 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。导入地理边界 按组件绘制格式处理数据后,导入组件,重新绘制...
完成数据源、网络、资源的准备配置后,您可以根据同步场景选择同步解决方案,创建并执行同步任务,将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程,不同的同步方案配置流程可能存在差异,对应方案配置详情请以界面为准。前提...
导入裁剪边界数据接口 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。显示 显示组件,不需要参数。隐藏 隐藏组件,不需要...
第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
升级数据库大版本后,低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件,将低版本的备份数据恢复至自建数据库。如何将备份数据恢复至自建数据库,请参见 逻辑备份恢复至自建数据库 或 将MongoDB物理备份文件恢复至自建...
设置为 false,表示选择停止迁移:当目标端表对象存在数据时,全量迁移会报错不允许迁移,请处理好目标端数据后再继续迁移。注意 如果出错后单击恢复,数据传输将忽略该配置选项,继续迁移表数据,请谨慎操作。true FullTransferSpeedMode ...
限流:考虑到速度过高可能对数据库造成过大的压力从而影响生产,数据集成同时提供了限速选项,您可以通过限流控制同步速率,从而保护读取端数据库,避免抽取速度过大,给数据库造成太大的压力。限速最小配置为1MB/S,最高上限为30MB/s。离...
导入地理边界geojson数据接口 按组件绘制格式处理数据后,导入组件,重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。导入区域面数据接口 按组件绘制格式处理数据后...
对于只读模式的集群地址由于一个应用连接只会与后端数据库中的一个计算节点建立连接,所以应用能够使用的最大连接数为该只读集群地址下所有只读节点的最大连接数之和。对于读写模式的集群地址可以通过 事务级连接池 功能来增加应用的最大...