为自建MySQL创建账号并设置binlog
当数据迁移/同步/订阅的源库为自建MySQL时，为满足预检查阶段对源库的要求，保障任务的顺利执行，在正式配置之前，您需要在自建MySQL数据库上创建账号并设置binlog。适用场景及权限参考 场景 权限参考 数据迁移的源库为自建MySQL，且要执行...
调整innodb_flush_log_at_trx_commit和sync_binlog参数
该参数的取值范围为0、1、2，不同的值代表MySQL数据库的Redo log不同的刷盘的方式：当innodb_flush_log_at_trx_commit=1时，InnoDB将在每次事务提交时将log buffer的数据更新到文件系统os buffer中，并调用文件系统的flush操作将数据缓存...
Binlog常见问题
答：Binlog写满500MB就会生成新的Binlog日志文件继续写入，同时会根据本地备份设置将备份日志上传到OSS，并清理本地日志。详情请参见 删除本地日志（Binlog）。推荐阅读 关于Binlog的更多介绍和相关操作，请参见 管理本地日志（Binlog）。
Binlog常见问题
答：Binlog写满500MB就会生成新的Binlog日志文件继续写入，同时会根据本地备份设置将备份日志上传到OSS，并清理本地日志。详情请参见 删除本地日志（Binlog）。推荐阅读 关于Binlog的更多介绍和相关操作，请参见 本地日志（Binlog）。
DTS订阅无法选择RDS只读实例
本文介绍DTS订阅时为什么无法选择RDS只读实例。原因 DTS订阅需要读取实例数据库Binlog日志，目前只读实例禁止Binlog读取，所以DTS订阅无法选择RDS只读实例。
概述
如何获取 Binlog 连接方式：通过租户主地址连接 版本要求：OceanBase 数据库实例版本不小于 V3.2.4 操作步骤：OceanBase Binlog 服务默认为关闭状态，需要先开启 Binlog 服务，详情参见 开通 Binlog 日志服务。通过 MySQL Client 连接到 ...
FineBI 6.0
本文测试了FineBI 6.0与 AnalyticDB MySQL 在连通性、列举表、查看表数据等方面的...测试范围 连接FineBI 说明 此处应填写MySQL数据库的连接信息，而不是AnalyticDB for MySQL数据库连接信息。新建数据库连接 列举表 查看表结构 查看表数据
MySQL数据源
您可以在MySQL数据库通过如下语句查看当前MySQL数据库版本。SELECT version();准备工作2：配置账号权限 建议您提前规划并创建一个专用于DataWorks访问数据源的MySQL账号，操作如下。可选：创建账号。操作详情请参见 创建MySQL账号。配置...
AnalyticDB MySQL助力Flowerplus业务高速发展
复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂查询报表返回很慢或者根本无法返回，无法正常支撑报表和BI业务。数据实时性 部分报表对返回...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
关联MySQL数据源
本文介绍如何创建外部存储，建立日志服务与MySQL数据库的关联。前提条件 已采集数据到日志服务。具体操作，请参见 数据采集。已存储数据到MySQL数据库。MySQL数据库在阿里云VPC内网域内。背景信息 日志服务外部存储功能支持日志服务与阿里...
RDS for MySQL只读实例的Binlog是否可以使用
问题描述 RDS MySQL 5.6只读实例的Binlog日志不记录具体的操作变更。问题原因 RDS MySQL 5.6只读实例的Binlog日志是精简过的，所以Binlog无法使用。其他版本的只读实例Binlog日志是正常记录的。建议您使用DTS开通 数据订阅。
通过Spark SQL访问MySQL数据
AnalyticDB MySQL 湖仓版（3.0）支持提交Spark SQL作业，您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例，介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...
SHOW BINARY LOGS
本文介绍了如何使用SHOW BINARY LOGS语句查看 PolarDB-X 的Binlog日志文件列表。语法 SHOW BINARY LOGS[WITH stream_name];说明：执行上述SQL需要有 SUPER 或 REPLICATION CLIENT 权限，权限操作请参见 账号权限管理。不加 WITH 子句，可...
Binlog日志服务
通过实例内 PolarDB-X 的CDC组件，能够提供与MySQL binlog格式兼容的变更日志，并且对外隐藏了实例扩缩容、分布式事务、全局索引等分布式特性，让您获得与单机MySQL数据库一致的使用体验。PolarDB-X 提供了两种形态的binlog日志消费订阅...
RDS是否有解决方案可以实现自动的binlog下载，下载到...
DTS的数据订阅支持RDS binlog日志的实时订阅，可以开通DTS的数据订阅服务，通过DTS SDK订阅RDS binlog数据并实时同步到本地的统计服务器中。
InnoDB Physiological Logging
逻辑日志（Logical Logging）逻辑日志记录的是对于表的操作，类似于MySQL数据库上层产生的二进制日志（Binlog）。记录的是操作，与物理格式无关。优点 记录非常高效。例如，DELETE 操作只需要记录几个字节。在SMO和页面整理等场景更加明显...
RDS MySQL实例内Binlog日志磁盘使用率过高
实例内清理Binlog日志的规则 实例内默认会保存最近18个小时内的Binlog文件。当实例空间小于70%时，系统会保存18小时内的Binlog，即使该Binlog文件已经上传到OSS中。当实例空间大于70%时，Binlog会在上传到OSS后，发起删除本地数据的请求，...
永洪BI
完成上述参数配置后，单击 测试连接 进行连通性测试，系统提示测试成功后，即可连接至指定的 AnalyticDB MySQL 数据库。使用永洪BI 通过永洪BI连接 AnalyticDB MySQL 集群后，您就可以获取 AnalyticDB MySQL 中的数据，然后通过永洪BI制作...
PolarDB-X数据同步工具
兼容的数据同步工具 数据同步工具 兼容版本 说明 MySQL Slave>=5.4.11 目前不支持GTID模式复制 canal>=5.4.11 无 DTS>=5.4.11 具体操作步骤请参见 同步方案概览。debezium>=5.4.12 不支持快照能力，使用时需要关闭快照"snapshot.mode":...
恢复MySQL
MySQL数据库实例状态为 运行中。若恢复至目的地MySQL数据库实例状态异常，则恢复任务会失败。更多问题，请参见 数据库备份常见问题。费用说明 恢复功能不收费。注意事项 云备份 的备份速率和恢复速率是在实验室测试环境下的数据，仅供您...
Binlog Cache Free Flush
RDS MySQL引入的Binlog Cache Free Flush功能，对大事务提交写Binlog的阶段做了优化，有效解决了该问题，能够提升实例的稳定性。前提条件 实例版本：MySQL 8.0 内核小版本：20230930或以上 说明 您可以在 基本信息 页面的 配置信息 区域...
查询数据库账号
AnalyticDB MySQL兼容MySQL数据库，AnalyticDB MySQL中也有一个名为MySQL的内置数据库，该数据库中存储的是AnalyticDB MySQL中的用户与权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中，...
Replication语句
PolarDB-X 的Binlog日志服务有两种形态，分别是单流Binlog日志服务和多流Binlog日志服务，详细介绍请参见 Binlog日志服务。PolarDB-X 通过一系列的协议和算法来保证Binlog服务的稳定可靠：当CDC发生HA切换、增减节点操作时RTO小于30s。当对...
设置告警
外部配置 无 PolarDB数据库更新峰值监控告警 项目 说明 规则名称 PolarDB数据库更新峰值监控告警 作用 监控PolarDB MySQL数据库的更新（增删改）峰值。当更新峰值超过 更新峰值阈值 时，触发告警。参数配置 告警名称：告警名称。行动策略：...
开启SQL审计与分析
执行结果 SQL审计功能开启后，相同地域下的 PolarDB-X 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。警告 日志服务会不定期更新与升级SQL日志审计功能，专属日志库的索引与默认报表也会自动...
开启SQL日志审计
执行结果 SQL审计功能已成功开启，相同地域下的 PolarDB-X 1.0 数据库的审计日志会写入同一个日志服务的Logstore中。同时，日志服务为您创建以下默认配置。说明 请勿随意删除或修改日志服务为您默认创建的Project、Logstore、索引和仪表盘...
强一致分布式事务
MySQL binlog是MySQL数据库中记录变更数据的 二进制日志，它可以看做是一个消息队列，队列中按顺序保存了MySQL中详细的增量变更信息，通过消费队列中的变更条目，下游系统或工具实现了与MySQL的实时数据同步，这样的机制也称为CDC（Change ...
源库Binlog检查
修复方法：登录自建MySQL数据库服务器。使用 vim 命令修改配置文件 my.cnf 中的如下参数。说明 配置文件 my.cnf 的默认路径为/etc/my.cnf，请以实际情况为准。log_bin=mysql_bin binlog_format=row server_id=2#大于1的整数，此处仅为示例...
管理MetricStore
删除MetricStore必须提前删除所有Logtail配置，通过减少数据保存时间，实现日志的自动删除。本文介绍如何在日志服务控制台上创建、修改、删除MetricStore与时序数据等操作。基本概念 时序库（MetricStore）是日志服务中时序数据的采集、...
数据备份与恢复
数据备份和恢复是数据库必不可少的能力，PolarDB-X 提供不同粒度的数据恢复能力，包括实例级的一致性备份恢复能力、表级的表回收站能力、SQL级的SQL闪回能力等。一致性备份恢复 一致性备份恢复提供实例级任意时间点（精确到秒级）的历史...
Logtail
日志采集延迟 正常情况下从日志写入磁盘到Logtail采集到日志的延迟不超过1秒。日志上传策略 Logtail会将同一文件的日志自动聚合上传，聚合条件为日志超过4000条、日志总大小超过512 KB或者日志采集时间超过3秒。任一条件满足则触发上传行为...
日志备份
本文介绍了在日志备份界面下载Binlog文件的方法。登录 云原生分布式数据库控制台。在页面左上角选择目标实例所在地域。在 实例列表 页，单击 PolarDB-X 2.0 页签。找到目标实例，单击实例ID。在左侧导航栏中，单击 数据恢复>日志备份。页面...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
通过外表导入至湖仓版
示例数据说明 本文示例的RDS MySQL数据库名为 test_adb，并在该库中创建了一张名为 person 的表，示例如下：CREATE TABLE IF NOT EXISTS test_adb.person(id int,name varchar(1023),age int);向 person 表中插入数据，示例如下：INSERT ...
同步时源库为PolarDB MySQL版的注意事项及限制
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
使用资源函数增量获取数据
本文介绍如何使用res_rds_mysql函数增量获取RDS MySQL数据库中的数据。前提条件 日志服务 已上传数据到日志服务源Logstore中。具体操作，请参见 数据采集。已创建日志服务目标Logstore。具体操作，请参见 创建Logstore。如果您使用的是RAM...
SQL备份与回滚（公测中）
精确备份：RDS MySQL、PolarDB MySQL版、RDS MariaDB 及自建MySQL数据库可使用精确备份，该方式是在通用备份能力的基础上，额外支持通过Binlog实现SQL级备份，针对SQL影响的数据产生回滚脚本。新交互模式的SQL窗口的更多信息，请参见 SQL ...
RDS的Binlog日志时间戳有时区差导致DTS数据同步失败
具体操作如下：首先获取Binlog日志并解析Binlog日志，具体操作步骤请参见 云数据库RDS MySQL版远程获取Binlog日志并解析Binlog日志。先通过以下命令查看Binlog，发现其时间戳有时区差。bin/mysqlbinlog-base64-output=decode-rows-v data/...
同步时源库为MySQL的注意事项及限制
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
- 产品推荐
- 这些文档可能帮助您