配置MySQL输入

MySQL输入基于Binlog实时订阅的方式,实时读取您配置的MySQL数据库表数据。本文为您介绍,如何配置MySQL输入,以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前,请确保已完成以下规划与准备工作。已配置同步...

DTS订阅无法选择RDS只读实例

本文介绍DTS订阅时为什么无法选择RDS只读实例。原因 DTS订阅需要读取实例数据库Binlog日志,目前只读实例禁止Binlog读取,所以DTS订阅无法选择RDS只读实例。

MySQL数据

准备工作3:(仅实时同步需要)开启MySQL Binlog 数据集成通过实时订阅MySQL Binlog实现增量数据实时同步,您需要在DataWorks配置同步前,先开启MySQL Binlog服务。操作如下。重要 如果Binlog在消费中,则无法被数据库删除。如果实时同步...

使用RDS内网地址访问RDS MySQL数据库

当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时,您可以通过日志服务数据加工功能从对应数据库获取数据,实现数据富化。本文介绍如何配置数据加工规则及高级参数,实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...

调整innodb_flush_log_at_trx_commit和sync_binlog参数

该参数的取值范围为0、1、2,不同的值代表MySQL数据库的Redo log不同的刷盘的方式:当innodb_flush_log_at_trx_commit=1时,InnoDB将在每次事务提交时将log buffer的数据更新到文件系统os buffer中,并调用文件系统的flush操作将数据缓存...

概述

背景信息 MySQL Binlog 是实现主从复制和数据订阅的起点,用户可以以较低的性能和消耗来开启 Binlog 日志,主要用于实时数据订阅等场景,支持客户复用现有的 MySQL Binlog 增量解析系统来同步 OceanBase MySQL 模式的增量数据,无需作二次...

管理本地日志Binlog

MySQL的本地日志(Binlog)是一种记录MySQL数据库所有更改操作的日志文件,可用于自行搭建主从架构、订阅数据等。本文介绍如何查看或删除RDS MySQL实例的本地日志(Binlog)。本地日志与日志备份区别 对比项 本地日志(Binlog日志备份 ...

RDS MySQL实例内Binlog日志磁盘使用率过高

问题描述 RDS MySQL实例内Binlog日志磁盘使用率过高,磁盘空间已满导致实例被锁定,RDS无法进行读和写操作,从而影响业务。问题原因 Binlog日志占用实例空间过高,主要为以下原因所导致:应用端存在大量的读和写请求,从而导致RDS数据库...

同步时源为PolarDB-X 1.0的注意事项及限制

若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,导致同步结果不符合预期。在数据同步完成后,建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如,在MySQL触发HA...

为自建MySQL创建账号并设置binlog

当数据迁移/同步/订阅的源库为自建MySQL时,为满足预检查阶段对源库的要求,保障任务的顺利执行,在正式配置之前,您需要在自建MySQL数据库上创建账号并设置binlog。适用场景及权限参考 场景 权限参考 数据迁移的源库为自建MySQL,且要执行...

Linux实例中MySQL服务常见的无法启动启动异常处理

MySQL数据库所在目录查看表是否存在。发现MySQL库的host表是存在的,那为什么会提示不存在呢?问题应该出在/etc/my.cnf 文件上,从第一个截图也可以看到警告信息(/etc/my.cnf 被忽视)查看文件权限。原来文件权限被设置成 777,因安全...

同步时源MySQL的注意事项及限制

若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,导致同步结果不符合预期。在数据同步完成后,建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如,在MySQL触发HA...

Binlog常见问题

答:Binlog写满500MB就会生成新的Binlog日志文件继续写入,同时会根据本地备份设置将备份日志上传到OSS,并清理本地日志。详情请参见 删除本地日志(Binlog)。推荐阅读 关于Binlog的更多介绍和相关操作,请参见 管理本地日志(Binlog)。

数据备份与恢复

数据备份和恢复是数据库必不可少的能力,PolarDB-X 提供不同粒度的数据恢复能力,包括实例级的一致性备份恢复能力、表级的表回收站能力、SQL级的SQL闪回能力等。一致性备份恢复 一致性备份恢复提供实例级任意时间点(精确到秒级)的历史...

绑定或解绑RAM用户与数据库账号

Spark应用:使用RAM用户启动Spark应用,需要映射成 AnalyticDB MySQL 数据库普通账号访问 AnalyticDB MySQL 数据库。前提条件 已创建数据库普通账号。如何创建数据库普通账号,请参见 创建数据库账号。绑定RAM用户与数据库账号 登录 云原生...

绑定或解绑RAM用户与数据库账号

Spark应用:使用RAM用户启动Spark应用,需要映射成 AnalyticDB MySQL 数据库普通账号访问 AnalyticDB MySQL 数据库。前提条件 已创建数据库普通账号。如何创建数据库普通账号,请参见 创建数据库账号。绑定RAM用户与数据库账号 登录 云原生...

Binlog常见问题

答:Binlog写满500MB就会生成新的Binlog日志文件继续写入,同时会根据本地备份设置将备份日志上传到OSS,并清理本地日志。详情请参见 删除本地日志(Binlog)。推荐阅读 关于Binlog的更多介绍和相关操作,请参见 本地日志(Binlog)。

FineBI 6.0

本文测试了FineBI 6.0与 AnalyticDB MySQL 在连通性、列举表、查看表数据等方面的...测试范围 连接FineBI 说明 此处应填写MySQL数据库的连接信息,而不是AnalyticDB for MySQL数据库连接信息。新建数据库连接 列举表 查看表结构 查看表数据

常见问题

MySQL数据源网络联通性测试失败怎么办?实时任务,运行报错:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务,运行报错:...

迁移ECS实例至轻量应用服务器

迁移数据库数据时,需要MySQL数据库中的用户具有远程连接权限,因此,您需要在轻量应用服务器MySQL数据库中,设置一个用于远程连接的MySQL用户。切换数据库至mysql。use mysql;本示例中,用于远程连接的MySQL用户名为testUser,密码为...

常见问题

MySQL数据源网络联通性测试失败怎么办?实时任务,运行报错:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务,运行报错:...

通过数据传输服务进行PolarDB MySQL数据同步时提示...

问题描述 使用阿里云数据传输服务DTS对云原生关系型数据库PolarDB MySQL进行数据同步时,已同步部分数据,但数据不完整,提示以下错误信息:Original error:You are not using binary logging For more information please refer to ...

Replication语句

PolarDB-X 的Binlog日志服务有两种形态,分别是单流Binlog日志服务和多流Binlog日志服务,详细介绍请参见 Binlog日志服务。PolarDB-X 通过一系列的协议和算法来保证Binlog服务的稳定可靠:当CDC发生HA切换、增减节点操作时RTO小于30s。当对...

永洪BI

完成上述参数配置后,单击 测试连接 进行连通性测试,系统提示测试成功后,即可连接至指定的 AnalyticDB MySQL 数据库。使用永洪BI 通过永洪BI连接 AnalyticDB MySQL 集群后,您就可以获取 AnalyticDB MySQL 中的数据,然后通过永洪BI制作...

关联MySQL数据

本文介绍如何创建外部存储,建立日志服务与MySQL数据库的关联。前提条件 已采集数据到日志服务。具体操作,请参见 数据采集。已存储数据到MySQL数据库MySQL数据库在阿里云VPC内网域内。背景信息 日志服务外部存储功能支持日志服务与阿里...

数据迁移方案概览

“数据传输”导入 事务引擎/分析引擎 使用数据传输(Data Transmission Service)将自建MySQL数据库或者RDS for MySQL数据库迁移到HybridDB for MySQL中。从MySQL批量导入导出 分析引擎 HybridDB for MySQL支持从自建MySQL中全量导入和导出...

使用Terraform配置日志审计服务

目前 terraform-provider-alicloud 已经提供了超过163个Resource和113个Data Source,覆盖计算、存储、网络、CDN、容器服务、中间件和数据库等阿里云产品,满足大量客户的自动化上云需求。使用Terraform的优势 支持同时部署基础结构至多个...

5.6/5.7/8.0内核版本

数据库内核是指数据库引擎。PolarDB MySQL版 包含5.6、5.7和8.0三个大的数据库内核版本。PolarDB MySQL版 数据库内核在 PolarDB MySQL版 架构中的位置如下图所示。内核版本组成及关系说明 一个完整的 PolarDB MySQL版 数据库内核版本号由大...

库Binlog检查

修复方法:登录自建MySQL数据库服务器。使用 vim 命令修改配置文件 my.cnf 中的如下参数。说明 配置文件 my.cnf 的默认路径为/etc/my.cnf,请以实际情况为准。log_bin=mysql_bin binlog_format=row server_id=2#大于1的整数,此处仅为示例...

Logstore和MySQL联合查询

日志服务支持通过Join语法将Logstore和MySQL数据库进行联合查询,并把查询结果保存到MySQL数据库中。前提条件 已创建ExternalStore。具体操作,请参见 关联MySQL数据源。操作步骤 登录 日志服务控制台。在Project列表区域,单击目标Project...

备份操作

日志备份:也叫增量备份,备份了记录数据变更的Binlog日志开启日志备份后,基于“数据备份+日志备份”,您可以恢复时间范围内任意时间点(精确至秒)的数据。例如,实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志...

查询数据库账号

AnalyticDB MySQL兼容MySQL数据库,AnalyticDB MySQL中也有一个名为MySQL的内置数据库,该数据库中存储的是AnalyticDB MySQL中的用户与权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中,...

RDS for MySQL只读实例的Binlog是否可以使用

问题描述 RDS MySQL 5.6只读实例的Binlog日志不记录具体的操作变更。问题原因 RDS MySQL 5.6只读实例的Binlog日志是精简过的,所以Binlog无法使用。其他版本的只读实例Binlog日志是正常记录的。建议您使用DTS开通 数据订阅。

自建MySQL数据导入

本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版(3.0)。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...

ModifyBackupPolicy

描述 系统将根据用户设置的策略,修改数据库的备份策略,包括:开启/关闭定期自动备份 设置自动备份的时间 开启/关闭 Binlog 日志自动备份 请求参数 名称 类型 是否必须 描述<公共请求参数>-参见 公共参数 Action String 是 系统规定参数,...

日志引擎

开通多流 为了满足大规模集群、超大并发量的客户Binlog订阅需求,PolarDB-X 实例支持您在控制台开通多流Binlog服务,详细功能介绍请参见 Binlog日志服务。重要 当前多流Binlog服务开通需要申请白名单,如需使用请 联系我们。审核通过后,...

使用DMS连接服务器中的数据库

步骤一:查看MySQL的登录信息 轻量应用服务器提供的部分应用镜像(例如WordPress)中预置了MySQL数据库,您可以通过本步骤查看MySQL的登录信息。如果您的数据库是自行安装的数据库,可以跳过本步骤,在后续步骤中使用您已设置的数据库管理...

全增量同步任务常见问题

MySQL数据源网络联通性测试失败怎么办?全增量实时至MaxCompute时,数据源被置灰了没法选择怎么办?实时任务,运行报错:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务...

RDS MySQL实例间的同步

若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中,可能会因为MySQL数据库列名大小写不敏感,导致同步结果不符合预期。在数据同步完成后,建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如,在MySQL触发HA...

FineBI

检查外接MySQL数据库是否使用utf8(– UTF-8 Unicode)编码为字符集排列规则,或新建一个utf8编码的数据库 create database finedb character set utf8。配置外接数据库为AnalyticDB,连接失败 处理方法:外界数据库需要配置本地MySQL,而...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云服务器 ECS 云数据库 RDS 日志服务 轻量应用服务器 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用