通过日志服务实现数据库MySQL入湖OSS实践
本实践内容来自实战派，由阿里云专家创作，为您介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践，并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。目标读者 需要将MySQL数据导入SLS或者OSS进行分析和存储的开发运维...
Dataphin输出数据源为MySQL，为什么管道任务日志中...
概述 本文主要介绍输出数据源为MySQL，管道任务日志中写入条数远大于数据库中对表 count(1)数目的原因。详细信息 在执行管道任务时，检查运行日志发现写入条数和数据库中表的 count(1)条数对不上，管道任务日志写入条数远大于数据库中表的 ...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
数据库名称 目标AnalyticDB for MySQL数据库的名字。表组名 目标AnalyticDB for MySQL中的表组。表名 目标AnalyticDB for MySQL中的表名，投递过来的日志数据将存储在该表中。AccessKey ID 当前阿里云账号的AccessKey ID，请参见 获取阿里...
将日志服务数据投递到AnalyticDB MySQL
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
如何调整PolarDB MySQL的Redo日志文件的大小和数量
概述 阿里云云原生关系型数据库PolarDB MySQL引擎的Redo日志文件占用大量磁盘空间，需要进行清理。本文主要介绍如何通过 loose_innodb_polar_log_file_max_reuse 参数减少日志空间占用量。详细信息 Redo日志通常在2GB~11GB左右，最多时会...
云数据库RDS MySQL版实例中实时查询慢日志slow_log的...
概述 本文主要介绍在使用云数据库RDS MySQL版实例时，实时查询慢日志slow_log的方法。用户告知 本文仅阐述实时查询slow_log的方法，文中的操作示例未通过where语句进行条件过滤，因此属于全表查询。建议您在操作时，通过where语句增加条件...
云数据库RDS MySQL版远程获取Binlog日志并解析Binlog...
本文主要介绍阿里云云数据库RDS MySQL如何远程获取Binlog日志，并使用mysqlbinlog工具解析Binlog日志。重要 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
管理本地日志（Binlog）
MySQL的本地日志（Binlog）是一种记录MySQL数据库所有更改操作的日志文件，可用于自行搭建主从架构、订阅数据等。本文介绍如何查看或删除RDS MySQL实例的本地日志（Binlog）。本地日志与日志备份区别 对比项 本地日志（Binlog）日志备份 ...
关联MySQL数据源
本文介绍如何创建外部存储，建立日志服务与MySQL数据库的关联。前提条件 已采集数据到日志服务。具体操作，请参见 数据采集。已存储数据到MySQL数据库。MySQL数据库在阿里云VPC内网域内。背景信息 日志服务外部存储功能支持日志服务与阿里...
关联Logstore与MySQL数据库进行查询分析
本文以游戏公司数据分析场景为例，介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件 已采集日志到日志服务。更多信息，请参见 数据采集。已为日志字段创建索引。更多信息，请参见 创建索引。已有可用的MySQL数据库。更多信息，请...
Logstore和MySQL联合查询
日志服务支持通过Join语法将Logstore和MySQL数据库进行联合查询，并把查询结果保存到MySQL数据库中。前提条件 已创建ExternalStore。具体操作，请参见 关联MySQL数据源。操作步骤 登录 日志服务控制台。在Project列表区域，单击目标Project...
MySQL日志备份
数据库已开启Binlog，具体操作，请参见如下步骤：用如下命令确认MySQL数据库的binlog是否已开启。show variables like '%log_bin%';可选：若未开启，可参见如下命令开启Binlog：在/etc/my.cnf文件中增加如下内容：log_bin=mysql-bin binlog...
从RDS MySQL数据库获取数据进行数据富化
日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据，结合数据加工规则，进行数据富化。背景信息 在数据存储场景中，您可能经常遇到数据分散存储的问题，例如用户操作、行为等相关数据存储在日志服务中，用户属性、注册信息等相关...
投递RDS MySQL日志到日志服务
RDS MySQL的日志可以通过多种日志采集方式投递到日志服务中统一管理，本文介绍RDS MySQL日志的采集方法以及字段说明。RDS MySQL日志采集方式 目前，日志服务支持通过如下三种方式采集RDS SQL审计日志。说明 CloudLens for RDS方式和接入...
日志备份
开启日志备份功能后，本地日志会实时上传（复制）到备份空间，形成日志备份。基于日志备份，您可以恢复数据到备份保留时间内的任意时间点。本文介绍如何管理和查看RDS MySQL的日志备份。费用说明 开启日志备份该操作不收费，但日志备份会...
查看错误日志和慢日志
错误日志 记录1个月内数据库运行出错的日志。慢日志明细 记录7天内数据库中执行时间超过1s（可以在 参数设置 中修改long_query_time参数来设置）的SQL语句，并进行相似语句去重。说明 控制台每分钟更新一次。慢日志统计 对7天内数据库中...
RDS MySQL日志备份
开启日志备份功能后，本地日志会实时上传（复制）到备份空间，形成日志备份。基于日志备份，您可以恢复数据到备份保留时间内的任意时间点。本文介绍如何管理和查看RDS MySQL的日志备份。费用说明 开启日志备份该操作不收费，但日志备份会...
InnoDB Physiological Logging
逻辑日志（Logical Logging）逻辑日志记录的是对于表的操作，类似于MySQL数据库上层产生的二进制日志（Binlog）。记录的是操作，与物理格式无关。优点 记录非常高效。例如，DELETE 操作只需要记录几个字节。在SMO和页面整理等场景更加明显...
绑定或解绑RAM用户与数据库账号
RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器：使用RAM用户登录SQL编辑器，需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式：使用 AnalyticDB MySQL 数据库普通账号登录，需要映射成RAM用户进行外表...
FineBI 6.0
本文测试了FineBI 6.0与 AnalyticDB MySQL 在连通性、列举表、查看表数据等方面的...测试范围 连接FineBI 说明 此处应填写MySQL数据库的连接信息，而不是AnalyticDB for MySQL数据库连接信息。新建数据库连接 列举表 查看表结构 查看表数据
绑定或解绑RAM用户与数据库账号
RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器：使用RAM用户登录SQL编辑器，需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式：使用 AnalyticDB MySQL 数据库普通账号登录，需要映射成RAM用户进行外表...
DataV
域名 连接 AnalyticDB MySQL 数据库的URL地址。说明 此处的URL地址不是官网页面的URL，也不是本机的IP，是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的URL地址。例如使用外网环境下的阿里云 AnalyticDB MySQL，域名...
永洪BI
完成上述参数配置后，单击 测试连接 进行连通性测试，系统提示测试成功后，即可连接至指定的 AnalyticDB MySQL 数据库。使用永洪BI 通过永洪BI连接 AnalyticDB MySQL 集群后，您就可以获取 AnalyticDB MySQL 中的数据，然后通过永洪BI制作...
AnalyticDB MySQL助力Flowerplus业务高速发展
复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂查询报表返回很慢或者根本无法返回，无法正常支撑报表和BI业务。数据实时性 部分报表对返回...
自建MySQL数据导入
本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版（3.0）。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...
通过Spark SQL访问MySQL数据
AnalyticDB MySQL 湖仓版（3.0）支持提交Spark SQL作业，您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例，介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...
查看慢日志明细
本章将介绍云数据库RDS MySQL如何查询数据库中的慢日志明细。简介 RDS默认开启慢日志功能。查看其它类型日志可以参见 查看错误日志和慢日志。RDS慢日志采集策略详见 RDS慢日志的采集策略。注意事项 如果一分钟内实例中产生的慢日志超过600...
MySQL Binlog日志的生成和清理规则
详情请参见 删除本地日志（Binlog）。
FineBI
检查外接MySQL数据库是否使用utf8（– UTF-8 Unicode）编码为字符集排列规则，或新建一个utf8编码的数据库 create database finedb character set utf8。配置外接数据库为AnalyticDB，连接失败 处理方法：外界数据库需要配置本地MySQL，而...
MySQL数据库对外键和索引等名称的长度限制导致创建时...
Identifier name 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' is too long 问题原因 因为 MySQL数据库 对外键和索引等名称的长度有限制，具体如下：Identifier Type Maximum Length(characters)Database 64(NDB ...
查询数据库账号
AnalyticDB MySQL兼容MySQL数据库，AnalyticDB MySQL中也有一个名为MySQL的内置数据库，该数据库中存储的是AnalyticDB MySQL中的用户与权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中，...
下载备份
如果用于恢复数据到自建数据库，数据备份的时间点必须在日志备份的时间范围内，且日志备份和数据备份必须属于同一实例，即备份所在实例编号相同。附录：下载命令 本章节简单介绍常用的下载命令。说明 如果网络下载速度过低（小于每秒64 KB...
概述
创建PolarDB for MySQL数据库集群 设置集群白名单 创建数据库账号 创建数据库 连接数据库 创建数据表 本示例在-PolarDB中创建 test_ads 数据库和 login_info 表，login_info 表存储5条数据。CREATE TABLE `login_info`(`id` int(11)NOT ...
修改表 ALTER TABLE 的不兼容点
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，MySQL 数据库执行的 ALTER TABLE DDL 支持被数据传输的 DDL 同步组件转换，但 OceanBase 数据库 MySQL 租户不支持执行的场景。行内 CHECK 表达式中引用了其它列 ...
导出至自建MySQL
TABLE_PROPERTIES AnalyticDB MySQL 访问自建MySQL数据库的访问方式。url ECS实例的 主私网IP（即VPC地址）和目标库名（本文示例中为 test_adb）。查看步骤如下：登录 ECS管理控制台 并找到目标实例。在 实例详情 页签的 网络信息 区域，...
登录数据库
HybridDB for MySQL数据库兼容MySQL协议，您可以通过MySQL客户端或程序访问HybridDB for MySQL数据库，也可以使用阿里云的DMS登录数据库。前提条件 已通过HybridDB for MySQL管理控制台创建实例及数据库，待状态显示为 运行中，则数据库...
数据迁移方案概览
“数据传输”导入 事务引擎/分析引擎 使用数据传输（Data Transmission Service）将自建MySQL数据库或者RDS for MySQL数据库迁移到HybridDB for MySQL中。从MySQL批量导入导出 分析引擎 HybridDB for MySQL支持从自建MySQL中全量导入和导出...
登录数据库
HybridDB for MySQL数据库兼容MySQL协议，用户可以通过MySQL客户端或程序访问HybridDB for MySQL数据库，也可以使用阿里云的DMS。首先通过 HybridDB for MySQL管理控制台 创建实例及数据库，待状态显示为“运行中”，则数据库准备就绪；在...
- 产品推荐
- 这些文档可能帮助您