关联Logstore与MySQL数据库进行查询分析
本文以游戏公司数据分析场景为例，介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件 已采集日志到日志服务。更多信息，请参见 数据采集。已为日志字段创建索引。更多信息，请参见 创建索引。已有可用的MySQL数据库。更多信息，请...
从RDS MySQL数据库获取数据进行数据富化
日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据，结合数据加工规则，进行数据富化。背景信息 在数据存储场景中，您可能经常遇到数据分散存储的问题，例如用户操作、行为等相关数据存储在日志服务中，用户属性、注册信息等相关...
Linux系统日志/var/log配置绕接
请根据实际情况确定哪些可以清理：#系统启动的相关日志 rm-rf/var/log/boot.log-*rm-rf/var/log/btmp-*#邮件服务的日志 rm-rf/var/log/maillog-*#crond计划任务的日志 rm-rf/var/log/cron-*#绝大多数的系统日志都记录到该文件 rm-rf/var/...
GetProjectLogs-获取目标Project下的日志
查询目标Project下的日志，该接口是Project级别的SQL查询接口。接口说明 请求语法中 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。已创建并获取 AccessKey。更多信息，请参见 访问密钥。阿里云账号 ...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版（兼容Oracle）默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。背景信息 log_fdw插件提供如下两个函数，帮助您查询...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版（兼容Oracle）默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。背景信息 log_fdw插件提供如下两个函数，帮助您查询...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版（兼容Oracle）默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。背景信息 log_fdw插件提供如下两个函数，帮助您查询...
数据存储
日志数据存储 日志数据主要包括审计日志、查询详情日志，经过多重的拆解、组合以及聚合后，目前主要存储在OLAP数据库中，进行后续的实时多维分析。其中审计日志单独存储在一个数据库表中，包括USER、DATABASE、RT、SQL、TYPE等明细信息；把...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版 默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小...
RDMA日志传输
全球数据库网络GDN中的从集群 不支持 开启RDMA日志传输功能。使用方法 您可以通过 loose_innodb_polar_log_rdma_transfer 参数开启RDMA日志传输功能。参数 级别 说明 loose_innodb_polar_log_rdma_transfer Global RDMA日志传输功能开关，...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
Node.js SDK快速入门
本文介绍如何快速使用日志服务Node.js SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
动态日志配置
通常应用使用logback、log4j等日志框架记录日志，通过日志配置文件配置日志级别，最终将日志内容输出到文件中。EDAS支持应用在运行时修改日志配置并生效。您可以在EDAS控制台创建日志配置，并添加配置内容（或通过抓取原有日志配置）和选择...
动态日志配置
通常应用使用logback、log4j等日志框架记录日志，通过日志配置文件配置日志级别，最终将日志内容输出到文件中。EDAS支持应用在运行时修改日志配置并生效。您可以在EDAS控制台创建日志配置，并添加配置内容（或通过抓取原有日志配置）和选择...
RDS MySQL版实例的慢日志无数据
问题原因 mysql.slow_log表损坏，RDS MySQL版实例的慢日志记录在mysql.slow_log表中，后台会定期的获取慢日志记录并清理mysql.slow_log表，然后展示到RDS控制台 的慢日志明细页面。解决方案 RDS MySQL 5.5版实例 您可以先确认已开启慢日志...
日志监控
由于各类日志的查询流程一致，所以本文以慢查询日志为例，介绍日志查询的操作步骤。登录 阿里云Elasticsearch控制台。在左侧导航栏，单击 高级监控报警。选择 监控可视化>日志监控。在 日志监控 页面，单击 慢查询日志 页签。设置 Query。...
开通日志实时查询功能
您在执行日志查询分析前，需先开通日志实时查询功能。本文介绍如何在OSS控制台上开通日志实时查询功能。前提条件 已创建OSS Bucket。具体操作，请参见 控制台创建存储空间。请确保日志服务Project和OSS Bucket在同一阿里云账号且在同一地域...
基于代价的SQL优化
实现复杂查询的实时分析，是 AnalyticDB MySQL 的核心优势之一。AnalyticDB MySQL 采用基于代价的查询优化器（Cost-Based Optimizer），以获得最佳的查询执行计划，提高查询效率。AnalyticDB MySQL 基于代价的查询优化器具有以下优点：面向...
日志
您可以在Node.js运行环境中打印和查看日志，通过日志快速定位问题或分析日志了解函数执行过程和耗时等，提升系统的可靠性和稳定性。打印日志 函数往标准输出stdout打印的日志内容会被收集到创建服务时指定的Logstore中，您可以使用如下几种...
GetProjectLogs
查询目标Project下的日志，该接口是Project级别的SQL查询接口。接口说明 请求语法中Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有...
最佳实践
时序存储 使用Prometheus采集Kubernetes监控数据 查询与分析 查询和分析网站日志 查询和分析JSON日志 Data Explorer案例 关联Logstore与MySQL数据库进行查询分析 关联Logstore与OSS外表进行查询和分析 查询MNS日志 采集及分析Nginx监控日志...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
HDFS服务日志
HDFS服务的日志存储在/mnt/disk1/log/hadoop-hdfs 目录下，本文介绍HDFS服务各组件对应日志的详细说明。组件 日志 说明 ZKFailoverController（ZKFC）hadoop-hdfs-zkfc-*.out ZKFC的进程启动日志，部分启动异常会显示在out文件中。hadoop-...
日志字段详情
本文介绍RDS相关日志的字段详情。审计日志 字段名称 说明_topic_日志主题，固定为rds_audit_log。instance_id RDS实例ID。check_rows 扫描的行数。db 数据库名。fail SQL执行是否出错。如果是MySQL实例或SQL Server实例，则执行成功时，...
设置告警
外部配置 无 PolarDB数据库查询峰值监控告警 项目 说明 规则名称 PolarDB数据库查询峰值监控告警 作用 监控PolarDB MySQL数据库的查询峰值。当查询峰值超过 查询峰值阈值 时，触发告警。参数配置 告警名称：告警名称。行动策略：当前告警...
查看错误日志和慢日志
慢日志统计 对7天内数据库中执行时间超过1秒（可以在 参数设置 中修改long_query_time参数来设置）的SQL语句进行统计汇总，给出慢查询日志的分析报告。说明 慢日志统计非实时采集，可能会有6~8小时的延迟。说明 华北3（张家口）的实例仅...
Tableau
Tableau是一款操作简单且功能强大的报表分析工具，支持连接 AnalyticDB MySQL 数据源。在Tableau中连接 AnalyticDB MySQL 后，可以通过拖放或单击的方式快速创建智能视图和仪表板。前提条件 安装 Alibaba AnalyticDB for MySQL connector。...
AnalyticDB MySQL助力Flowerplus业务高速发展
复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂查询报表返回很慢或者根本无法返回，无法正常支撑报表和BI业务。数据实时性 部分报表对返回...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
接入MySQL监控数据
MySQL数据库中提供多项监控指标，您可以将MySQL数据库中的监控指标接入到全栈可观测应用中，进行可视化展示。前提条件 已创建全栈可观测实例。具体操作，请参见 创建实例。已有可用的MySQL数据库。仅支持MySQL 5.5及以上版本。操作步骤 ...
使用资源函数增量获取数据
本文介绍如何使用res_rds_mysql函数增量获取RDS MySQL数据库中的数据。前提条件 日志服务 已上传数据到日志服务源Logstore中。具体操作，请参见 数据采集。已创建日志服务目标Logstore。具体操作，请参见 创建Logstore。如果您使用的是RAM...
采集MySQL查询结果
重要 请确保用于安装Logtail的服务器可连接目标MySQL数据库。在MySQL数据库中，设置白名单为Logtail所在服务器的IP地址。例如RDS MySQL数据库的白名单设置，请参见 设置IP白名单。原理 Logtail根据Logtail采集配置定期执行指定的SELECT语句...
监控日志服务
日志服务提供服务日志功能，用于记录操作日志、消费组延迟日志、Logtail告警日志、Logtail采集日志和Logtail状态日志，帮助您实时掌握日志服务的使用状况，提高运维效率。前提条件 已开通服务日志。更多信息，请参见 开通服务日志。背景...
概述
本章节从 AnalyticDB MySQL版 的查询处理流程入手，介绍了执行计划的要素和影响查询性能的主要因素，如何定位慢查询或资源消耗较大的查询，以及如何通过 SQL诊断功能、慢查询表 等工具查看分析 AnalyticDB MySQL版 的查询执行计划。
云数据库RDS
mysql_perf_qps 平均每秒SQL语句执行次数 mysql_perf_slow_queries 平均每秒慢查询数量 mysql_perf_tb_tmp_disk MySQL执行语句时每秒在磁盘上自动创建的临时表的数量 mysql_perf_threads_connected MySQL线程连接数 mysql_perf_threads_...
通过外表导入至湖仓版
示例数据说明 本文示例的RDS MySQL数据库名为 test_adb，并在该库中创建了一张名为 person 的表，示例如下：CREATE TABLE IF NOT EXISTS test_adb.person(id int,name varchar(1023),age int);向 person 表中插入数据，示例如下：INSERT ...
Logtail采集日志失败的排查思路
使用Logtail采集日志后，如果预览页面为空或查询页面无数据，您可以根据本文步骤进行排查。操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会...
通过日志服务实现数据库MySQL入湖OSS实践
本实践内容来自实战派，由阿里云专家创作，为您介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践，并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。目标读者 需要将MySQL数据导入SLS或者OSS进行分析和存储的开发运维...
接入MySQL监控数据
您可使用Telegraf采集MySQL监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建MySQL可视化监控方案。本文介绍如何通过日志服务来完成MySQL监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接...
Nginx模式解析
Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志，log_format和access_log的默认值如下所示。log_format main '$remote_addr-$remote_user[$time_local]"$request"' '$request_time$request_length ' '...
- 产品推荐
- 这些文档可能帮助您