非关系型数据库日志-非关系型数据库日志文档介绍内容-阿里云

常见问题

日志服务如何设置字段索引如何修改SQL查询语句输出结果的行数如何查询日志的来源机器和日志条目如何精确的按照时间排序查询日志如何将日志下载到本地如何在日志中搜索包含空格的关键字数据加工常见问题错误排查概述加工引擎启动...

采集PostgreSQL查询结果

数据库表和日志样例 PostgreSQL数据库表结构样例和Logtail采集到的日志样例如下所示。表结构样例/创建表。CREATE TABLE IF NOT EXISTS specialalarmtest(id BIGSERIAL NOT NULL,time TIMESTAMP NOT NULL,alarmtype varchar(64)NOT NULL,ip ...

采集MySQL Binlog（计划弃用）

使用日志服务对数据库更新信息进行自定义查询分析、可视化、对接下游流计算、导入MaxCompute离线计算、导入OSS长期存储等操作。注意事项建议您适当放开对Logtail的资源限制以应对流量突增等情况，避免Logtail因为资源超限被强制重启，对您...

使用RDS内网地址访问RDS MySQL数据库

当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...

关联MySQL数据源

本文介绍如何创建外部存储，建立日志服务与MySQL数据库的关联。前提条件已采集数据到日志服务。具体操作，请参见数据采集。已存储数据到MySQL数据库。MySQL数据库在阿里云VPC内网域内。背景信息日志服务外部存储功能支持日志服务与阿里...

管理审计日志

StarRocks将所有审计日志存储在本地文件 fe/log/fe.audit.log 中，并且这些日志无法通过系统内部数据库访问。启用审计日志功能将安装AuditLoader插件，该插件能够从本地文件中读取日志，并通过HTTP PUT方法将其导入StarRocks数据库，方便您...

API简介

日志库 Logstore 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。分区 Shard 日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定...

云原生关系型数据库PolarDB的审计事件

云原生关系型数据库PolarDB已与操作审计服务集成，您可以在操作审计中查询用户操作云原生关系型数据库PolarDB产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等...

管理日志投递任务

存储目标包括源Project、源Logstore和目标数据库信息。消费进度数据投递任务读取源Logstore日志数据的消费进度。统计报表创建投递任务后，自动生成数据投递仪表盘，包括总览指标、每秒投递行数指标、消费延迟指标、消费速率指标、读写...

最佳实践

时序存储使用Prometheus采集Kubernetes监控数据查询与分析查询和分析网站日志查询和分析JSON日志 Data Explorer案例关联Logstore与MySQL数据库进行查询分析关联Logstore与OSS外表进行查询和分析查询MNS日志采集及分析Nginx监控日志...

告警属性参考

日志库 区域否对日志库和时序库进行查询统计时，取值为目标Project所在地域。说明对资源数据进行查询统计时，无该参数。cn-hangzhou 项目否对日志库和时序库进行查询统计时，取值为源数据所在Project。说明对资源数据进行查询统计时...

离线同步提速或限速

关系型数据库通常只支持数值型作为切分键，但Oracle数据库支持以数值型和字符串类型作为切分键。常见问题数据同步任务where条件没有索引，导致全表扫描同步变慢。BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少...

同步数据

通过Kettle将关系型数据库、Hbase等NoSQL数据源，以及Excel、Access中的数据导入分析型数据库MySQL版中，详细操作步骤请参见使用kettle将本地数据导入分析型数据库MySQL版。通过 Logstash 插件将采集到的日志等数据等实时写入分析型数据库...

云数据库RDS

本文介绍云数据库RDS SQL审计日志、慢日志、错误日志和性能日志的字段详情。审计日志日志字段说明_topic_日志主题，固定为rds_audit_log。owner_id 阿里云账号ID region RDS实例所在地域 instance_name RDS实例名 instance_id RDS实例ID ...

从SLS同步

本文介绍如何使用日志投递功能从日志服务（SLS）同步数据到云数据库ClickHouse。注意事项云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...

数据迁移

背景信息传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...

导入MySQL数据

您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...

过滤VPC流日志公网流量

在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件已开通VPC流日志功能。具体...

复制和分发数据

日志服务支持对每一个源Logstore...执行结果打开target-a项目，在日志存储>日志库 页签中选择logstore-a日志库，您可以看到分发过来的数据。打开target-b项目，在日志存储>日志库 页签中选择logstore-b日志库，您可以看到分发过来的数据。

概览

{"Version":"1","Statement":[{"Action":["log:Post*","log:BatchPost*"],"Resource":["acs:log:*:*:project/<指定的project名称>/logstore/<指定的logstore名称>"],"Effect":"Allow"}]} 控制台查询指定日志库（Logstore）数据给RAM用户...

RDS SQL Server云数据库的磁盘空间被占满

model_desc,log_reuse_wait,log_reuse_wait_desc,is_auto_shrink_on from sys.databases where name=DB_NAME())b WHERE type=1 说明[$Database_Name]为数据库名。[$Logic_Name]为逻辑文件名。执行以下SQL语句，查看日志文件空间是否可回收...

导入OSS数据

在日志存储>日志库 中，选择目标日志库下的数据接入>数据导入，单击配置名称。查看任务在导入配置概览页面，查看导入配置的基本信息和统计报表。修改任务单击修改配置，修改导入配置的相关信息。更多信息，请参见设置导入配置。...

数据库代理常见问题

更多信息，请参见通用型代理和独享型代理、代理个数和代理规格的关系、数据库代理费用说明。数据库代理是否占用主实例的QPS或者TPS？不会。数据库代理地址和常规地址是否是一个地址？不是。常规地址：正常的业务读写地址，通过该地址发送...

从RDS MySQL数据库获取数据进行数据富化

日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据，结合数据加工规则，进行数据富化。背景信息在数据存储场景中，您可能经常遇到数据分散存储的问题，例如用户操作、行为等相关数据存储在日志服务中，用户属性、注册信息等相关...

管理Project

删除日志项目可能导致日志库的数据丢失，请确认Logstore，MetricStore、EventStore等数据无用或已做好数据备份。本文介绍如何在日志服务控制台上创建、删除日志项目Project等操作。基本概念项目（Project）是日志服务中的资源管理单元，...

关联Logstore与MySQL数据库进行查询分析

本文以游戏公司数据分析场景为例，介绍日志服务Logstore与MySQL数据库关联分析功能。前提条件已采集日志到日志服务。更多信息，请参见数据采集。已为日志字段创建索引。更多信息，请参见创建索引。已有可用的MySQL数据库。更多信息，请...

简介

本视频介绍处理非结构化数据时，日志服务数据加工的主要功能和典型场景。icmsDocProps={'productMethod':'created','language':'zh-CN',};

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...

查询审计日志

开通云数据库Redis版审计日志后，您可以在审计日志中查询数据写入、修改与删除的记录，也可以进行故障排查或 Redis 实例资源消耗突增等性能分析。前提条件已开通审计日志，详情请参见开通审计日志。背景信息当您需要查看数据库请求...

查询审计日志

前提条件已开通云原生多模数据库Lindorm的审计日志功能。具体操作，请参见开通审计日志。时序引擎为3.4.25及以上版本。如何查看或升级当前版本，请参见时序引擎版本说明和升级小版本。审计日志类型 Lindorm审计日志记录了以下SQL操作...