工作原理
日志服务提供文本分析服务，用于对海量日志中的文本内容进行自动化和智能化的检测。本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
Node.js SDK概述
日志服务Node.js SDK封装了日志服务大部分主要的API接口。您可以通过日志服务Node.js SDK方便地调用日志服务大部分主要的API接口。版本说明 更多信息，请参见 Aliyun Log Node.js Release。示例代码 日志服务Node.js SDK提供丰富的示例代码...
CREATE DATABASE
创建新数据库。语法 CREATE DATABASE name 说明 CREATE DATABASE 不能在事务块内部执行。参数 参数 说明 name 要创建的数据库的名称。示例 创建新数据库：CREATE DATABASE employees;
从PolarDB MySQL版同步至Datahub
关于dts_before_flag和dts_after_flag的补充说明 对于不同的操作类型，增量日志中的 dts_before_flag 和 dts_after_flag 定义如下：INSERT 当操作类型为INSERT时，所有列的值为新插入的值，即为更新后的值，所以 dts_before_flag 取值为N，...
SELECT语句
查询特定数据库的measurement中的所有数据 SELECT*FROM"NOAA_water_database"."h2o_feet"name:h2o_feet-time level description location water_level 2015-08-18T00:00:00Z below 3 feet santa_monica 2.064 2015-08-18T00:00:00Z between...
REVOKE
删除指定权限 删除用户 user2 对数据库 db2 中的表 table2 所拥有的管理员权限。REVOKE ADMIN ON TABLE db2.table2 FROM user2;删除用户 user3 对表 table3 所拥有的写权限。REVOKE WRITE ON TABLE table3 FROM user3;删除用户 user4 所...
通过消费组读取文本日志进行模板匹配
通识字段模板 在文本分析作业对日志进行预处理时，日志相似聚类算法会使用模板表达式匹配日志中的文本内容并将其替换为模板名称，有助于提高分析的准确性。例如 模板名称 为 IP，模板表达式 为(?[^A-Za-z0-9])|^)(\d{1,3}\.\d{1,3}\.\d{1,3...
从RDS MySQL同步至DataHub
关于dts_before_flag和dts_after_flag的补充说明 对于不同的操作类型，增量日志中的 dts_before_flag 和 dts_after_flag 定义如下：INSERT 当操作类型为INSERT时，所有列的值为新插入的值，即为更新后的值，所以 dts_before_flag 取值为N，...
费用优化
如果您需要经常查询最近90天的日志数据，偶尔查询90天前的数据，建议您把Logstore 数据保存周期调整到90天，同时把数据导入MaxCompute。查询90天内数据，使用日志服务，查询90天前数据，使用MaxCompute。如果您对日志有长时间存储和备份的...
创建数据库
语法 CREATE DATABASE name 参数 参数名称 描述 name 新建数据库的名称。描述 CREATE DATABASE命令可以用来创建一个新的数据库。说明 仅限超级用户、polar_superuser权限用户或者拥有createdb权限的用户才能创建数据库。带有createdb权限的...
CREATE EXTERNAL DATABASE
AnalyticDB MySQL 湖仓版（3.0）和 数仓版（3.0）支持通过 CREATE ...语法 CREATE EXTERNAL DATABASE[IF NOT EXISTS]<db_name>参数 db_name：外部数据库名。数据库名命名规则，请参见 命名约束。示例 CREATE EXTERNAL DATABASE adb_demo;
DROP DATABASE
DROP DATABASE语句用于删除数据库。语法 drop_database_stmt:DROP DATABASE[IF EXISTS]database_name;参数说明 参数 说明 IF EXISTS 用于防止当数据库不存在时发生错误。database_name 指定待删除的数据库名。示例 删除数据库test。drop ...
基本概念
在日志服务中的保留字段为_time_，一般由日志中的时间信息直接提取生成。数据类型为整数字符串，Unix标准时间格式，单位为秒，表示从1970-1-1 00:00:00 UTC计算起的秒数。日志接收时间 日志到达日志服务的服务器被接收时的时间，默认不保存...
CREATE DATABASE
语法 CREATE DATABASE[IF NOT EXISTS][catalog_name.]db_name[COMMENT database_comment]参数说明 参数 是否必选 说明 catalog_name 否 指定该数据库的Catalog。db_name 是 数据库名。database_comment 否 数据库的注释信息。示例 创建一个...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
开启日志采集功能
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
Logtail采集详情
Logtail采集配置已设置 过滤器配置，则对每条日志中的所有字段进行遍历并验证。只有符合过滤器配置的日志被采集。聚合日志 为降低网络请求次数，在日志处理、过滤完毕后，会在Logtail内部缓存一段时间后进行聚合打包，再发送到日志服务。...
通过主外键约束消除多余的JOIN
跨数据库连接查询 例如，涉及数据库 db 的 item 表和数据库 db2 的 store_sales 表连接的查询：USE db2;示例查询语句/*PK_FK_DEPENDENCY_ENABLED=true*/EXPLAIN SELECT s.ss_sale_id,s.ss_item_sk FROM store_sales s,db.item WHERE ss_...
DROP DATABASE
DROP DATABASE语法用于删除指定的数据库。引擎与版本 DROP DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持DROP DATABASE语法。时序引擎无版本限制。语法 drop_database_statement:=DROP DATABASE[IF EXISTS]...
搜索（审计）
A：日志列表中所展示的数据库名称是从会话中获取的，而SQL语句中的数据库名称则由用户指定，取决于用户的输入或查询的设计，例如跨数据库查询、动态SQL等场景。两者之间可能存在不一致的情况。相关API 对于RDS MySQL、RDS PostgreSQL和RDS ...
索引
DROP DATABASE语句用于删除数据库。语法 drop_database_stmt:DROP DATABASE[IF EXISTS]database_name;参数说明 参数 说明 IF EXISTS 用于防止当数据库不存在时发生错误。database_name 指定待删除的数据库名。示例 删除数据库test。drop ...
SHOW（2.0版）
查询用户的数据库列表。指定 EXTRA 参数，输出关于数据库的更多信息，例如创建者ID、数据库连接信息等。SHOW DATABASES 查询用户的数据库列表。指定 EXTRA 参数，输出关于数据库的更多信息，例如创建者ID、数据库连接信息等。SHOW ...
使用前须知
根据访问日志中的 http_host 字段，查看某段时间内访问应用的host列表，为应用更新做储备。费用说明 目前，全球加速服务不针对访问日志收取费用。当涉及的Logstore的计费模式为按使用功能计费时，日志服务采集到日志后，将根据存储空间、...
使用Web Tracking采集日志
APIVersion=0.6.0&key1=val1&key2=val2'/>track_ua.gif除了上传自定义的参数外，还会将HTTP头中的UserAgent、referer也作为日志中的字段。说明 如果您需要采集HTTPS页面的referer，那么上述Web Tracking的链接也必须为HTTPS。OpenAPI 如果...
使用云监控监测日志服务的使用情况
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...
工作原理
数据库网关提供私网数据库远程访问的连接服务。通过数据库网关，您可以使用云服务访问并管理本地IDC或其他云厂商的数据库。工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集原理。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
语法简介
加工逻辑：基本处理：数据加工会以流式方式读取源Logstore的数据，并将每一条日志以字典的数据结构传递给加工规则，然后根据加工规则中定义的日志函数顺序处理日志数据，并将最终的数据加工结果输出到目标Logstore。说明 在传递的过程中...
同构数据源访问
在实例A的 local_db 库中查询实例B remote_db 库中的数据。SELECT*FROM s01.t1;返回示例如下。a|b|c-+-+-2|12|t1 3|13|t1 4|14|t1 7|17|t1 8|18|t1 1|11|t1 5|15|t1 6|16|t1 9|19|t1 10|20|t1(10 rows)相关文档 您也可以通过greenplum_fdw...
查询审计日志
本文介绍如何查询云数据库MongoDB的审计日志信息。前提条件 已开通审计日志，如何开通，请参见 开通审计日志。查询审计日志 登录 MongoDB管理控制台。根据实例类型，在左侧导航栏，单击 副本集实例列表 或 分片集群实例列表。在页面左上角...
事件配置
变量 日志服务支持通过变量灵活修改目标快速查询的查询和分析语句，当此处添加的变量与目标快速查询的查询和分析语句中的变量相同时，会将查询和分析语句中的变量替换为触发事件的字段值。您可以在 变量 页签中配置变量。说明 如果选择添加...
查询审计日志
本文介绍如何查询云数据库MongoDB的审计日志信息。前提条件 实例在正式版审计日志上线前，已开通免费试用版审计日志。说明 从2022年01月06日起，各地域将陆续上线正式版审计日志，并终止申请免费试用版审计日志。具体请参见【通知】云数据...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
常见问题
用于监控日志服务中的日志和时序数据，及时发现异常并触发告警。支持告警降噪、告警事务管理、告警通知等；支持40多个功能场景，充分满足研发、运维、安全以及运营人员的告警监控运维需求。更多信息，请参见 功能概览。日志服务告警适用于...
跨库操作（dblink、postgres_fdw）
创建数据库 postgres=>\c<数据库名>/切换数据库 示例 postgres=>create database db1;CREATE DATABASE postgres=>\c db1 新建postgres_fdw插件。db1=>create extension postgres_fdw;新建用于连接远端目标数据库的服务器对象。db1=>CREATE ...
通过Logtail跨阿里云账号采集日志
第一个 角色ARN 用于授予数据加工任务使用该角色来读取源Logstore中的数据。角色权限配置说明请参见 授予RAM角色源Logstore读权限。第二个 角色ARN 用于授予数据加工任务使用该角色将数据加工结果写入目标Logstore。角色权限配置说明请参见...
成本优化指南
数据加工主要解决您规整数据的痛点以及帮助您进一步挖掘数据的价值，降低时间与人力成本。合理配置可以节约一定的成本，本文档介绍如何以较优的成本方式使用数据加工功能。典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用...
使用访问日志
日志库Logstore 日志服务中日志数据的采集、存储和查询单元。您可以 选择现有Logstore，也可以 新建Logstore。说明 执行此操作时，系统会判断全球加速是否拥有服务关联角色AliyunServiceRoleForGaFlowlog：如果全球加速不存在服务关联角色...
复制数据库SQL Server 2012及以上版本
您可以使用SQL命令复制数据库，您只需要使用存储过程sp_rds_copy_database指定源数据库和目的数据库即可。复制时间与数据库大小有关。说明 关于如何复制SQL Server 2008 R2版本实例的数据库，请参见 复制数据库SQL Server 2008 R2版。前提...
- 产品推荐
- 这些文档可能帮助您