简介
为了读取日志数据，需要您授权日志服务账号访问日志数据。更多信息，请参见 创建可信实体为阿里云服务的RAM角色及授权。授权用户角色操作日志服务 RAM用户角色是一种虚拟用户，它没有确定的身份认证密钥，且需要被一个受信的实体用户（比如...
普通消费
SDK消费 本示例中，创建一个PullLogsDemo.java文件，并调用接口读取日志数据，完成普通消费的演示。示例如下所示。关于日志服务SDK的更多信息，请参见 日志服务SDK参考。import com.aliyun.openservices.log.Client;import ...
Storm消费
为了降低Storm消费的代价，日志服务提供了LogHub Storm Spout来实时读取日志数据。基本结构和流程 图 1.基本结构和流程 上图中红色虚线框中是LogHub Storm Spout，每个Storm Topology会有一组Spout，同组内的Spout共同负责读取Logstore中...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
创建数据加工任务
日志服务支持您使用数据加工读取源Logstore中的数据，对数据进行加工处理后，写入到不同的目标Logstore中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。前提条件 已采集...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
管理日志存储空间
清空已存储的日志数据，并减少日志存储时长。相关操作，请参见 清空日志、修改日志存储时长。重要 日志数据只支持一次性全部清空，且清空后无法恢复。请确保您不再需要已存储的全部日志数据时，再选择该方案。每个阿里云账号总共拥有2次...
导入云监控数据
本文介绍导入云监控数据到日志服务所涉及的使用限制。采集限制 限制项 说明 采集起始时间 创建导入配置时，默认采用的起始时间为 now()-30 分钟，即针对新建的导入任务，最多只导入30分钟的历史数据。采集周期 导入任务每分钟为导入的每个...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
OSS数据源
支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言，OSS Reader支持的功能如下。支持 不支持 支持且仅支持读取TXT格式的文件，且要求TXT中schema为...
GetLogs
调用GetLogs接口查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。接口说明 说明 日志服务支持创建定时SQL任务。具体操作，请参见 创建定时SQL任务。请求语法中Host由Project名称和日志服务Endpoint...
监控与日志
云原生多模数据库 Lindorm 已接入阿里云基础云监控服务供您免费使用，可有效保障资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，...日志数据存储时长最大为180天。存储时长支持修改。相关操作，请参见 修改Logstore配置。
快速使用全量日志分析
将网站接入DDoS高防后，您可以通过全量日志分析采集和存储网站的日志数据，并对采集到的日志数据进行查询与分析。本文介绍如何快速使用全量日志分析功能。使用前须知 使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志...
复制和分发数据
通过e_split函数将日志数据进行分裂。更多信息，请参见 e_split。通过e_output函数将日志分发到target-a和target-b。更多信息，请参见 e_output。e_drop()表示将不满足条件的日志丢弃，不进行分发。更多信息，请参见 e_drop。单击 预览数据...
Logtail采集详情
采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请参见 Logtail技术分享。监听日志 在服务器上安装Logtail及在日志服务控制台上创建Logtail采集配置后...
常见问题
日志服务提供50多种接入方案，例如使用Logtail采集文本日志、使用Logtail插件采集移动端数据、通过标准协议（Kafka、Syslog等）上传日志、接入阿里云产品日志等。更多信息，请参见 接入日志、接入时序数据、接入Trace数据。阿里云会使用我...
过滤VPC流日志公网流量
新的日志数据，只保留公网日志。您可以输入查询和分析语句，对公网流量的请求来源城市和目的地城市进行查询分析。例如：*|select ip_to_city(srcaddr)as sourceAddr,ip_to_city(dstaddr)as dstAddr,COUNT(*)as pv group by sourceAddr,...
费用优化
如果您需要经常查询最近90天的日志数据，偶尔查询90天前的数据，建议您把Logstore 数据保存周期调整到90天，同时把数据导入MaxCompute。查询90天内数据，使用日志服务，查询90天前数据，使用MaxCompute。如果您对日志有长时间存储和备份的...
使用前须知
当Logstore的计费模式为按使用功能计费时，如果您要执行数据加工、投递、从外网接入点流式读取数据操作，由日志服务收取加工计算费用、数据投递费用和外网读取流量费用，详情请参见 日志服务产品定价。当Logstore的计费模式为按写入数据量...
使用前须知
日志服务 采集PolarDB日志到日志服务后，如果您要执行数据加工、投递、从外网接入点流式读取数据操作，由日志服务收取加工计算费用、数据投递费用和外网读取流量费用。更多信息，请参见 按使用功能计费模式计费项。限制条件 只支持采集...
计费案例
低频存储：0.005元/GB/天 25元 案例3 C客户业务数据日志量1天1 TB，正在进行日志数据平台选型，客户需求包括全字段可查可分析，通过数据加工清洗错误日志，日志存储30天以备问题回溯，部分数据投递到MC进行进一步的离线数据挖掘。...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
数据压缩
在实际使用API接口访问日志服务时，请以实际数据结构为准。{"_tags_":{},"_topic_":"","_source_":"47.100.XX.XX","_logs_":[{"_time_":"03/22 08:51:01","content":"*RSVP Agent started*","method":"main","level":"INFO"},{"_time_":"03...
开启域间分析
授权完成后，日志服务将使用AliyunLogETLRole来读取源Logstore中的数据以及将数据加工结果写入目标Logstore。如果您要使用RAM用户操作，则阿里云账号完成AliyunLogETLRole授权后，还需要授予RAM用户数据加工操作权限。更多信息，请参见 ...
复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
管理数据加工任务
消费进度 数据加工任务读取源Logstore日志数据的消费进度。执行状态 默认创建的数据加工规则执行数据指标的仪表盘，包括总览指标、加工速率指标、消费延迟指标、消费速率指标、活跃Shard指标、异常情况。更多信息，请参见 数据加工仪表盘。...
逻辑备份、物理备份与快照
本文介绍逻辑备份、物理备份与快照的区别，以及使用 数据库备份DBS 控制台创建备份计划时如何选择备份方式。常用的数据备份方式为逻辑备份、物理备份与快照：逻辑备份：数据库对象级备份，备份内容是表、索引、存储过程等数据库对象，常见...
如何解决查询分析与流处理两种场景下的数据口径差异
通过记录这两种时间戳，我们可以在日志服务中进行不同的操作和分析，适用于两种不同的使用场景：查询和分析 在常见的业务场景中，使用_time_字段可以按照日志时间进行查询和排序，以便在特定时间范围内检索和分析日志数据。流处理功能 使用...
FTP数据源
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
使用前须知
支持导出大批量的日志数据。最佳实践 使用短信服务做运营活动。运营人员获取一批手机号码，其中部分手机号码已经不再使用，发出的短信没有任何效果，浪费运营经费。通过短信日志分析，找出无效的手机号码，节省经费。运营人员发送营销短信...
跨Project监控数据
授权后，日志服务将创建名称为 AliyunSLSAlertMonitorRole 的RAM角色，日志服务将扮演此角色以读取源日志库中的数据。自定义角色授权（同账号）对同一个阿里云账号下的不同日志库和时序库进行告警监控时，您可以通过 自定义角色 实现协同告...
备份大小
本文介绍如何查看和管理云数据库专属集群MyBase MySQL的备份...说明 关闭后，所有日志备份会立即被自动删除，并且无法使用按时间点恢复数据的功能。减少不必要的增删改，减少对大字段的更新。对数据库的增删改操作都会导致日志备份大小增加。
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
自动化集成
日志服务开放了大量的OpenAPI，支持用户通过OpenAPI门户的阿里云SDK等方式进行集成，同时为了更好的采集和使用数据，日志服务自研了日志服务SDK和日志服务CLI，如满足嵌入式/智能设备轻量化采集日志等场景。OpenAPI集成 日志服务 提供日志...
高级预览
高级预览时，日志服务真实连接Logstore，并从Logstore读取数据完成加工测试，模拟完整的数据加工流程。本文介绍高级预览的操作步骤及示例。操作步骤 登录 日志服务控制台。进入数据加工页面。在Project列表区域，单击目标Project。在 日志...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。说明 组成表的基本单位为行，行由主键和属性列组成。其中主键是必须的，且每一行的主键列的名称和类型相同；属性不是必须的，且每一行的属性...
简介
协同消费库 协同消费库（Consumer Library）是日志服务中对日志进行消费的高级模式，提供了消费组的概念对消费端进行抽象和管理，和直接使用SDK进行数据读取的区别在于，用户无需关心日志服务的实现细节，只需要专注于业务逻辑，另外，消费...
配置Log Service输入组件
同步Log Service数据源的数据至其他数据源的场景中，您需要先配置Log Service输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Log Service...
- 产品推荐
- 这些文档可能帮助您