OpenLDAP
Hive：使用LDAP认证 Spark：管理LDAP认证 Impala：管理LDAP认证 Trino：管理LDAP认证 Presto：管理LDAP认证 Kafka：使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能，则需要参考开源软件的社区文档来配置开启LDAP认证。...
产品架构
日志服务的架构如下图所示：数据来源 日志服务支持采集开源软件、服务器与应用、阿里云产品、标准协议、移动端、物联网等多种来源的数据。日志服务 数据类型 日志服务为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。更...
查看全局数据
VPC网络日志总日志量、小时日志量、天日志量 VPC网络日志统计 SLB全局信息 全局监控统计 日志量整体趋势、网络类型日志量趋势 SLB过去30天的日志量趋势 RDS全局数据 仪表盘 描述 总日志量、小时日志量、天日志量 RDS日志全局统计 MySQL日志...
使用前须知
费用说明 目前，流日志仅支持将提取到的网络日志投递到日志服务，流日志的费用=网络日志提取费+日志服务的服务费。网络日志提取费 VPC按照提取的日志收取网络日志提取费。更多信息，请参见 流日志计费说明。日志服务的服务费 当涉及的...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
使用前须知
专属仪表盘 无 费用说明 在您使用转发路由器流日志过程中，将会产生以下两部分费用：网络日志提取费 转发路由器会按照提取的日志收取网络日志提取费。说明 当前暂不收取网络日志提取费，收费时间将另行通知。日志服务的服务费 当涉及的...
使用前须知
费用说明 目前，流日志仅支持将提取到的网络日志投递到日志服务，流日志的费用=网络日志提取费+日志服务的服务费。网络日志提取费 VPC按照提取的日志收取网络日志提取费。更多信息，请参见 流日志计费说明。日志服务的服务费 当涉及的...
开通日志分析功能
云安全中心 旗舰版、企业版 支持查看网络日志、安全日志和主机日志，高级版、防病毒版 仅支持查看安全日志和主机日志。不同版本的区别，请参见 计费概述。登录 云安全中心控制台。在左侧导航栏，选择 风险治理>日志分析。在 开通日志服务 ...
使用前须知
单用户网络问题诊断 网络质量分析器会上传所有在线终端用户访问服务端时的网络日志，帮助您还原具体单个用户在不同时期的网络访问质量情况。网络质量分析器可用于单个特定用户的网络问题诊断排查。产品优势 跨平台、适配性强 提供Android、...
使用前须知
功能介绍 您的业务在使用DCDN服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务进行存储和消费，以便快速监控和定位业务问题。资产详情 专属Project和Logstore 开启日志投递功能后，...
云安全中心
本文介绍云安全中心网络日志、安全日志和主机日志的字段详情。网络日志 DNS日志 日志字段 说明_topic_日志主题，固定为sas-log-dns。owner_id 阿里云账号ID additional additional字段，各个值之间以竖线（|）分隔。additional_num ...
使用前须知
阿里云Web应用防火墙（WAF）联合日志服务推出WAF日志服务功能，提供网站域名访问日志、攻击防护日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求和您的网站业务防护和运营...输出安全网络日志到自建的数据与计算中心。
使用前须知
Web应用防火墙（WAF）的日志服务功能帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，提供查询分析、统计图表、报警服务、下游计算对接与投递等...输出安全网络日志到自建的数据与计算中心。
日志服务采集功能与Kafka对比
以开源软件的方式提供，您可以根据需要搭建Kafka集群。概念 Kafka LogHub 存储对象 topic logstore 水平分区 partition shard 数据消费位置 offset cursor LogHub与Kafka功能比较 功能 Kafka LogHub 使用依赖 自建或共享Kafka集群 阿里云...
日志索引表
云产品分类 CloudLens应用 日志类型 存储 CloudLens for SLS 重要日志（消费组延迟日志、Logtail告警日志、Logtail采集日志、Logtail状态日志）详细日志 任务运行日志（定时SQL任务运行日志、数据导入、投递等任务的运行日志）错误日志 ...
日志审计服务概述
生态开放对接：与开源软件、阿里云大数据产品、第三方SOC软件无缝对接，充分发挥数据价值。云产品覆盖及相关资源 日志审计服务支持采集基础（ActionTrail、容器服务Kubernetes版）、存储（OSS、NAS）、网络（SLB、ALB、API网关、VPC）、...
什么是日志服务
数据采集 支持Log、Metric、Trace等数据类型，并支持50多种数据源，包括阿里云产品、服务器与应用、物联网设备、移动端、开源软件、标准协议等。日志存储 支持智能分层存储。数据分层存储时，可降低您长周期存储的成本，同时保证日志的查询...
什么是Logtail
兼容开源采集Agent Logtail支持Logstash、Beats等开源软件采集的数据作为数据源。更多信息，请参见 数据采集概述。自动处理采集异常 因为服务端错误、网络措施、配额超限等各种异常导致数据发送失败，Logtail会按场景主动重试。如果重试...
数据采集概述
日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。本文列举了日志服务所支持的数据来源。数据来源 日志服务支持的数据来源如下：类别 来源 接入方式 更多 应用 程序输出 Logtail 查询分析...
功能特性
支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。支持通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议接入数据。更多信息，请参见 数据采集概述。查询与分析 日志服务支持实时查询与分析数据。具体说明如下...
使用Syslog协议上传日志
示例2：使用Syslog-ng采集日志 syslog-ng是基于syslog协议的Unix和类Unix系统的开源软件。您可以执行 sudo yum install syslog-ng 或 sudo apt-get install syslog-ng 命令安装Syslog-ng。说明 Linux服务器上默认安装Rsyslog，但是Rsyslog...
使用Kafka协议上传日志
您可以使用Kafka Producer SDK、Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具采集日志，并通过Kafka协议上传到日志服务。本文介绍通过采集工具采集到日志后，利用Kafka协议上传日志到日志服务的操作步骤。相关...
监控分析平台对比
遇到开源软件本身BUG导致的问题，又是一笔额外的成本。运维成本：各系统的软硬件难免会出故障，硬件替换、缩扩容、软件版本升级，都需要投入不小的人力和精力。费用分摊：只有将资源消耗清晰准确地分摊到实际业务线中，才能更有效利用资源...
采集标准Docker容器日志
如果您需要采集宿主机文本日志，可以在 接入数据 区域的 自建开源/商业软件 页签下，选择文本日志相关的数据源，例如 正则-文本日志。采集宿主机文本日志的操作步骤与采集服务器文本日志相同。具体操作，请参见 采集文本日志。重要 默认...
数据上云工具
Fluentd（DataHub通道系列）Fluentd是一个开源的软件，用来收集各种源头日志（包括Application Log、Sys Log及Access Log），允许您选择插件对日志数据进行过滤，并存储到不同的数据处理端（包括MySQL、Oracle、MongoDB、Hadoop、Treasure ...
采集-IoT/嵌入式日志
传统软件领域的嵌入式开发模式在IoT设备领域的应用遇到了很多挑战，IoT设备数目多、分布广，难以调试且硬件受限，传统的设备日志解决方案无法完美满足需求。日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C ...
常见问题
DataFlow集群中的Hadoop YARN的软件安装目录是/opt/apps/YARN/yarn-current，配置文件的目录是/etc/taihao-apps/hadoop-conf/，您需要将 yarn-current 目录及 hadoop-conf 目录下载到提交Flink作业的客户端上。然后，在提交Flink作业的客户...
E-MapReduce支持倚天云服务器
丰富的生态：倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构：基于2*50 GB网络架构提供大带宽以及超强转发能力，对比上一代CIPU架构，网络带宽提升1倍。安全增强：支持vTPM特性，依托TPM/TCM芯片，实现从服务器到...
成本优势
成本优势 日志服务产品在日志处理的三种场景下具有以下成本优势：LogHub：与购买云主机+云磁盘搭建 Kafka 相比，对于 98%场景下用户价格有优势。对小型网站而言，成本为 kafka 的30%以下。提供 RESTful API，可以直接针对移动设备提供数据...
云产品日志审计
日志服务基于可观测性数据平台能力，为您提供云产品的日志审计能力。日志审计对应的日志库为只读库，只能写入专属...生态开放对接：与开源软件、阿里云大数据产品、第三方SOC软件无缝对接，充分发挥数据价值。更多信息，请参见 日志审计服务。
快速入门
在 快速数据接入 对话框的 自建开源/商业软件 页签下，单击 单行-文本日志 对应的 立即接入。创建机器组。使用场景 选择 主机场景。安装环境 选择 ECS。选择机器组 单击 创建机器组。在 创建机器组 面板中，选中目标ECS实例，单击 安装并...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
采集WordPress日志
背景信息 WordPress是一个以PHP和MySQL为平台的、自由开源的博客软件和内容管理系统，被广泛使用。WordPress日志样例如下所示。192.0.2.0-[07/Jan/2022:21:06:39+0800]"GET/wp-admin/js/password-strength-meter.min.js?ver=4.4 ...
常见问题
支持接入云产品日志、开源系统日志、多云环境日志、本地服务器日志。提供一站式平台服务：支持采集、分析、加工、可视化、投递、告警等一站式的数据生命周期管理功能。具备智能、高效的数据分析能力：秒级分析百亿级数据能力、智能运维...
选择网络
网络类型 阿里云内网：阿里云内网为千兆共享网络，日志数据通过阿里云内网传输比公网传输更快速、稳定，内网包括VPC和经典网络。公网：使用公网传输日志数据，不仅会受到网络带宽的限制，还可能会因网络抖动、延迟、丢包等影响数据采集的...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_run_log category 日志类别，例如NETWORK（网络链接日志）connection 日志连接信息 content 日志内容 instanceid MongoDB实例ID ip IP地址 level 日志级别 port 端口号 time 日志生成时间
费用优化
费用和两方面因素相关：数据量：用户的数据量是...Logtail 消耗资源是开源软件（Logstash，FluentD）的1/4，减少CPU消耗。API写入用户尽量使用64KB~1MB大包写入，减少请求次数。索引关键字段，例如UserID，Action等，对无用字段不配置索引。
概述
在创建Logtail配置时添加插件 在创建Logtail配置时，您也可以添加Logtail插件，即您在 接入数据 区域的 自建开源/商业软件 页签下，选择目标数据源，完成选择日志空间、创建机器组、机器组配置等步骤后，可以在 Logtail配置 或 数据源设置 ...
Kafka消费概述
阿里云 日志服务 兼容Kafka消费组协议，您可以使用原生Kafka客户端对 日志服务 进行读操作。概念映射 Kafka 日志服务 描述 Topic Logstore Topic：Kafka用来区分不同类型信息的主题。Logstore：日志服务 中日志的采集、存储和查询单元。...
采集Beats和Logstash数据源
本文以使用PacketBeat软件采集本地网络数据包，并使用Logtail Lumberjack插件上传到日志服务为例，进行说明。配置PacketBeat输出方式为 Logstash，示例如下所示。output.logstash:hosts:["127.0.0.1:5044"]背景信息 基于Logstash、Beats...
- 产品推荐
- 这些文档可能帮助您