流日志概述
专有网络VPC（Virtual Private Cloud）提供流日志功能，可以记录VPC网络中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，帮助您检查访问控制规则、监控网络流量和排查网络故障。功能发布及地域支持情况 首次使用流日志...
Hive数据源
背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供SQL查询功能。Hive的本质是一个SQL解析引擎，其底层通过MapReduce实现数据分析，使用HDFS存储处理的数据，将...
使用访问日志
全球加速提供访问日志功能，可以记录所有访问终端节点的流量信息，帮助您检查访问控制规则、排查网络故障等。访问日志介绍 您可以选择为全球加速实例的一个或者多个终端节点组创建访问日志，采集到的访问日志将会投递到终端节点组所在地域...
沙盒网络
日志服务帮助沙盒网络解决了多云部署全球化业务场景下数据集中采集统一管理问题，整体异常问题排查时间缩短30%，有效助力业务高速成长。公司简介 沙盒网络致力于打造一个全球范围内的游戏UGC平台，帮助普通玩家将创意转变为游戏。当前沙盒...
采集-IoT/嵌入式日志
IoT（Internet of Things）正在高速增长，越来越多设备开始逐步走进日常生活，例如智能路由器、...客户线程发送一条数据（输出一条日志）的平均耗时为：12 us左右（树莓派通过USB连接到PC共享网络）。更多日志服务典型场景可以参见 云栖论坛。
Logtail基本问题
如何配置Logtail采集日志 日志服务支持通过Logtail采集文本日志和容器日志，还支持通过Logtail插件采集日志。具体操作，请参见如下文档。采集主机文本日志 通过DaemonSet方式采集Kubernetes容器文本日志 通过Sidecar方式采集Kubernetes容器...
使用前须知
阿里云弹性公网（Elastic IP Address，简称EIP）联合日志服务推出高精度秒级监控功能，以日志形式将高精度网络带宽监控数据推送到日志服务，帮助您实时监控互联网业务流量变化，及时调整弹性公网IP的带宽峰值。本文介绍弹性公网IP日志相关...
使用Syslog协议上传日志
您可以使用Rsyslog、Syslog-ng采集日志并通过Syslog协议上传到日志服务。本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。相关限制 Syslog协议必须为标准的 RFC5424 协议。每条日志最大支持64 KB。为保证数据传输安全性，数据传输...
ECS操作合规
ECS网络类型检测 告警ID sls_app_audit_cis_at_ecs_network_type 告警名称 ECS网络类型检测 版本号 1 类别 云平台、阿里云、CIS、ECS操作合规 作用 监控ECS网络类型是否存在异常。ECS建议使用专有网络VPC，创建经典网络的ECS会触发告警。...
性能指南
写出目标越多，事件标签TAG越多，输出的数据包日志组越多，网络交互越多，则速度越慢。反之越快。加工逻辑 加工逻辑越复杂，搜索计算越多，频繁进行外部资源同步，对计算与网络消耗越大，则速度越慢。反之越快。第三方数据源 从第三方获取...
日志服务采集数据常见的错误类型
DROP_LOG_ALARM 日志采集进度落后于日志产生进度，且未处理的日志轮转超过20个，一般是由于配置Logtail使用的CPU资源不够或是网络发送流控导致。修改CPU使用上限或网络发送并发限制。更多信息，请参见 设置Logtail启动参数。LOGDIR_...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
使用前须知
阿里云智能接入网关联合日志服务提供流日志功能，用于记录智能接入网关的传入和传出流量信息，帮助您监控网络流量和排查网络故障。本文介绍流日志功能相关的资产、费用以及使用限制等信息。简介 流日志捕获的流量信息以日志形式写入日志...
项目（Project）
项目（Project）是日志服务的资源管理单元，是进行多用户隔离与访问控制的主要边界。Project中包含Logstore、MetricStore和机器组等资源，同时它也...该访问入口支持通过网络写入、读取及管理日志。关于访问入口的更多信息，请参见 服务入口。
采集标准Docker容器日志
本文介绍如何部署Logtail容器以及创建Logtail配置，用于采集标准Docker容器日志（文本日志和标准输出）。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
日志采集Agent对比
日志采集场景下客户端测评 DT时代，数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash...
API简介
阿里云日志服务（Log Service，简称SLS）提供数据的采集、加工、查询与分析、可视化、告警、消费与投递等功能。如果您熟悉网络服务协议和一种以上编程语言，您可以通过API接口管理您的数据资源。使用限制 您能创建的Project、Logstore、...
VPC操作合规
VPC网络路由变更告警 VPC流日志配置异常变更告警 VPC通用配置变更告警 VPC网络路由变更告警 告警ID sls_app_audit_cis_at_vpc_route_change 告警名称 VPC网络路由变更告警 版本号 1 类别 云平台、阿里云、CIS、VPC操作合规 作用 监控VPC...
米连科技
通过对各应用系统、服务器、数据库及网络安全产品等服务的访问日志做统一的采集，并利用日志服务的秒级查询、日志聚类、AI异常检测能力、多种告警方式，伊对构建了异常事件的快速分析与响应平台，确保了线上系统的稳定。以日志服务为基础的...
告警规则总览
类型 告警规则 日志审计合规 云安全中心日志审计配置检测 RDS日志审计配置检测 PolarDB（DRDS）日志审计配置检测 K8s日志审计配置检测 应用防火墙（WAF）日志审计配置检测 堡垒机日志审计配置检测 API网关日志审计配置检测 云防火墙日志...
数据源Hive
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
Dataphin将csv文件同步到hive库，目标hive库字段值为...
hive输出组件配置截图：任务运行日志没有报错，如下图：hive库中查询集成的数据的字段都为空值NULL：问题原因 客户创建hive表时没有指定分隔符，管道中分割符填写不对导致。解决方案 该问题是由于选择的hive目标表创建时没有指定分隔符，...
开通原生防护日志功能
在左侧导航栏，选择 网络安全>DDoS原生防护>防护日志。在顶部菜单栏左上角处，选择实例所在资源组和地域。如果是首次使用防护日志功能，您需根据页面提示完成RAM授权。警告 请勿取消授权或删除RAM角色，否则将导致日志无法正常推送到日志...
安装Logtail（ECS实例）
日志服务支持在阿里云ECS实例中自动安装Logtail，本文介绍如何在数据采集配置向导中选择ECS实例并完成Logtail的安装。使用限制 ECS机器上自动安装Logtail仅支持目标Project和ECS机器同地域。ECS机器和目标Project属于不同地域，需要手动...
通过Sidecar方式采集Kubernetes容器文本日志
{your_region_config} 请根据日志服务Project所在地域和访问的网络类型填写。其中，地域信息请参见 安装Logtail（Linux系统）。如果使用公网采集日志，格式为 region-internet，例如 华东 1（杭州）为 cn-hangzhou-internet 。如果使用阿里...
使用前须知
阿里云全球加速服务联合日志服务提供访问日志功能，用于记录所有访问终端节点的流量信息，帮助您检查访问控制规则、排查网络故障等。本文介绍全球加速访问日志功能相关的资产、费用以及使用限制等信息。简介 您可以为全球加速实例的一个...
C SDK
客户端日志不落盘：数据产生后直接通过网络发往服务端。客户端计算与 I/O 逻辑分离：日志异步输出，不阻塞工作线程。可靠退出：程序退出时，会调用接口将日志持久化，待下次应用启动时将数据发送，保证数据可靠性。详情参见 程序可靠退出...
跨地域传输数据
日志服务支持通过数据加工实现跨地域传输数据，本文介绍跨地域传输数据的使用场景、操作步骤、计费等内容。使用场景 当您的业务分布在不同地域时，相关日志也会分布在不同地域。当您需要对不同地域的日志进行集中管理时，您可以使用日志...
Dataphin脚本任务运行报错“Error while processing ...
解决方案 上述报错信息是底层计算源抛的错，需要查看底层hadoop引擎上的日志信息如下：报错原因是：Hive表有新增字段，新增字段后，再往表中插入数据时会报异常。方案1.重新创建一张Hive表，再把历史数据重新插入进去。方案2.在SQL任务前...
Hive 资源发现
该文档描述了云迁移中心CMH的Hive调研服务的使用过程，通过这篇文档，将带您使用我们的工具hive-scanner，并且一步步完成hive的迁移对象发现。环境检查 在您执行 hive-scanner 之前，您需要提前完成前期的 hive调研工具准备。确保当前您...
注册Hive Kerberos集群
背景信息 Kerberos是一种计算机网络授权协议，用来进行身份认证，以保证通信的安全性。如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，...
Hive巡检项及服务关键指标说明
本文介绍Hive巡检项及其服务关键指标说明。重要 部分非DataLake集群开启LDAP后，虽然使用HiveServer2可以正常连接并运行作业，但是巡检项一直报错 hive_server_availability_status failed。此时，您可以关闭巡检项或者新建一个最新版本的...
什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...
Logtail发布历史
原生解析失败并选择保留原始日志，原始日志将仅保留在_raw_log_而不再保留在content字段以避免数据重复 修复K8s集群Pod网络为HostNetwork时获取到的容器IP有时为空的问题 1.8.3 修复 解决因容器内存修复引入的日志重复采集问题 修复...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
通过DaemonSet方式采集Kubernetes容器文本日志
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
Iceberg概述
例如，在日志场景中，启动 Iceberg 或 Spark 流作业，实时地将日志数据导入Iceberg表中，然后可以使用Hive、Spark、Iceberg 或Presto进行实时查询。同时，由于Iceberg支持ACID，保证了数据的流入和查询的隔离性，不会产生脏数据。删除或...
为Spark集群设置元数据
使用自建Hive Metastore元数据方式时，需要确保已自行创建Hive Metastore服务，并且和创建的ACK集群可以网络连通。方式一：使用数据湖元数据DLF（推荐）进入集群详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群的名称。...
2023-06-21版本
无 Hive Catalog支持Hive 3.x版本的DLF 对于Hive 3.x版本，支持DLF作为Hive Catalog的元数据管理中心。管理Hive Catalog 支持SLS Catalog 通过Catalog的方式注册元数据后，在创建SQL时，无需再频繁使用DDL创建SLS源表。管理SLS Catalog ...
日志服务
日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的...
- 产品推荐
- 这些文档可能帮助您