术语表
Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 机器组是包含多台服务器的虚拟分组。日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器...
可观测概述
在Service Mesh中，不同的服务可能需要采集不同的可观测性数据，因此需要支持针对网格代理与网关Pod分别定义采集配置规则，并统一标准化采集配置规则，以便更好地支持云原生应用的可观测性。可观测性在云原生应用中扮演着非常重要的角色，...
通过DaemonSet方式采集Kubernetes容器文本日志
存储卷挂载方式：如果NAS以PVC的方式挂载到数据目录，不支持使用Daemonset方式部署Logtail，建议使用Sidecar方式或Deployment方式部署Logtail并完成日志采集。具体操作，请参见 通过Sidecar方式采集Kubernetes容器文本日志 和 通过业务容器...
通过Sidecar方式采集Kubernetes容器文本日志
（推荐）通过CRD 管理Logtail采集配置 通过CRD可以自定义Kubernetes资源，为了便于通过云原生方式管理Logtail采集配置，日志服务定义了 AliyunLogConfig 这种CRD，它基本等价于Logtail采集配置。用户可以向kube-apiserver提交YAML配置文件...
App端性能体验功能说明
特殊功能开关：部分高级功能需要打开开关才进行采集，开启开关后可以配置采样率 采样率配置：默认为100%，最高100%，在设备启动时判断此次PV是否采样，您可以根据自身情况调低采样率 注：安卓平台中OOM异常涵盖在崩溃分析中，如果您在SDK...
表设计最佳实践
本文为您介绍表设计的最佳实践方式，为实际开发提供指导和依据。产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能。在进行表设计时，应考虑避开产生大量小文件的操作。会产生大量小文件的操作如下：使用MaxCompute Tunnel ...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
Logtail
Kubernetes 使用DaemonSet方式采集日志时，要求Kubernetes为1.10.0及以上版本（支持Mount propagation:HostToContainer）。使用CRD方式（alibaba-log-controller组件）采集日志时，要求Kubernetes为1.16.0及以上版本。Kubernetes 1.7.0及...
采集Job任务的日志
由于ECI不支持DaemonSet，在ECI上运行的Job任务运行结束后，Pod会立即退出，因此可能会出现日志尚未完全采集的情况。建议您为Job挂载NAS文件系统来保存日志文件。本文介绍在ACK集群中使用ECI来运行Job任务时，如何采集Job任务的日志。前提...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
本文介绍如何通过控制台创建Logtail配置，并以DaemonSet采集方式采集容器标准输出。前提条件 已安装Logtail组件。具体操作，请参见 安装Logtail组件（阿里云Kubernetes集群）。在您安装Logtail组件时所使用的Project中已完成Logstore创建。...
基本概念
设备 一般指IP网数通类网络通信设备，比如交换机、路由器、防火墙等，根据业务场景也可以涵盖无线网络AP/AC的管理和运维。电路（链路）根据管理域链路包括单端链路和双端链路，业务类型包括自有业务或者对接外部的如专线等。安全域 设备等...
通过Logtail跨阿里云账号采集容器日志
具体参数说明，请参见 通过DaemonSet-控制台方式采集容器文本日志。重要 默认一个文件只能匹配一个Logtail采集配置。此时账号B下的采集未停止，账号A下的Logtail采集配置无法生效，因此您需要使用如下方式使账号A下的Logtail采集配置生效。...
活体人脸验证方案（活体检测方案）
活体人脸验证方案（活体检测方案）通过动作活体的方式采集终端用户的人脸照片并验证其真实性，然后与业务已留存的人脸照片进行人脸比对，验证两者是否为同一个人。简介 根据应用场景不同，活体人脸验证可分为两类能力：人脸比对 终端用户在...
分析和监控CoreDNS日志
相关操作 关闭日志采集 如果您不再需要CoreDNS日志采集，执行以下命令，可以通过卸载日志采集自定义资源的方式停止采集。kubectl-n kube-system delete AliyunLogConfig k8s-coredns-log 删除成功后，CoreDNS输出的日志将不再上报到日志...
产品架构
功能特性 数据采集：日志服务支持通过Logtail、SDK、协议等多种方式采集数据。更多信息，请参见 数据采集概述。数据加工：日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。更多...
在Knative上实现日志采集
请参见 通过DaemonSet-控制台方式采集容器标准输出。在 快速数据接入 页面的 Docker标准输出-容器 的卡片上，单击 立即接入，然后根据页面提示进入 Docker标准输出 配置页面。在 选择日志空间 配置中，确认日志空间信息并单击 下一步。设置...
Job类型任务如何采集日志
本文将为您介绍如何针对Job类型任务场景采集日志到日志系统。前提条件 已创建了一个 ACK Serverless集群。更多信息，请参见 容器服务 Serverless 版使用快速入门。已在该集群上部署了虚拟节点。更多信息，请参见 通过虚拟节点将Pod调度到...
功能发布记录
2023-07-19 免密拉取ACR镜像 免密拉取ACR镜像 细化标准输出的日志采集 对于标准输出，日志采集路径可以设置为以下几种：stdout：采集正常输出和错误信息。stderr-only：只采集错误信息，不采集正常输出。stdout-only：只采集正常输出，不...
配置资源组日志服务
您需要配置 日志路径（即要采集的文件路径地址），其他参数配置，详情请参见 通过DaemonSet-控制台方式采集容器文本日志。单击 下一步，直到配置结束。相关文档 资源组的日志服务配置完成后，您可以前往日志库查看日志，详情请参见 查询和...
新功能发布记录
全部地域 通过DaemonSet方式采集Kubernetes容器文本日志 通过Sidecar方式采集Kubernetes容器文本日志 使用Terraform配置Logtail采集配置 Terraform是一种开源工具，用于安全高效地预览、配置和管理云基础架构和资源。用户可以使用Terraform...
配置Ingress日志中心
本文介绍如何开通Ingress访问日志中心，将Ingress日志实时采集到日志服务中并进行可视化分析。前提条件 已安装日志组件。具体操作，请参见 安装Logtail日志组件。默认情况下，在创建Kubernetes集群时自动安装日志组件。步骤1：部署Ingress...
如何使用Prometheus监控TiDB
服务发现 ECS环境下，通过开源Static_Configs、三方注册中心等方式采集服务发现，使用不便，且维护成本高 内置了aliyun_sd_configs，方便您使用ECS标签进行目标ECS匹配，达到与Kubernetes场景的LabelSelector一致体验，极大简化服务发现的...
如何使用Prometheus监控TiDB
服务发现 ECS环境下，通过开源Static_Configs、三方注册中心等方式采集服务发现，使用不便，且维护成本高 内置了aliyun_sd_configs，方便您使用ECS标签进行目标ECS匹配，达到与Kubernetes场景的LabelSelector一致体验，极大简化服务发现的...
Fluentd插件
配置参数 读插件配置 tag test1:指定路由,和会进行路由正则匹配 format csv:数据按照csv方式采集 keys id,name,gender,salary,my_time:指定需要采集的列名，必须和目的DataHub表的列名一致 写插件配置 shard_id 0:指定shard_id写入，默认...
过滤日志
您在使用Logtail采集日志时，您可以使用processor_filter_regex插件或processor_filter_key_regex插件过滤日志。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志...
字段加密
重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 表单配置...
基本概念
支持Kubernetes SD、Consul、Eureka等多种服务发现方式，支持通过ServiceMonitor、PodMonitor的方式暴露采集目标。预聚合 可观测监控 Prometheus 版 Recording Rule能力。可以通过PromQL将原始数据加工成新的指标，提升查询效率。时间线 由...
重命名字段
重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 ...
基本概念
支持Kubernetes SD、Consul、Eureka等多种服务发现方式，支持通过ServiceMonitor、PodMonitor的方式暴露采集目标。预聚合 可观测监控 Prometheus 版 Recording Rule能力。可以通过PromQL将原始数据加工成新的指标，提升查询效率。时间线 由...
数据编码与解码
您使用Logtail采集日志时，可以使用processor_base64_encoding、processor_base64_decoding或processor_md5插件对字段值进行编解码。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON...
字段值映射处理
重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 表单配置...
pg_profile
示例结果如下：sample|sample_time|sizes_collected|dbstats_reset|bgwrstats_reset|archstats_reset-+-+-+-+-+-1|2024-02-23 07:29:53+00|t|2|2024-02-23 08:11:39+00|t|将采集结果生成报告 可以通过以下两种方式将采集结果导出到本地。...
数据脱敏
您在使用Logtail采集日志时，可以使用processor_desensitize插件，将日志中的敏感数据替换为指定字符串或MD5值。本文介绍processor_desensitize插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置...
调试实时任务
手动上传数据（本地调试方式）采集线上数据（Session集群调试方式）离线模式调试 在 调试配置 对话框的 选择采样模式 页签中，选择 离线模式-FLINK Batch任务。单击 下一步。在调试配置对话框中，选择 调试数据来源。手动上传数据（本地...
字符串替换
您在使用Logtail采集日志时，可以使用processor_string_replace插件，实现文本日志的全文替换、正则提取替换或去转义符。本文介绍processor_string_replace插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用...
网络端点
AD 和 ENI 属于同一个阿里云 VPC 如果您的 AD 域服务器和 EIAM 持有的 ENI 同属于一个阿里云 VPC，此时您需要采用如下网络 ACL 方式：AD 域服务器所属安全组放行 ENI 的 IP。AD 和 ENI 属于不同阿里云 VPC 如果您的 AD 域服务器和 EIAM ...
采集加速
步骤二：配置Logtail采集加速 您可以通过如下方式配置Logtail采集加速。采用全球加速方式安装Logtail 如果开启全球加速后再安装Logtail，则您可以选择全球加速方式安装Logtail。具体操作，请参见 安装Logtail。修改Logtail配置 如果开启...
AD FS和无影云电脑便捷用户SSO
步骤一：在 无影云电脑（专业版）侧创建与AD用户同名的便捷用户 AD场景下，如果您不想在 无影云电脑（专业版）侧创建AD办公网络来对接AD（该方式 无影云电脑（专业版）会获取AD信息），则可以配置AD用户与 无影云电脑 便捷用户进行SSO，...
通过接入中心接入数据
ARMS优先采用网络采集数据的方式，以最大限度减少在ECS上安装的探针数量。云服务环境：对于常规云服务数据采集，通常按地域划分，为每个地域创建各自的云服务环境。每一个环境默认关联一个Prometheus实例的存储指标数据。对于应用监控和...
EMR Doctor常见问题
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
- 产品推荐
- 这些文档可能帮助您