通过DaemonSet方式采集Kubernetes容器文本日志
因此，当出现网络延迟、资源占用多等原因导致的采集延时时，可能会导致业务容器不能及时销毁。前提条件 已安装Logtail组件。具体操作，请参见 安装Logtail组件（阿里云Kubernetes集群）。在安装Logtail组件时所使用的Project中已创建...
SDK参考概述
日志服务SDK已经实现日志服务大部分功能，包括日志采集、创建索引、查询和分析、数据加工、日志消费、日志投递管理、告警、定时SQL等。若您在SDK调试中发现未实现功能，建议您升级到最新版本SDK重试或关注后续SDK版本更新。使用日志服务SDK...
客户端进程说明
如果服务端在10个小时内没有收到客户端登录、采集到的数据等信息，会将客户端状态更改为离线。功能状态 云安全中心恶意网络行为防御、恶意主机行为防御等功能，都需要开启对应的进程才能使用。例如：当您为服务器开启恶意网络行为防御开关...
网络洞察仪
您可以将网络洞察仪作为业务单元的网络监测件，通过配置业务相关资源，网络洞察仪将为您分析业务单元流量的实时运行状况，帮助您及时感知业务网络异常，并提供网络质量评估和事件影响面分析。基本概念 术语 说明 网络洞察仪 由用户自定义的...
功能特性
应急漏洞 提供针对网络上突然出现的紧急漏洞的检测服务。应急漏洞不支持一键修复，您可以根据提供的修复建议，手动修复服务器上的应急漏洞。应用漏洞 提供系统服务弱口令、系统服务漏洞和应用服务漏洞的检测能力。扫描漏洞 云安全中心支持...
设置日志收集到Kafka
多行采集说明 目前Java应用出现的异常情况表现为日志会被自动合并到一行。Java异常日志示例如下：java.lang.RuntimeException:testLog at cn.niutong.controller.TestController.heathc(TestController.java:141)at sun.reflect....
常见问题
如果您在使用云虚拟主机时遇到网站无法访问、网站访问异常（报错或者缓慢）、FTP使用异常、网站迁移异常、数据库使用问题、主机功能设置问题、耗资源/DDoS/大流量/升级或续费以及产品计费等问题，您可以参考本文方法进行问题排查。...
采集标准Docker容器日志
本文介绍如何部署Logtail容器以及创建Logtail配置，用于采集标准Docker容器日志（文本日志和标准输出）。前提条件 已创建Project和...当您使用Logtail采集Docker容器日志遇到异常情况时，您可以参见 如何排查容器日志采集异常 进行排查。
发布日志
V2.2@2021-06-02 完善数据统计回调，新增统计下行丢包率、发送端到接收端的网络延时和接收端到网络抖动缓存的网络延时等数据。支持自定义设置小流视频参数。V2.1@2021-04-30 新增是否接收远端音视频流功能。新增加入多频道功能，可实现超级...
使用须知及高危风险操作说明
包括但不限定于使用ECS的OpenAPI更改ECS运行状态、修改Worker节点的安全组配置、更改Worker节点的网络配置以及通过负载均衡的OpenAPI修改SLB配置等，擅自改动IaaS层资源可能会导致数据面组件异常。部分数据面组件受上游社区版组件影响，...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
功能发布记录（2.0）
V2.2@2021-06-02 完善数据统计回调，新增统计下行丢包率、发送端到接收端的网络延时和接收端到网络抖动缓存的网络延时等数据。支持自定义设置小流视频参数。V2.1@2021-04-30 新增是否接收远端音视频流功能。新增加入多频道功能，可实现超级...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
设置日志收集至Kafka
多行采集说明 目前Java应用出现的异常情况表现为日志会被自动合并到一行。Java异常日志示例如下：java.lang.RuntimeException:testLog at cn.niutong.controller.TestController.heathc(TestController.java:141)at sun.reflect....
指标含义与异常处理建议
查询算法差异性：例如，阿里云Elasticsearch集群监控和Kibana监控采集数据时都会受集群稳定性的影响，集群监控QPS指标会因集群的抖动会出现监控突增、负值或无监控等状况，而Kibana监控可能显示为空。说明 如果集群监控提供的指标比Kibana...
日志类型
1000 send_net_bytes_ps 每秒发送的网络数据量（字节）。1000 send_queue_full 达到最大长度限制的发送队列个数。1 send_queue_total 发送队列数量。12 send_request_concurrency 发送并发上限数。10 send_tps 发送TPS。0.075 ...
设备协议
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
Pod异常问题排查
Pod访问数据库概率性网络断联 诊断流程 查看Pod是否处于异常状态，具体操作，请参见 检查Pod的状态。如果Pod状态异常，可通过查看Pod的事件、Pod的日志、Pod的配置等信息确定异常原因。具体操作，请参见 常见排查方法。关于Pod异常状态及...
SQL洞察和审计
说明 如果您在日志服务的CloudLens for RDS开启了RDS MySQL实例的审计日志采集功能，系统会自动开启对应RDS MySQL实例的SQL洞察和审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。迁移不同企业...
SQL洞察和审计
说明 如果您在日志服务的CloudLens for RDS开启了RDS MySQL实例的审计日志采集功能，系统会自动开启对应RDS MySQL实例的SQL洞察和审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。迁移不同企业...
发布日志
V1.17.44@2021-04-02 修复日志命名异常导致的崩溃问题。V1.17.43@2021-03-29 优化音频3A。V1.17.42@2021-03-23 支持播放和渲染双声道音频。V1.17.41@2021-02-26 新增角色鉴权功能，用户可在入会前设置角色是否具备推流权限。新增刷新令牌...
时序异常检测
esd：适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的情况比较适用。nsigma：原理简单，便于分析异常原因。ttest：用于识别一个时间窗口内时序指标是否存在因均值变化而发生的异常。istl-esd：适用于带...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
通过Sidecar方式采集Kubernetes容器文本日志
（推荐）通过CRD 管理Logtail采集配置 通过CRD可以自定义Kubernetes资源，为了便于通过云原生方式管理Logtail采集配置，日志服务定义了 AliyunLogConfig 这种CRD，它基本等价于Logtail采集配置。用户可以向kube-apiserver提交YAML配置文件...
iOS SDK
设置后在产品后台会同展示用户账号 第四步 初始化 查看文档[第四步初始化」必选 第五步 功能开关 查看文档「第五步配置功能开关」可选 可以关闭崩溃分析、卡顿分析、启动分析、网络分析、内存分析、应用内H5页面分析、OOM异常的采集；...
教程概述
数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
元数据采集
如果数据源未开启白名单限制，请参考 资源组操作及网络连通 文档进行数据源网络打通。采集计划 包括 手动采集、每月、每周、每天 及 每小时。根据不同的执行周期，生成不同的执行计划，在相应执行计划的时间内，对目标数据源进行元数据采集...
数据采集
时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务时序数据 在服务级别根据进程的角色不同，对各类时序数据进行了采集。业务相关的时序数据主要包括：QPS、...
常见错误处理方法
连接异常 连接异常即应用程序或者客户端与数据库的连接出现异常，例如已经创建的连接，提示连接不存在或连接超时，无法与数据库实例建立连接等。连接异常经常发生在网络闪断，或者数据库服务重启时，您需要在应用程序中就此类异常，添加重...
服务器数据采集方案概述
针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案进行了汇总。相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和...
采集-多渠道数据
不同网络环境下的数据采集 LogHub在各Region提供访问点，每个Region提供三种方式接入：内网（经典网络）：本Region内服务访问，带宽链路质量好（推荐）。公网（经典网络）：可以被任意访问，访问速度取决于链路质量、传输安全保障建议使用...
DBGateway常见问题
请执行以下命令确认：telnet 数据库实例IP或域名 数据库实例服务端口号 例如：telnet 192.168.XX.XX 3306 如出现以下提示，表示网络连接正常，需要参考上文，查看DBGateway日志进行进一步排查。Connected to 192.168.XX.XX Escape ...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
概览
网络智能服务 NIS（Network Intelligence Service）平台的概览页面，帮助您整体查看NIS已支持的能力，快速感知已创建实例、已保存路径的健康状态和异常风险，全面知悉您的阿里云网络产品的资源持有情况和资源列表信息。全局视图 NIS 概览...
使用创建反向任务功能
反向实例创建成功后会立即进行预检查，预检查通过后会进行增量数据采集，增量数据写入模块不会运行。每个同步实例仅支持创建一个对应的反向实例，且当反向实例启动后，原实例将无法直接启动。不支持为跨国家和跨境的同步实例创建反向实例。...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
数据湖集群
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
Logtail最佳实践
分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 主机场景下如何使用Logtail采集超大规模文件 ...
- 产品推荐
- 这些文档可能帮助您