管理问题数据
当问题数据采集过程中出现错误时，帮助您快速排查、定位问题。方式一：通过数据质量模块查看。您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过...
日志采集器相关问题
答：由于安装脚本只是简单的检查连接是否建立，而从模块启动到建立连接需要一个较长的时延，所以会出现这个问题。建议在安装完成一分钟之后，手动检测端口（8002）是否成功建立。支持日志采集器的系统有哪些？答：目前我们仅支持CentOS7.0...
采集-IoT/嵌入式日志
您无需关心日志采集细节实现、也不用担心日志采集会影响您的业务正常运行，大大降低数据采集门槛。C Producer方案与其他嵌入式采集方案对比如下：类别 C Producer 其他方案 编程 平台 移动端+嵌入式 移动端为主 上下文 支持 不支持 多日志 ...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
查询分析RocketMQ客户端日志
本文使用Beats、Elasticsearch、Logstash和Kibana，在分布式环境下采集、汇聚、解析阿里云RocketMQ客户端SDK日志，帮助您在消息队列开发场景中快速定位并解决应用开发问题。背景信息 阿里云Elasticsearch（简称ES）已具备Elastic Stack全栈...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
Logtail限制说明
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
Logtail
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
监控分析平台对比
稳定性保障 依赖系统：数据在多套系统中流转，系统之间又存在依赖关系，当某系统出现问题时，对其他系统造成影响。例如下游ES系统写入变慢后，用于缓存数据的Kafka集群存储水位变高，可能导致集群写满。Burst问题：在互联网环境下，流量...
Modbus驱动
Link IoT Edge提供Modbus官方驱动，用于支持工业领域广泛应用的Modbus通信协议设备。本文主要介绍Modbus驱动及其用法。...例如，1个Modbus设备有100个属性，数据采集间隔为5秒，那么Modbus驱动每5秒上报云端1条消息（因为是1个设备）。
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群 节点上 执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
PolarDB PostgreSQL版间的迁移
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
使用plprofiler插件
背景信息 您在使用Postgres服务端进行编程的时候，您会发现PostgreSQL的PL/PGSQL是黑盒环境，内部的任何问题都有可能造成性能瓶颈。常见异常情况如下：问题语句一开始执行速度很快，调用多次后速度变慢。随机出现的性能瓶颈问题。生产系统...
事件管理
适用于APP、小程序、网页：Quick Audience支持对接阿里云用户行为洞察分析平台 什么是Quick Tracking，一方应用可以利用Quick Tracking提供的SDK实现事件采集上报，具体方法请参见 数据采集接口。系统默认事件：系统已预定义社交互动等部分...
设备风险SDK Android接入
增加隐私数据采集开关，不采集NO_IDENTIFY_DEVICE_DATA类型数据，多选使用｜进行拼接。Map,String>options=new HashMap();options.put("DataType",String.valueOf(NO_IDENTIFY_DEVICE_DATA));通过设备风险SDK采集信息，信息采集接口需要在...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
设备网络状态
说明 如果设备使用AliOS Things 3.0版及以上系统，会自动检测和上报网络状态数据。设备主动上报网络状态 数据上行。请求Topic：/sys/${productKey}/${deviceName}/_thing/diag/post 响应Topic：/sys/${productKey}/${deviceName}/_thing/...
功能发布记录
2023-08-22 设置容器启动和退出顺序 设置容器启动和退出顺序 数据缓存 对于一些数据量较大的业务数据，例如训练模型等，ECI支持创建数据缓存（DataCache）来提前拉取数据，将数据缓存到本地，以便在创建ECI实例时可以直接挂载使用，从而...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
发布日志
修复在耳机状态下视频和音频直播间修改声音的时候，会出现双音量轨道问题。修复libsrtp unprotect 错误导致的黑屏问题。统一音视频设备事件通知、网络状态通知的回调线程。增加音频焦点事件通知，解决外部通话等操作导致音量异常的问题。...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
Logtail支持Docker和Containerd两种容器引擎的数据采集，访问路径说明如下：Docker：Logtail通过/run/docker.sock 访问Docker，请确保该路径存在且具备访问权限。Containerd：Logtail通过/run/containerd/containerd.sock 访问Containerd，...
机器组简介
在VPC等自定义网络环境中，可能出现不同服务器IP地址冲突的问题，导致日志服务无法管理Logtail。使用自定义标识可以避免此类情况的发生。多台服务器通过同一个自定义标识实现机器组弹性伸缩。您只需为新增的服务器配置相同的自定义标识，...
版本发布说明
修复数据迁移/添加索引等过程中，如果表存在字符串类型，可能会导致该类型在目标表数据不正确的问题。修复TruncateTable后TableDetail视图的GSI相关数据会丢失的问题。修复alter table修改AVG_ROW_LENGTH时，执行失败的问题。修复部分非...
文档修订记录
2023年5月更新记录 时间 特性 类别 描述 产品文档 2023.5.22 新增功能 管理控制 当在DataWorks控制台进行引擎相关操作时（如新增引擎实例、编辑已有引擎），界面会提示您需先完成授权相关操作，您根据界面提示完成授权操作后，系统会自动为...
发布日志
修复在耳机状态下视频和音频直播间修改声音的时候，会出现双音量轨道问题。修复libsrtp unprotect 错误导致的黑屏问题。统一音视频设备事件通知、网络状态通知的回调线程。增加音频焦点事件通知，解决外部通话等操作导致音量异常的问题。...
接入Kafka监控数据
您可使用Telegraf采集Kafka监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Kafka可视化监控方案。本文介绍如何通过日志服务来完成Kafka监控数据的采集和可视化。前提条件 已在服务器上安装Java 1.6或以上版本。已...
通过接入中心接入数据
ECS（VPC）环境：对于ECS主机下的各类数据采集，由于大多数情况下需要通过网络进行数据拉取，因此一个VPC对应一个环境。ARMS优先通过网络的形式采集数据，尽可能降低安装到ECS中的探针数量。云服务环境：对于常规云服务数据的采集，云服务...
通过接入中心接入数据
ECS（VPC）环境：对于ECS主机下的各类数据采集，由于大多数情况下需要通过网络进行数据拉取，因此一个VPC对应一个环境。ARMS优先通过网络的形式采集数据，尽可能降低安装到ECS中的探针数量。云服务环境：对于常规云服务数据的采集，云服务...
2023年
2023-07-17 新增PyODPS DataFrame的代码运行环境 新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供...
接入Java应用或Tomcat的监控数据
您可使用Telegraf采集Java应用或Tomcat的监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Java应用或Tomcat可视化监控方案。本文以Java应用监控数据为例，介绍如何通过日志服务来完成Java应用数据的采集和可视化。...
使用前须知
日志服务提供基于原生OpenTelemetry协议的分布式链路追踪功能，支持各类Trace数据的接入、存储、分析、可视化、告警、人工智能运维等。本文介绍日志服务分布式链路追踪功能（Trace服务）相关的背景信息、方案介绍、资产说明、费用等。重要 ...
Cost-based SQL诊断引擎
基于规则的方式很难给出精确的回答，会出现模棱两可的局面。在这个例子中，SQL只是简单的单表查询，那对于再复杂一点的SQL，例如多个表Join，以及带有复杂的子查询，情况又会如何呢？情况变得更糟糕，更加难以为继。基于代价模型 与基于...
接入无侵入服务观测
Kubernetes数据面监控基于日志服务与龙蜥社区合作共建的无侵入监控能力，您可以直观地分析整个Kubernetes的数据流向与瓶颈问题，轻松应对复杂的云原生环境。前提条件 已创建全栈可观测实例。具体操作，请参见 创建实例。如果是控制台方式接...
通过DaemonSet方式采集Kubernetes容器文本日志
但是，容器内的文件系统都是由宿主机的文件系统挂载形成，通过将宿主机根目录所在的文件系统挂载到Logtail容器，就可以访问宿主机上的任意文件，从而间接采集业务容器文件系统的文件。容器内文件路径与宿主机文件路径之间的关系被称为文件...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
服务器数据采集方案概述
应用系统在提供服务过程中，会产生日志数据、系统指标数据、审计框架数据、检测状态数据以及各类APM监控数据。针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案...
录音指导
高质量的录音数据对于模型训练至关重要，本篇文章将从日常环境选择、录音设备、录制过程、常见问题等方面提供建议和指导，希望您能通过学习和实践能够录制出非专业环境下高质量的音频数据。重要 录制高质量的音频有一定的门槛，掌握录制...
- 产品推荐
- 这些文档可能帮助您