采集-IoT/嵌入式日志
IoT（Internet of Things）正在高速增长，越来越多设备开始逐步走进日常生活，例如智能路由器、各种电视棒、天猫精灵、扫地机器人等，让我们体验到智能领域的便利。传统软件领域的嵌入式开发模式在IoT设备领域的应用遇到了很多挑战，IoT...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
管理问题数据
当问题数据采集过程中出现错误时，帮助您快速排查、定位问题。方式一：通过数据质量模块查看。您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过...
查询分析RocketMQ客户端日志
本文使用Beats、Elasticsearch、Logstash和Kibana，在分布式环境下采集、汇聚、解析阿里云RocketMQ客户端SDK日志，帮助您在消息队列开发场景中快速定位并解决应用开发问题。背景信息 阿里云Elasticsearch（简称ES）已具备Elastic Stack全栈...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
文档修订记录
2023年5月更新记录 时间 特性 类别 描述 产品文档 2023.5.22 新增功能 管理控制 当在DataWorks控制台进行引擎相关操作时（如新增引擎实例、编辑已有引擎），界面会提示您需先完成授权相关操作，您根据界面提示完成授权操作后，系统会自动为...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
统计信息
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 未更新统计信息 区域，以图表形式查看未更新的统计信息详情。单击 自定义查询，设置...
日志采集器相关问题
答：由于安装脚本只是简单检查连接是否建立，而从模块启动到建立连接需要一个较长的时延，所以会出现这个问题。建议在安装完成一分钟之后，手动检测端口（8002）是否成功建立。支持日志采集器的系统有哪些？答：目前我们仅支持CentOS7.0...
什么是块存储数据洞察
风险事件 当CloudLens for EBS监测到云盘性能数据达到性能上限或者云盘没有创建快照备份数据时，系统会推送事件通知，提醒您及时进行操作处理，以确保云盘存储数据的安全。功能优势 秒级数据监控 CloudLens for EBS针对云盘性能提供了秒级...
深度检测
数据库自治服务DAS 为 RDS SQL Server 提供深度检测功能，可以检测数据重要指标是否异常...单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。
索引使用率
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 索引使用图表信息 区域，查看索引相关指标的变化趋势。在 索引使用信息表 区域，查看...
采集MySQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
采集ECS服务日志
阿里云Filebeat不支持自定义索引名，系统会默认创建名称为 filebeat-%{[agent.version]}-%{+yyyy.MM.dd} 的索引，例如 filebeat-6.8.5-2021.12.11。单击 下一步。可选：首次进入 采集器安装 配置向导，需要单击 前往授权。再在 云资源访问...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
这种做法短期内可以满足使用需求，但从长期来看，大量的历史日志被丢弃，在需要分析和查询数据时，会出现数据丢失。阿里云从用户角度出发，研发了一整套小而精的历史日志数据分析方案。利用阿里云日志服务（Log Service，SLS）来投递日志和...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
节点诊断
重要 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
转换后可以确保源端不同字符集中的数据能成功迁移至目标端，但割接后反向增量可能会出现数据超长无法写回源端的问题。如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群 节点上 执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的...
采集SQL Server查询结果
警告 该列的值必须递增，否则可能会出现数据漏采集问题（每次查询结果中的最大值将作为下次查询的输入）。CheckPointColumnType string 否 CheckPoint列类型，支持int和time两种类型。int类型的内部存储为int64，time类型支持SQL Server的...
采集PostgreSQL查询结果
警告 该列的值必须递增，否则可能会出现数据漏采集问题（每次查询结果中的最大值将作为下次查询的输入）。CheckPointColumnType string 否 CheckPoint列的数据类型，支持int和time。int类型的内部存储为int64，time类型支持PostgreSQL的...
Logtail限制说明
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
Logtail
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
【组件升级】Helm1.1.17/Agent v4.0.0的升级内容与...
升级风险 升级风险：本次升级到Helm 1.1.17/Agent v4.0.0为有损升级，按照集群监控数据采集量级的不同（Targets和Series的量级），存在监控数据断线的风险，预计断线时间在0～5分钟，不同集群可能存在一定的差异。升级前：建议您在升级前...
【组件升级】Helm1.1.17/Agent v4.0.0的升级内容与...
升级风险 升级风险：本次升级到Helm 1.1.17/Agent v4.0.0为有损升级，按照集群监控数据采集量级的不同（Targets和Series的量级），存在监控数据断线的风险，预计断线时间在0～5分钟，不同集群可能存在一定的差异。升级前：建议您在升级前...
自动SQL限流
除了上述的问题，在现实生活中可能还会出现各种特殊情况，比如值班人员联系不上、工作人员身边没有电脑、信息太多分析难度大、压力大紧张操作失误等。因此需要尽可能的把异常发现、异常SQL定位、SQL限流、跟踪/回滚的整体流程自动化处理。...
设备网络状态
说明 如果设备使用AliOS Things 3.0版及以上系统，会自动检测和上报网络状态数据。设备主动上报网络状态 数据上行。请求Topic：/sys/${productKey}/${deviceName}/_thing/diag/post 响应Topic：/sys/${productKey}/${deviceName}/_thing/...
监控分析平台对比
稳定性保障 依赖系统：数据在多套系统中流转，系统之间又存在依赖关系，当某系统出现问题时，对其他系统造成影响。例如下游ES系统写入变慢后，用于缓存数据的Kafka集群存储水位变高，可能导致集群写满。Burst问题：在互联网环境下，流量...
可观测概述
从实际应用的角度来看，在系统中需要重视其稳定性，需要理解什么时候系统运行良好或出现问题，从而可以更快地识别错误，并实施正确的自动化及手动控制来维护系统的可用性。Service Mesh的数据平面代理位于服务之间的网络请求路径中，通过...
Modbus驱动
Link IoT Edge提供Modbus官方驱动，用于支持工业领域广泛应用的Modbus通信协议设备。本文主要介绍Modbus驱动及其用法。...例如，1个Modbus设备有100个属性，数据采集间隔为5秒，那么Modbus驱动每5秒上报云端1条消息（因为是1个设备）。
创建实时日志投递任务
通过实时日志功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定的日志分析服务上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。不同套餐的支持情况 每种日志类型下可创建的推送任务数量...
慢SQL
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
接入NVIDIA GPU监控数据
您可使用Telegraf采集NVIDIA GPU监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建NVIDIA GPU可视化监控方案。本文介绍如何通过日志服务来完成NVIDIA GPU监控数据的采集和可视化。前提条件 已创建Project和...
表设计规范
例如，在规范化设计表的同时对数据通道中的数据采集方式进行优化，可以减少分布式系统中小文件的问题，降低表和分区的维护数量。表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照...
2023年
异构数据源访问 同构数据源访问 实时分析（免费公测）实时分析功能包含高速数据导入API和实时数据源集成两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB ...
浏览器兼容性和已知问题
Webkit issue iOS15.x使用蓝牙耳机播放音频时有概率失真，建议增加提示使用用户蓝牙耳机可能会出现问题，或升级系统版本。Webkit issue iOS 15.0 至 15.3 上的浏览器及内嵌 WKWebView 的应用听到远端音频音量低，建议升级系统版本。Webkit ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
- 产品推荐
- 这些文档可能帮助您