东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
日志关联
当应用出现业务异常问题时，您可以分析业务日志，精准定位业务异常。本文介绍如何在调用链分析中关联日志服务SLS的日志。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，具体操作，请参见 接入指南。已创建Project。具体操作，...
什么是块存储数据洞察
主要功能如下：云盘分析 您可以通过CloudLens for EBS的云盘分析页面，开启云盘的数据采集功能，实时采集并存储云盘性能的秒级监控数据，并将数据进行展示。风险事件 当CloudLens for EBS监测到云盘性能数据达到性能上限或者云盘没有创建...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
采集-IoT/嵌入式日志
您无需关心日志采集细节实现、也不用担心日志采集会影响您的业务正常运行，大大降低数据采集门槛。C Producer方案与其他嵌入式采集方案对比如下：类别 C Producer 其他方案 编程 平台 移动端+嵌入式 移动端为主 上下文 支持 不支持 多日志 ...
采集ECS服务日志
通过采集器（Beats），您可以采集云服务器ECS（Elastic Compute Service）中的日志文件、网络数据、服务器指标等数据，发送到阿里云Elasticsearch或Logstash中进行监控、分析等操作。本文以Filebeat为例，介绍如何配置ECS服务日志采集。...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
监控分析平台对比
在完成数据采集后，还需要有一套合适的系统进行转换、存储、处理、分析，满足多样的需求。数据问题主要包括：数据多样 各类系统数据：cpu、mem、net、disk等通用硬件指标，系统日志。业务黄金指标：延时、流量、错误、饱和度。业务访问日志...
数据聚合分析
AnalyticDB的智能分析系统对采集的数据进行了多种分析，从而洞察实例运行状态。实例查询行为画像分析 对单独实例的查询行为进行了统计分析，主要统计指标包括：用户在某段时间内的查询次数；用户查询是否包含join、agg或者sort等；用户第一...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
智能分析-异常根因定位分析利器
OpenTelemetry作为当下可观测领域主流的开源项目，旨在提供可观测性领域的标准化方案，解决观测数据的数据模型、采集、处理、导出等标准化问题，提供与三方vendor无关的服务。OpenTelemetry定义了三个Signal（Trace，Logging，Metric）规范...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
查询分析RocketMQ客户端日志
本文使用Beats、Elasticsearch、Logstash和Kibana，在分布式环境下采集、汇聚、解析阿里云RocketMQ客户端SDK日志，帮助您在消息队列开发场景中快速定位并解决应用开发问题。背景信息 阿里云Elasticsearch（简称ES）已具备Elastic Stack全栈...
采集MySQL查询结果
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
采集Systemd Journal日志
Logtail支持从原始的二进制文件中采集Linux系统的Systemd Journal日志。本文介绍如何通过日志服务控制台创建Logtail采集配置采集Systemd Journal日志。前提条件 已在服务器上安装Linux Logtail 0.16.18及以上版本。具体操作，请参见 安装...
测试分析及调优
系统的性能是由很多因素决定的，本文很难面面俱到，但是可以作为分析系统性能的一个指导。适用对象和范围 适用于需要进行性能分析及调优的工作。预期读者为测试管理人员、测试实施人员、技术支持人员、项目质量管理人员、项目管理人员等...
内存诊断
重要 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。内存总览 内存总览...
快速入门
当您使用阿里云Elasticsearch时，系统会为您自动开通高级监控报警服务，并将您账号下的存量和新购Elasticsearch实例接入监控报警服务。本文为您介绍如何查看与配置可视化监控，以及如何配置日志报警规则和指标报警规则。背景信息 高级监控...
采集SQL Server查询结果
警告 该列的值必须递增，否则可能会出现数据漏采集问题（每次查询结果中的最大值将作为下次查询的输入）。CheckPointColumnType string 否 CheckPoint列类型，支持int和time两种类型。int类型的内部存储为int64，time类型支持SQL Server的...
采集PostgreSQL查询结果
警告 该列的值必须递增，否则可能会出现数据漏采集问题（每次查询结果中的最大值将作为下次查询的输入）。CheckPointColumnType string 否 CheckPoint列的数据类型，支持int和time。int类型的内部存储为int64，time类型支持PostgreSQL的...
节点诊断
发起诊断后，诊断会按照异常识别、数据采集、检查项评估以及根因分析四个阶段，完成后给出诊断结果。异常识别：采集基本数据，例如Node状态、Pod状态、集群Event事件流等，并快速分析当前的异常。数据采集：根据异常识别结果采集和诊断上...
自动SQL限流
除了上述的问题，在现实生活中可能还会出现各种特殊情况，比如值班人员联系不上、工作人员身边没有电脑、信息太多分析难度大、压力大紧张操作失误等。因此需要尽可能的把异常发现、异常SQL定位、SQL限流、跟踪/回滚的整体流程自动化处理。...
常见问题
内置云安全内部保障模板是数据安全中心结合多年安全保障经验，依据以下原则制定：S3：能直接定位到具体的主体 S2：比较明显的主体特征信息 S1：相对泛化的主体特征信息 水印功能相关问题 数据安全中心支持为图片、视频的添加水印吗？...
同步方案选取指南
当您在使用关系型数据库（RDS）遇到查询慢的问题时，可将RDS中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，可近乎于准实时地存储、查询和分析超大数据集。您可以通过...
Pod诊断
发起诊断后，诊断会按照异常识别、数据采集、检查项评估以及根因分析四个阶段，完成后给出诊断结果。异常识别：采集基本数据，例如 Node状态、Pod状态、集群Event事件流等，并快速分析当前的异常。数据采集：根据异常识别结果采集和诊断上...
管理问题数据
当问题数据采集过程中出现错误时，帮助您快速排查、定位问题。方式一：通过数据质量模块查看。您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过...
表设计规范
例如，在规范化设计表的同时对数据通道中的数据采集方式进行优化，可以减少分布式系统中小文件的问题，降低表和分区的维护数量。表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照...
SQL洞察
重要 对于采用冷热混合存储的SQL洞察和审计，超过7天的SQL洞察和审计数据采用冷存储，分析7天前的SQL明细数据时，系统会创建对应的任务重新进行计算和分析，您可以在 任务列表 页面，查看任务进度及历史任务。查询分析超过7天的SQL洞察和...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
创建实时日志投递任务
通过实时日志功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定的日志分析服务上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。不同套餐的支持情况 每种日志类型下可创建的推送任务数量...
SQL洞察和审计
说明 如果您在日志服务的CloudLens for RDS开启了RDS MySQL实例的审计日志采集功能，系统会自动开启对应RDS MySQL实例的SQL洞察和审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。迁移不同企业...
SQL洞察和审计
说明 如果您在日志服务的CloudLens for RDS开启了RDS MySQL实例的审计日志采集功能，系统会自动开启对应RDS MySQL实例的SQL洞察和审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。迁移不同企业...
可观测概述
从实际应用的角度来看，在系统中需要重视其稳定性，需要理解什么时候系统运行良好或出现问题，从而可以更快地识别错误，并实施正确的自动化及手动控制来维护系统的可用性。Service Mesh的数据平面代理位于服务之间的网络请求路径中，通过...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
接入NVIDIA GPU监控数据
您可使用Telegraf采集NVIDIA GPU监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建NVIDIA GPU可视化监控方案。本文介绍如何通过日志服务来完成NVIDIA GPU监控数据的采集和可视化。前提条件 已创建Project和...
使用plprofiler插件
生产系统上出现了性能问题。通常情况下，上述性能问题只能采取人工分析（分析Schema、统计信息、SQL语句）或断点（pldebugger）的形式进行排查，排查时间长且不直观、性能问题时隐时现（对于上述的第一个问题，甚至无法排查出原因），因此...
使用plprofiler插件
生产系统上出现了性能问题。通常情况下，上述性能问题只能采取人工分析（分析Schema、统计信息、SQL语句）或断点（pldebugger）的形式进行排查，排查时间长且不直观、性能问题时隐时现（对于上述的第一个问题，甚至无法排查出原因），因此...
- 产品推荐
- 这些文档可能帮助您