什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。...相关文档 Logtail诊断 Logtail常见问题 数据采集常见问题
互联网教育：尚学博志（上海）教育科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍尚学博...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
采集客户端数据的高可用方案
当Logstore A出现故障时，您需要将数据采集及时切换到Logstore B上，使Logstore B的数据实时可用。当Logstore B故障时，Logstore A的数据仍然实时可用。操作步骤：在日志服务控制台上，创建Project和Logstore。创建A地域的Project A和...
概述
在工业物联网场景中，企业需要把现场传感器采集的数据通过网络实时传输到云上的业务系统，对作业环境、设备运行情况进行实时监控和预测性维护。此时可以通过阿里云物联网平台，以MQTT协议方式传输，以适应设备规模增长和实时性、稳定性需求...
ADP底座介绍
常见故障场景自动诊断：内置长期经验沉淀的运维知识库，自动识别常见故障问题，并提供故障处置建议。自动化巡检和告警通知：内置基础告警策略并可灵活配置，可对接多种告警通知方式，定期巡检，及时感知问题。业务数据的存储备份及还原：...
功能特性
通过日常巡检功能，可以例行化、自动化地对系统稳定性、可用性进行巡查，并将巡检结果实时同步推送至指定的钉钉群中，便于运维人员第一时间了解应用风险；同时支持生成巡检报告，供运维人员统一归档。巡检插件支持多种类型，包括 python、...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
对接DataV
实时计算：数据处理关键环节，订阅实时数据，通过计算规则对窗口中数据进行运算。结果存储：计算结果数据存入SQL和NoSQL。可视化：通过API调用结果数据进行展示。在阿里集团内，有大量成熟的产品可以完成此类工作，一般可供选型的产品如下...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
创建实时日志投递任务
通过实时日志功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定的日志分析服务上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。不同套餐的支持情况 每种日志类型下可创建的推送任务数量...
常见问题概览
实例的节点故障处理机制 解决因磁盘空间耗尽导致的锁定或无法写入问题 云数据库MongoDB版释放数据库空间 云数据库MongoDB版的监控采集粒度是多少？账号与权限 热点问题 其他常见问题 实例创建时指定的root账号拥有什么权限？云数据库...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
核心自治技术案例解析
性能采集负责对实例进行实时性能数据采集，涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等。决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断，以基于根因的全局自治，例如可通过SQL限流来解决...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
最佳实践概览
查询分析RocketMQ客户端日志 通过Elasticsearch和rsbeat实时分析Redis slowlog 服务器数据采集 服务器数据采集方案概述 阿里云Elasticsearch数据采集解决方案 通过自建Metricbeat收集系统指标信息 使用SkyWalking和Elasticsearch实现全链路...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
使用集群诊断
配置故障诊断 重要 使用故障诊断功能时，系统将在您的集群上执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。配置Pod诊断和...
实时同步数据库的数据至Hologres
常见的支持实时数据同步的数据库包括：Oracle、Polar DB、PolarDB MySQL等。说明 如需查看更多支持的数据库，请参见 支持的数据源及同步方案。相关原理：MySQL Reader、Oracle数据源、PolarDB Reader、SQL Server Reader、Hologres数据源。...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
什么是云数据库Redis版
标准版-双副本 系统工作时主节点（Master）和副本（Replica）数据实时同步，若主节点发生故障，系统会快速将业务切换至备节点，全程自动且对业务无影响，保障服务高可用性。集群版-单副本 单副本集群版实例采用集群架构，每个分片服务器...
什么是实时日志
在借助 CDN 访问图片、文字或视频资源时，CDN 会产生大量的日志数据，并对这些日志数据进行实时采集。阿里云 CDN 通过与日志服务融合，将采集到的实时日志实时推送至日志服务（简称SLS），并进行日志分析。通过日志的实时分析，您可以快速...
基于GitHub公开事件数据集的离线实时一体化实践
实时离线一体化是指将实时数据和离线数据在同一平台上管理和处理的技术。它能够实现实时数据处理和离线数据分析的无缝衔接，从而提高数据分析效率和精度。其优势在于：提高数据处理效率：将实时数据和离线数据整合在同一平台上，大大提高了...
基于GitHub公开事件数据集的离线实时一体化实践
实时离线一体化是指将实时数据和离线数据在同一平台上管理和处理的技术。它能够实现实时数据处理和离线数据分析的无缝衔接，从而提高数据分析效率和精度。其优势在于：提高数据处理效率：将实时数据和离线数据整合在同一平台上，大大提高了...
通过Metricbeat收集系统数据及Nginx服务数据
本文介绍如何通过阿里云Metricbeat采集器收集系统数据（CPU使用率、内存、磁盘IO和网络IO统计数据）和Nginx服务数据，并生成可视化图表。前提条件 您已完成以下操作：创建阿里云Elasticsearch（简称ES）实例。详情请参见 创建阿里云...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
什么是云网管
云网管（Cloud Managed Network）是针对基础设施运维管理的一站式服务，在阿里巴巴集团经过大型数据中心和分布式办公网络的锤炼而成。系统提供远程集中式标准化的运维平台，各类物理资源可纳管，所有网络业务可编排，性能指标可定义，通过...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
DBGateway简介
数据库网关（DBGateway）是数据库自治服务DAS的一个组件，通过自动采集数据库的性能指标、拓扑等信息，帮助您查看数据库的性能趋势、实时性能和复制关系等情况。特性 无侵入设计 您可以选择在一台非数据库主机上安装DBGateway，无需在每个...
通过Uptime实时监控阿里云Elasticsearch服务
在左侧导航栏，单击 Beats数据采集中心。在 创建采集器 区域，单击 Heartbeat。安装并配置采集器。具体操作，请参见 采集ECS服务日志 和 采集器YML配置。表 1.heartbeat.monitors配置说明 参数 说明 type 本文指定为 http 。说明 Heartbeat...
新手指引
模块问题 计费常见问题 数据库常见问题 流量统计常见问题 网站管理常见问题 管理控制台常见问题 网站耗资源（客户程序故障）常见问题 更多常见问题，请参见 常见问题和故障排除汇总。反馈与建议 在使用阿里云云虚拟主机时，如果有任何疑问...
GTM如何实现异地容灾
概述 方案介绍 异地容灾是指应用服务部署在不同地域时，当其中一地出现故障时，全局流量管理（简称GTM）可以将出现故障地域的用户访问流量，调度至异地灾备中心，保障用户访问连续不间断。本文将以两地三中心灾备架构为读者讲解异地灾备的...
功能概览
多日志数据源 提供三种日志数据来源：实时日志服务：RMS Agent 从主机查询实时数据，既不存储日志，也无法保证日志查询时间，如主机重启，日志将丢失。持久化日志服务：RMS Agent 从主机查询日志数据，并按照一个应用一个索引方式进行存储...
GTM如何实现同城容灾
同城双活容灾架构，是指在同城建立两个可独立承担关键系统运行的数据中心，双中心具备基本等同的业务处理能力并通过高速链路实时同步数据，日常情况下可同时分担业务及管理系统的运行，并可切换运行；灾难情况下可在基本不丢失数据的情况下...
实时同步任务运维
当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心运行实时同步任务，同时，您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。前提条件 已完成实时同步任务的创建、...
可观测概述
在Service Mesh中实现可观测性，涉及了日志、监控指标、链路追踪这些可观测性数据的生成规则配置和采集配置，以及如何将这些可观测数据采集到云托管服务或者自建服务中。同时，还需要考虑如何支持针对网格代理与网关Pod分别定义采集配置，...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
- 产品推荐
- 这些文档可能帮助您