数据血缘
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
创建Kudu数据源
Kudu适用HTAP场景（例如物联网），对于数据处理系统的复杂性提出了更高的要求。从早期的OLTP、OLAP拆分，到后来的Lambda架构，都存在数据复制和同步的复杂性，而Kudu的单一数据架构，规避了传统架构数据复制和同步的复杂性。更多详情请参见...
监控分析平台对比
在完成数据采集后，还需要有一套合适的系统进行转换、存储、处理、分析，满足多样的需求。数据问题主要包括：数据多样 各类系统数据：cpu、mem、net、disk等通用硬件指标，系统日志。业务黄金指标：延时、流量、错误、饱和度。业务访问日志...
节点诊断
重要 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群 节点上 执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的...
图扑案例
新技术在创造新机遇带动产业升级的同时也带来了新的技术挑战，更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地，企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点。...
Logtail限制说明
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
Logtail
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
Logtail配置
通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 configName string 是 config-sample Logtail...
阿里云Elasticsearch数据采集解决方案
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
什么是块存储数据洞察
自动化数据采集能力 CloudLens for EBS针对块存储资源提供了自动化数据采集能力，提升您对块存储资源运维管理的效率。计费 您可以免费使用CloudLens for EBS的相关功能。应用场景 适用于需要多维度监控存储性能、对数据安全有严格要求的...
日志同步报警
若您购买了数据采集功能包，并在 组织系统配置 中配置了采集数据同步服务，系统将采集的日志数据加工成可用于分析筛选的行为数据，并将加工好的数据自动同步到用户指定的ADB3.0数据源中。若未成功同步数据到用户指定的数据源，则将在消息...
东软案例
建设效果 目前系统已经在阿里云端支撑某行业车企存储、检索从全球客户终端采集的用户数字足迹和客户体验数据，应对日活量上万客户访问监控数据采集，日均实时监控指标数据采集1.2亿元组，节约数据存储和系统维护成本达4成，建设效果如下图...
实现原理
数据采集：通过安装在机器上的 Agent 采集监控数据，这部分可以是日志，也可以是通过各种方式获取到的指标。数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
什么是Logtail
Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万服务器上的实时数据，日流量数十PB，并历经多次双十一挑战。相关性能指标，请参见 Logtail提升采集性能。相关技术分享，请参见 Logtail技术分享一 和 Logtail技术...
常见问题
售前常见问题 产品计费常见问题 数据采集常见问题 数据存储常见问题 查询与分析常见问题 数据加工常见问题 消费与投递常见问题 售前常见问题 什么是日志服务？日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据...
环境分类说明
容器环境 考虑到容器集群可能涉及大量数据采集，通常是将单个容器集群定位为一个监控环境。针对此类环境，为 ACK、ACK Serverless集群 以及 ACS 等阿里云容器服务实施了一套自动化管理流程，助力您轻松部署采集探针并处理数据。针对您自建...
环境分类说明
容器环境 考虑到容器集群可能涉及大量数据采集，通常是将单个容器集群定位为一个监控环境。针对此类环境，为 ACK、ACK Serverless集群 以及 ACS 等阿里云容器服务实施了一套自动化管理流程，助力您轻松部署采集探针并处理数据。针对您自建...
什么是阿里云Logstash
在阿里云ELK（Elasticsearch、Logstash、Kibana）生态下，Elasticsearch作为实时分布式搜索和分析引擎，Logstash提供了数据采集、转换、优化和输出的能力，Kibana提供了强大的可视化界面，可以被广泛应用于实时日志处理、全文搜索和数据...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
说明 DTS释放实例后会主动删除该replication slot，如果您在迁移期间修改了数据库密码，或者删除了DTS的访问IP白名单，则会导致该replication slot无法自动删除，此时需要您在源库手动删除，避免其持续累积占用磁盘空间导致 PolarDB ...
最佳实践
接入Kubernetes Ingress链路数据 智能异常分析 多维指标智能巡检 日志聚合多维指标智能巡检 对云监控指标进行智能巡检 开发指南 监控日志服务 监控日志服务 其他 SLS多云日志采集、处理及分析 微服务架构日志采集运维管理
巡检报表（专有云）
说明 是否正常采集 表示在统计时刻，针对每一条报警规则，系统会检测是否采集了足够的监控数据，从而判断配置的报警规则是否生效，帮助用户排查因数据不全导致的报警没有正常触发的问题。应用报警趋势每周汇总：环境中所有应用的监控项报警...
什么是ETL
行业领先的计算时效：通过DTS强大的数据库流式数据采集能力，ETL既能保障数据的准确性，同时还具备行业领先的计算实效性。灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作...
流式ETL
行业领先的计算时效：通过DTS强大的数据库流式数据采集能力，ETL既能保障数据的准确性，同时还具备行业领先的计算实效性。灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作...
通过Metricbeat收集系统数据及Nginx服务数据
本文介绍如何通过阿里云Metricbeat采集器收集系统数据（CPU使用率、内存、磁盘IO和网络IO统计数据）和Nginx服务数据，并生成可视化图表。前提条件 您已完成以下操作：创建阿里云Elasticsearch（简称ES）实例。详情请参见 创建阿里云...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
采集-IoT/嵌入式日志
日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C Producer。嵌入式开发需求 作为IoT/嵌入式工程师，除了需要深厚的开发功底外，面对海量的设备，如何有能力管理、监控、诊断黑盒设备至关重要。嵌入式开发需求...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
C100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 配置数据库审计实例 登录数据库审计系统 管理数据库资产 安装Agent 如果您想配置审计规则和告警通知，更多信息，请参见 C100快速入门。如何将跨地域、跨...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
支持的云服务
人工智能平台 PAI 人工智能平台 PAI 是基于MaxCompute的一款机器学习算法平台，实现了数据无需搬迁，便可进行从数据处理、模型训练、服务部署到预测的一站式机器学习。您创建MaxCompute项目并开通机器学习服务后，即可通过机器学习平台的...
采集-多渠道数据
数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较差 FTP、OSS上传、邮寄硬盘、SQL 数据导出 流式导入 实时，所见即所得，面向...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
- 产品推荐
- 这些文档可能帮助您