基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
什么是实时日志
通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务（简称SLS）进行存储和消费，以便快速监控和定位业务问题。如果您想深入了解日志服务，请参见 什么是日志服务。注意事项 通过CDN/DCDN控制台（或者OpenAPI）的监控查询、...
日志管理概述
通过分析全站加速日志及时发现问题，针对性的解决问题，提升全站加速服务质量。通过本文您可以了解全站加速提供日志管理功能和...关于实时日志投递，您还需要了解以下内容：实时日志采集字段说明 用户访问日志分析报表 实时日志服务关联角色
数据采集常见问题
本文列举日志服务数据采集常见问题。Logtail基本问题 Logtail采集日志失败的排查思路 如何使用Logtail自动诊断工具 Logtail机器组问题排查思路（主机场景）ECS经典网络切换为VPC后，如何更新Logtail配置 Logtail服务的app_info.json文件中...
文档修订记录
使用建议 2023.12.27 新增向量计算使用指南 新说明 Hologres中的向量计算功能可以应用于相似度搜索、图像检索、场景识别等多种场景。通过灵活应用向量计算，可以提升数据处理和分析的效果，并实现更精准的搜索和推荐功能。本文为您介绍在...
使用前须知
阿里云日志服务与全站加速DCDN联合推出日志功能，支持近实时采集DCDN实时日志。日志服务提供实时查询、可视化分析、告警、投递、加工等一站式服务。本文介绍DCDN实时日志相关的功能介绍、资产详情、费用说明及使用限制。功能介绍 您的业务...
故障演练
ADP提供基于线下交付经验设计的丰富故障演练场景，对基础设施、底座、中间件的常见故障场景进行覆盖，涵盖了集群级别的大规模故障以及节点、pod级别的资源故障。部分演练场景为破坏性场景（如机器重启、网卡损坏），可能导致环境状态异常、...
哈啰出行
解决方案 日志服务为哈啰出行提供了TB级别日志的实时采集、弹性扩容、实时查询的能力。实时采集 日志服务原生支持Kafka协议。哈啰出行的各个客户端只需把Kafka的地址设置成日志服务的Kafka协议地址即实现了无缝迁移。弹性扩容 日志服务采用...
实时日志投递
通过实时日志投递功能，可实时采集指定加速域名在指定区域产生的日志，并投递到日志服务（简称SLS）进行分析，以便快速监控和定位业务问题。本文主要介绍如何开通、开启或停用实时日志投递服务。前提条件 使用该服务前，请确保您已开通 ...
应用场景
物联网边缘计算平台的典型应用场景有：未来酒店、...特点：数据实时采集：多机组多数据点同时采集。大数据处理：数据上传至阿里云后，使用大数据训练模型。即时反馈：算法或规则导入本地边缘节点后，实时自动调整机组参数，实现最优化生产。
概述
您可以通过实时日志推送功能，将点播域名日志实时推送至日志服务，并进行日志分析，便于快速发现和定位视频播放推流问题，或者分析点播观看用户数据为运营策略提供依据。实时日志服务的优势 传统日志：需要您将日志下载后，重新上传至数据...
云产品日志审计
一键式采集：一次性配置采集策略后，即可完成跨账号自动实时发现新资源（例如新创建的RDS、SLB、OSS Bucket实例等）并实时采集日志。中心化存储：将采集到的日志存储到某个地域的中心化Project中，方便后续查询分析、可视化与告警、二次...
实时数据API
在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。实时数据业务痛点。处理实时数据业务的整个链路中，要求数据库提供高...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
采集-多渠道数据
日志服务LogHub功能提供数据实时采集与消费，其中实时采集功能支持50+种手段。数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较...
使用前须知
阿里云操作审计（ActionTrail）联合日志服务推出平台操作日志（Inner-ActionTrail）功能，提供平台操作日志的实时采集、查询、分析、加工、消费等一站式服务，满足您平台操作日志相关的分析与审计需求。本文介绍平台操作日志相关的资产详情...
使用前须知
阿里云云防火墙联合 日志服务 推出日志分析功能，提供互联网流量日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求。本文介绍云防火墙日志分析功能相关的资产详情、费用说明及使用限制等。资产详情 专属Project和...
使用前须知
阿里云Web应用防火墙（WAF）联合日志服务推出WAF日志服务功能，提供网站域名访问日志、攻击防护日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求和您的网站业务防护和运营需求。本文介绍WAF日志服务功能相关的资产...
NAT网关故障排查指南
本文介绍NAT网关的常见故障及排查方案。流量不通类故障排查：ECS实例配置DNAT条目后无法被公网访问 VPC内新建交换机的ECS无法通过SNAT访问公网 VPC内存在多个NAT网关时，某交换机的ECS实例不能访问公网 访问流量异常类故障排查：客户端访问...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
高性能版实例
以下内容为 AnalyticDB PostgreSQL版 实例常见故障场景中高性能版和高可用版的对比：恢复（Recovery）模式 根据以往 AnalyticDB PostgreSQL版 运行情况，故障最大的场景为恢复模式，故障概率远大于另外两种场景（计算节点故障和计算节点宿...
概述
开通全量日志分析后，日志服务将实时采集接入DDoS高防防护的网站业务的日志，并基于采集到的日志数据向您提供日志查询与分析和日志报表服务。什么是全量日志分析 DDoS高防全量日志分析基于阿里云日志服务，在DDoS高防控制台为您提供日志...
数据分发
1.概述 如果您需要将Quick Tracnking中采集的埋点数据实时推送到目标地址，数据分发模块可以为您实现。说明 本功能当前仅支持推送实时采集推送的埋点数据，历史已经上报的数据不支持推送，已停止的任务如重新启用，停用期间的数据不可回溯...
采集-通过WebTracking采集日志
本文档为您介绍如何通过WebTracking采集日志数据到日志服务中，并对采集到的日志数据进行查询和分析。背景信息 当发送重要邮件时为了确认对方已读，都会在邮件中设置 读取回执 标签，可以在对方已读时收到提醒信息。读取回执这种模式用途很...
事件上报概述
您可以将用户在您的APP、小程序、网页等应用上的行为事件（含订单事件）数据实时采集并上报到Quick Audience，会员中台、社交互动 模块也会将相关用户行为事件同步上报到Quick Audience，这些用户行为事件数据将参与实时 ID Mapping 获取...
采集-IoT/嵌入式日志
嵌入式开发需求主要有以下几点：数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备...
什么是实时日志
在借助 CDN 访问图片、文字或视频资源时，CDN 会产生大量的日志数据，并对这些日志数据进行实时采集。阿里云 CDN 通过与日志服务融合，将采集到的实时日志实时推送至日志服务（简称SLS），并进行日志分析。通过日志的实时分析，您可以快速...
核心自治技术案例解析
您可以采集各种数据，比如从链路上采集数百个数据库性能指标和从链路上采集已加载SQL语句的查询日志，海量数据的离在线处理与存储，基于机器学习和数据库领域预测算法，实现各业务数据库实例的持续模型训练，实时模型预测和实时异常检测...
日志审计服务概述
一键式采集：一次性配置采集策略后，即可完成跨账号自动实时发现新资源（例如新创建的RDS、SLB、OSS Bucket实例等）并实时采集日志。中心化存储：将采集到的日志存储到某个地域的中心化Project中，方便后续查询分析、可视化与告警、二次...
Android
如果需要对接YUV数据人脸识别功能，在调用本地预览开启接口startPreview之后，再调用RegisterPreprocessVideoObserver订阅采集前处理YUV数据（通常是对采集图像做人脸识别）。如果需要对接YUV数据人脸识别功能，在AliDetectObserver的...
iOS
如果需要对接 YUV 数据人脸识别功能，在调用本地预览开启接口 startPreview 之后，再调用 registerVideoSampleObserver 订阅采集前处理 YUV 数据（通常是对采集图像做人脸识别）。如果需要对接 YUV 数据人脸识别功能，在 ...
采集指定虚拟节点的Metrics
为了采集指定虚拟节点的Metrics数据，ACK在保留原有采集端点<nodeIP>:10250/metrics/cadvisor 的基础上，额外提供指定虚拟节点名称的端点<nodeIP>:10250/metrics/cadvisor?nodeName=。您可以通过修改Prometheus监控配置来采集指定虚拟节点...
采集指定虚拟节点的Metrics
为了采集指定虚拟节点的Metrics数据，ACK在保留原有采集端点<nodeIP>:10250/metrics/cadvisor 的基础上，额外提供指定虚拟节点名称的端点<nodeIP>:10250/metrics/cadvisor?nodeName=。您可以通过修改Prometheus监控配置来采集指定虚拟节点...
主从实例读写分离部署（共享存储）
共享存储的多实例高可用方案 技术原理 在单实例方案中，采用的是故障实时监测、节点替换的方案，在节点恢复时存在一定的服务不可用周期，对于关键业务场景，需要更高级别的高可用方案，支持故障隔离、负载隔离。Hologres在 V1.1版本，支持...
应用场景
公司首先把从车间实时采集到的上千个生产参数传入工业大脑，通过人工智能算法，对所有关联参数进行深度学习计算，精准分析出与生产质量最相关的30个关键参数，并搭建参数曲线模型，在生产过程中实时监测和调控变量，最终将最优参数在大规模...
红外人脸活体检测
功能描述 红外人脸活体检测能力可以检测红外图片中的人脸是否为来自认证设备端的近距离裸拍活体人脸对象，可广泛应用在红外设备人脸实时采集场景，满足红外人脸注册认证的真实性和安全性要求，判断的前置条件是红外图像中有人脸。...
人脸活体检测
功能描述 人脸活体检测能力可以检测图片中的人脸是否为来自认证设备端的近距离裸拍活体人脸对象，可广泛应用在人脸实时采集场景，满足人脸注册认证的真实性和安全性要求。活体判断的前置条件是图像中有人脸。能力范围来看：1.认证设备端是...
执行演练
在执行故障演练过程中，您可以实时查看演练进度、每个演练活动的运行状态及结果，同时也能够随时结束演练，进行恢复阶段的活动，清除故障演练影响。背景信息 一次完整的故障演练包括以下四个阶段：安装故障演练探针 创建演练 执行演练 停止...
监控报警概述
实时监控提供终端用户登录云电脑的实时数据（例如用户在线数量、在线时长的前十用户、平均登录时间和云电脑网络延迟分布情况）以及相关故障预警信息，以便快速准确定位，迅速处理故障，避免因资源、网络问题或者外部操作原因造成不必要的...
如何选取统计信息自动采集策略
数据发生剧烈变化的场景，常见于数据导入过长，会触发实时的统计信息采集。建议 如果不希望在凌晨执行采集，可以在控制台 参数设置 页面，将 ENABLE_BACKGROUND_STATISTIC_COLLECTION 和 ENABLE_STATISTIC_FEEDBACK 参数的值设置为False，...
- 产品推荐
- 这些文档可能帮助您