新功能发布记录
全部地域 数据采集概述 2023年12月 功能名称 功能描述 支持地域 相关文档 企业云监控日志 采集企业云监控的日志。全部地域 开通企业云监控日志转储功能 Alibaba CloudLens Copilot for OSS 基于日志服务的CloudLens for OSS功能为您提供...
无侵入观测概述
当流量过多或前序请求大量阻塞时，后续的请求会发生阻塞，此时传统分析手段下的Time1与Time2可能存在巨大差值，且如果埋点位置仅存在于Service B，则消耗时间可能始终处于正常状态，整个系统的瓶颈问题将被忽略。此时您可以使用无侵入监控...
如何使用Prometheus监控Windows
内存指标 内存可用于存储CPU中的运算数据、存储与硬盘等外部存储器交换的数据，您可以关注以下主要指标。指标名称 指标级别 指标来源 指标说明 可用物理内存（MB）Critical WMI（AvailableMBytes）多个进程之间对RAM的争用将不可避免地导致...
MongoDB 5.0新特性概览
例如：版本化API与在线重新分片相结合，使用户不必担心未来的数据库升级以及业务变化问题；本地原生时间序列数据平台使MongoDB能够支持更广泛的工作负载和业务场景；新的MongoDB Shell能够提升用户体验等均为MongoDB 5.0的功能。原生时间...
Cost-based SQL诊断引擎
基于代价模型 与基于规则不同，DAS中的SQL诊断优化服务采用的是基于代价模型方式实现，即采用和数据库优化器相同的方式去思考优化问题，最终会以执行代价的方式量化评估所有的（或尽可能所有的，因为是最优解求解的NP类问题，因此在一些...
功能发布记录（2023年）
方便治理责任人及时了解最新待治理问题进展并快速进入系统处理。2023.3.15 所有地域 所有DataWorks用户 配置消息通知 数据治理中心新增存储长生命周期治理项 存储长生命周期治理项可帮助用户对于MaxCompute分区表合理设置生命周期，减少...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
采集脚本执行日志
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集脚本执行日志。前提条件 已在服务器上安装Linux Logtail 1.7.1及以上版本。具体操作，请参见 安装Logtail（Linux系统）。功能说明 Logtail通过配置的用户，调用配置的脚本命令，...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
机器组简介
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器。本文介绍机器组的概念和类型、配置机器组的步骤。背景信息 日志服务支持通过一个 Logtail采集配置 来采集多台服务器上的数据，这些...
通过DaemonSet方式采集Kubernetes容器文本日志
但是，容器内的文件系统都是由宿主机的文件系统挂载形成，通过将宿主机根目录所在的文件系统挂载到Logtail容器，就可以访问宿主机上的任意文件，从而间接采集业务容器文件系统的文件。容器内文件路径与宿主机文件路径之间的关系被称为文件...
（面向SAAS使用）隐私权政策
2、在您使用服务过程中收集的信息（1）瓴羊Quick Tracking产品提供的SDK服务 个人信息采集字段：SDK类型 个人信息字段 用途 数据保护方式 Quick Tracking（全域采集与增长分析）SDK OAID/GAID/MAC/IMEI/Android ID/IDFA/IDFV/OPENUDID/GUID...
内网DNS日志
外部DNS，通常指的是您数据中心的内网DNS系统，通过PrivateZone解析器的功能，将来自VPC的域名解析请求，转发到您数据中心的DNS系统进行解析，从而实现阿里云VPC的ECS主机可以访问您数据中心的应用域名。4、递归到外部公网权威DNS上的公网...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
采集标准Docker容器日志
本文介绍如何部署Logtail容器以及创建Logtail配置，用于采集标准Docker容器日志（文本日志和标准输出）。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
通过接入中心接入数据
云服务环境：对于常规云服务数据采集，通常按地域划分，为每个地域创建各自的云服务环境。每一个环境默认关联一个Prometheus实例的存储指标数据。对于应用监控和链路追踪等组件，目前数据存储不严格对齐指标数据的存储划分。组件 接入中心...
trace
SystemView 不但可以实时分析和展示数据，而且可以帮助用户进行系统调试和问题诊断，尤其是在开发和处理具有多个任务的复杂系统时。SystemView 由两个部分组成：SystemView 嵌入式端程序：用于记录嵌入式系统的行为，通过实时传输（Real ...
录音指导
高质量的录音数据对于模型训练至关重要，本篇文章将从日常环境选择、录音设备、录制过程、常见问题等方面提供建议和指导，希望您能通过学习和实践能够录制出非专业环境下高质量的音频数据。重要 录制高质量的音频有一定的门槛，掌握录制...
录音指导
高质量的录音数据对于模型训练至关重要，本篇文章将从日常环境选择、录音设备、录制过程、常见问题等方面提供建议和指导，希望您能通过学习和实践能够录制出非专业环境下高质量的音频数据。重要 录制高质量的音频有一定的门槛，掌握录制...
通过接入中心接入数据
ECS（VPC）环境：对于ECS主机下的各类数据采集，由于大多数情况下需要通过网络进行数据拉取，因此一个VPC对应一个环境。ARMS优先通过网络的形式采集数据，尽可能降低安装到ECS中的探针数量。云服务环境：对于常规云服务数据的采集，云服务...
Web SDK 更新日志
06)fix:内部代码逻辑优化 fix:远程控制偶发异常处理 fix:来源页路径ref_url取值document.referrer逻辑优化 opt:删除页面透传属性冗余日志 2.1.5(2023-09-17)fix:修复App内嵌H5场景下，H5和App数据通信后，未清除_hold=BLOCK 副作用的问题 ...
通过Sidecar方式采集Kubernetes容器文本日志
如果没有正确配置时区，可能导致原始日志与处理日志的时间标签不匹配，进而将日志数据归档到错误的时间点。name:TZ value:"${timezone}"-name:ALIYUN_LOGTAIL_USER_ID value:"${your_aliyun_user_id}"-name:ALIYUN_LOGTAIL_USER_DEFINED_ID...
最佳实践
消费与投递 搭建监控系统 计量计费日志 通过Consumer Library实现高可靠消费 日志应用 通用数据库审计 Kubernetes中的通用数据库审计部署方案 Trace服务 导出Trace数据到Grafana 接入Apache SkyWalking Trace数据到日志服务 在K8s环境下接...
什么是Quick Tracking
产品简介 全域采集与增长分析(Quick Tracking)是阿里云推出的企业级流量统计分析产品，提供APP/小程序/H5/Web/IoT等数字应用终端的行为采集分析、私域标签画像、性能体验监控、隐私采集授权管理等数据采集与洞察服务，助力企业实现全域数据...
什么是Logtail
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。...相关文档 Logtail诊断 Logtail常见问题 数据采集常见问题
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
微服务架构日志采集运维管理
场景描述 阿里云日志服务LOG（原SLS）结合阿里云容器服务Kubernetes版（ACK）集群日志特点以及应用场景，提供全方位的容器微服务应用环境下的日志采集、处理以及分析的实践解决方案。方案优势 日志采集配置灵活，支持多种日志形态、日志...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
图扑案例
新技术在创造新机遇带动产业升级的同时也带来了新的技术挑战，更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地，企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点。...
什么是块存储数据洞察
自动化数据采集能力 CloudLens for EBS针对块存储资源提供了自动化数据采集能力，提升您对块存储资源运维管理的效率。计费 您可以免费使用CloudLens for EBS的相关功能。应用场景 适用于需要多维度监控存储性能、对数据安全有严格要求的...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
米哈游
在数据采集方面，日志服务支持客户端、网页、协议、SDK、API等50多种采集方式，支持断点续传以保证数据采集可靠性，根据不同业务环境支持内网+VPC、公网+全球加速等多种传输方式。日志服务帮助《原神》高效可靠地采集来自不同区域服务日志...
产品介绍
应用场景 微型闪电立方支持边缘数据的计算、传输和存储，满足您对边缘数据处理的多种需求，典型应用场景包括：自动驾驶数据采集 支持车载数据采集与传输。单车每天可能产生数TB的数据，这些数据需要及时存储到云上或指定机房。普通的外接...
应用场景
与传统架构不同，云消息队列 Kafka 版 以及Storm、Samza、Spark等数据处理引擎的出现，就是为了更好地解决这类数据在处理过程中遇到的问题，数据处理模型能实现在数据流动的过程中对数据进行实时地捕捉和处理，并根据业务需求进行计算分析...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
- 产品推荐
- 这些文档可能帮助您