如何使用Prometheus监控SNMP
在当前版本中，我们支持 if_mib module的指标数据采集。这里以常见的思科16口交换机为例，列举SNMP的主要指标：指标名称 指标描述 OID ifAdminStatus 接口状态 1.3.6.1.2.1.2.2.1.7 ifHCOutOctets 接口发出的字节数总计 1.3.6.1.2.1.31.1.1...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
新建数据采集接口
通过 Quick Tracking 使用数据采集服务的流程如下：配置数据采集渠道（App、小程序、Web）接口，并获取AccessKey，具体操作请参见下文。获取 Quick Tracking 的SDK，并使用上一步中获得的AccessKey进行数据采集程序的开发与部署。SDK和程序...
常见错误处理方法
连接异常 连接异常即应用程序或者客户端与数据库的连接出现异常，例如已经创建的连接，提示连接不存在或连接超时，无法与数据库实例建立连接等。连接异常经常发生在网络闪断，或者数据库服务重启时，您需要在应用程序中就此类异常，添加重...
App端性能体验功能说明
开启开关后可以配置采样率 采样率配置：默认为100%，最高100%，在设备启动时判断此次PV是否采样，您可以根据自身情况调低采样率 注：安卓平台中OOM异常涵盖在崩溃分析中，如果您在SDK中将崩溃分析的开关关闭，则OOM异常也不会采集。...
设备协议
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
通过DaemonSet方式采集Kubernetes容器文本日志
例如/var/log/service 目录是数据卷挂载的路径，则设置采集目录为/var/log 将无法采集该目录下的日志，因为采集目录比挂载路径短。必须设置采集目录为/var/log/service 或更深的目录。日志文件采集停止：docker：当容器被停止时，Logtail会...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
使用须知及高危风险操作说明
包括但不限定于使用ECS的OpenAPI更改ECS运行状态、修改Worker节点的安全组配置、更改Worker节点的网络配置以及通过负载均衡的OpenAPI修改SLB配置等，擅自改动IaaS层资源可能会导致数据面组件异常。部分数据面组件受上游社区版组件影响，...
教程概述
数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
数据采集
时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务时序数据 在服务级别根据进程的角色不同，对各类时序数据进行了采集。业务相关的时序数据主要包括：QPS、...
通过Sidecar方式采集Kubernetes容器文本日志
（推荐）通过CRD 管理Logtail采集配置 通过CRD可以自定义Kubernetes资源，为了便于通过云原生方式管理Logtail采集配置，日志服务定义了 AliyunLogConfig 这种CRD，它基本等价于Logtail采集配置。用户可以向kube-apiserver提交YAML配置文件...
发布日志
V2.5.2@2021-08-27 新增外接声卡采集真正双声道数据推流。优化部分场景下首帧耗时体验。V2.5.1@2021-08-18 新增数据打标功能，精确统计各组数据。优化屏幕共享功能，提升弱网和低性能设备的可用性。修复因GRTN（Tenfold）协议切网或断网...
服务器数据采集方案概述
针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案进行了汇总。相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和...
功能发布记录（2.0）
V2.5.2@2021-08-27 新增外接声卡采集真正双声道数据推流。优化部分场景下首帧耗时体验。V2.5.1@2021-08-18 新增数据打标功能，精确统计各组数据。优化屏幕共享功能，提升弱网和低性能设备的可用性。修复因GRTN（Tenfold）协议切网或断网...
iOS SDK概述
日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
发布日志
V1.17.44@2021-04-02 修复日志命名异常导致的崩溃问题。V1.17.43@2021-03-29 优化音频3A。V1.17.42@2021-03-23 支持播放和渲染双声道音频。V1.17.41@2021-02-26 新增角色鉴权功能，用户可在入会前设置角色是否具备推流权限。新增刷新令牌...
Android SDK概述
日志服务Android SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务Android SDK方便地采集...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
卡片性能
拉包异常率：拉包请求异常率=卡片的拉包请求异常数/卡片的拉包请求总量 卡片错误，展示了卡片错误数、影响用户数、错误类型异常曲线、错误类型异常分布和详细错误信息列表。错误数：卡片的错误次数（JS 异常次数+style 异常次数）。影响...
Logtail
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
Logtail限制说明
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
Logtail最佳实践
分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 主机场景下如何使用Logtail采集超大规模文件 ...
离群点剔除
在很多项目中，数据集中会出现一些异常值（离群点），为消除异常值对结果的影响，需要将异常值进行剔除。应用场景：如图1，在历史数据中，会时长出现一些明显异常的值，图中①、②、③处。这些明显区别于其他历史数据的数据点需要剔除。图 ...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
时序异常检测
esd：适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的情况比较适用。nsigma：原理简单，便于分析异常原因。ttest：用于识别一个时间窗口内时序指标是否存在因均值变化而发生的异常。istl-esd：适用于带...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
V3.3.41版本说明
V3.3.41中，自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件，智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐，此外，还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...
稳定性测试
在 通用稳定性测试&Android/通用稳定性测试&iOS 页面的 测试数据准备 中输入 任务名称、选择 待测应用、输入 运行时间、设置 自定义性能数据采集。任务名称：标记当前测试任务，方便后续搜索测试任务。待测应用：可选本地上传或选择已上传...
服务端埋点验证
1 打开埋点验证 打开产品首页，点击顶部导航“数据采集”进入数据采集模块，点击顶部导航“埋点验证”在埋点验证模块内，选择“服务端验证”2 生成DebugKey 3 将DebugKey设置在代码中 将第2步生成的DebugKey配置在上报的日志中，注意代码...
开启数据采集功能
CloudLens for PolarDB支持一键开启数据采集功能，用于采集PolarDB MySQL集群的审计日志、慢查询日志、错误日志和性能指标。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建PolarDB MySQL集群。具体操作，请参见 购买按量...
通过Filebeat采集Apache日志数据
操作流程 步骤一：准备工作 步骤二：配置并安装Filebeat采集器 步骤三：配置Logstash管道过滤并同步数据 步骤四：查看数据采集结果 步骤一：准备工作 创建阿里云Elasticsearch实例和Logstash实例，两者版本相同，并且在同一专有网络VPC...
产品概述
产品为客户提供资产建模、数据采集、数据分析、设备监控和数据分析五大产品能力：资产建模：定义设备资产标准模型，管理设备资产数据 提供设备资产全维度数据建模工具 快速构建实体资产数据模型 对设备资产进行全生命周期管理 为数据应用...
通过Logtail采集Zabbix数据
日志服务支持将Zabbix中的监控数据采集到Logstore中。本文介绍将Zabbix数据采集到日志服务的操作步骤。前提条件 已下载及安装Zabbix。具体操作，请参见 下载与安装Zabbix。本教程中，将Zabbix安装在阿里云ECS上为例。已创建Project和...
开启数据采集功能
CloudLens for EBS 支持手动或自动化开启数据采集功能。手动开启采集功能针对单个或当前所有的云盘，自动化开启采集功能支持设置采集条件，并自动采集符合条件的云盘（包括未来创建的）的秒级监控数据。本文介绍开启数据采集功能的操作步骤...
产品系列概述
各产品系列对比 系列 说明 适用场景 基础版 单节点实例 个人学习、中小规模DevOps监控、应用指标和IoT传感器的时序数据采集分析、中小企业开发测试。高可用版 采用Raft一致性协议的三节点架构，适合80%以上的用户场景 大中型企业的指标采集...
管理问题数据
当问题数据采集过程中出现错误时，帮助您快速排查、定位问题。方式一：通过数据质量模块查看。您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
采集公网数据
应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，...
- 产品推荐
- 这些文档可能帮助您