使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
性能体验定价及计费说明
新功能会设置开关，如果您在开关与采样配置中或者在新功能的功能页面中开启新功能，并造成数据采集上报，则会将新功能的日志量也统计到您的总日志量中。以下为当前App端套餐的功能表 功能类 功能 功能说明 查询 查询时间范围 90天 管理 ...
DescribeDBClusterMonitor
调用DescribeDBClusterMonitor接口查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
DescribeDBClusterMonitor
调用DescribeDBClusterMonitor接口查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
索引缺失
重新采集 如果您觉得 数据更新时间 过久，您也可以单击 重新采集 按钮并确认，让系统后台异步重新采集数据。说明 后台异步重新采集数据，您需要等待几分钟后刷新页面查看结果。保存PDF 如果您需要将页面保存到本地，请单击 保存PDF，等待...
渠道分析
管理渠道属性 在「数据采集」-「渠道管理」-「渠道属性」进行属性新建与管理 步骤4.创建/批量创建渠道链接 可基于手工创建或批量创建渠道模板进行本次投放链接的生成，由于要分析的是618活动小红书渠道的PV、UV分析，所以在配置渠道参数中...
采集ACK服务日志
可选：首次进入 Beats数据采集中心 页面，需要在服务授权对话框中查看提示信息，无误后单击 确认，授权系统创建服务关联角色。说明 Beats采集不同数据源中的数据时，依赖于服务关联角色以及角色规则。使用过程中请勿删除服务关联角色，否则...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
快照概述
什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上基于云盘快照，对某个文件系统打快照相当于对该文件系统所部署的所有云盘同时打快照。文件系统第一份...
采集客户端数据的高可用方案
针对该单集群故障风险，日志服务提供两种异地多活的客户端数据采集方案。方案比较 对比项 方案1：双写 方案2：数据加工复制+写入切换 部署复杂度 低 需要额外部署数据加工、切换写入。客户端资源占用 方案1是方案2的2倍 低 数据一致性 较强...
通过Heartbeat检测ICMP及HTTP服务
单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Heartbeat采集器。等待 采集器状态 变为 已生效1/1 后，单击右侧 操作 栏下的 查看运行实例。在 查看运行实例 页面，查看 采集器安装情况，当...
执行离线评估
采集文件：您可以下载迁移评估采集器进行数据采集，采集完成后的文件将上传至云上进行评估。详情请参见 通过迁移评估采集器采集数据库对象。上传文件 单击 上传文件，选择需要评估的文件进行上传。支持上传多个文件，生成一个评估报告。...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
功能特性
更多信息，请参见 数据采集概述。查询与分析 日志服务支持实时查询与分析数据。具体说明如下：支持精确查询、模糊查询、全文查询、字段查询。支持上下文查询、日志聚类、LiveTail、重建索引等功能。支持标准的SQL 92语法。提供SQL独享实例...
应用场景
例如，当应用日志用于离线日志分析时，搜索单个日志记录同样不可或缺，而构建各自独立的工作流来采集每种类型的数据再导入到各自的专用系统显然不切实际，利用 云消息队列 Kafka 版 作为数据中转枢纽，同份数据可以被导入到不同专用系统中...
QT事件授权
在通过阿里云Quick Tracking（简称为QT）进行的埋点数据采集上报前，需要进行以下操作，Quick Audience工作空间才能顺利接收通过Quick Tracking应用上报的事件数据。完整的Quick Tracking埋点数据采集上报，请参见 Quick Tracking上报流程...
采集HTTP数据
Logtail会根据您的采集配置定期请求指定的URL，将请求返回的Body内容作为数据源上传到日志服务。本文介绍如何通过日志服务控制台创建Logtail采集配置采集HTTP数据。前提条件 已在服务器上安装Logtail。更多信息，请参见 安装Logtail（Linux...
产品简介
异构数据源 DLA Ganos支持多路数据源接入分析，提供了多样化、异构的数据源分析能力。客户不仅能够对阿里云OSS、PolarDB、Lindorm（HBase）中的数据进行分析，还能将这两者之间的数据进行关联性分析，解决了客户需要将不同种类的数据进行...
基本概念
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
DescribeDrdsInstanceMonitor
例如，各资源监控项的数据采集周期均默认为1分钟，若设置周期倍数为2，则表示当前资源监控项数据采集周期为2分钟。返回数据 名称 类型 示例值 描述 Data Array of PartialPerformanceData 查询结果集。Key String cpu 监控指标名称。...
基本概念
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
数据库采集
下载采集器：如果源库不能对外使用公网，或者无法从云上去访问，可以通过ADAM数据采集器采集数据库。更多信息，请参见 采集器采集。在线采集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM）>数据库...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
物联网设备数据上云存储
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
服务限制
暂不支持调整 数据采集和上报 每个数据点最大支持大小 2 KB 暂不支持调整 每个用户最大时间线数量 无限制 实际上系统会在到达限额之前为您自动做相关的扩容，因此您无需关注该限制。每次上报请求总数据量大小 不超过1 MB 不支持调整，超过1...
服务限制
暂不支持调整 数据采集和上报 每个数据点最大支持大小 2 KB 暂不支持调整 每个用户最大时间线数量 无限制 实际上系统会在到达限额之前为您自动做相关的扩容，因此您无需关注该限制。每次上报请求总数据量大小 不超过1 MB 不支持调整，超过1...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
SQL周期性采集
在Linux 环境下执行.sh，本文以Linux环境介绍如何进行数据采集）。Oracle 10g、11g sh collect_10g_cycle.sh –h<ip>-u<username>-p<password>-d<service_name>-c<cron>sh collect_11g_cycle.sh –h<ip>-u<username>-p<password>-d...
概述
更多信息，请参见 采集主机文本日志、通过DaemonSet-控制台方式采集容器文本日志、通过Sidecar-控制台方式采集容器文本日志、通过DaemonSet-CRD方式采集容器日志、通过Sidecar-CRD方式采集容器文本日志。容器标准输出输入插件 支持采集容器...
通过Pod环境变量配置应用日志采集
特殊场景1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
ADAM概览
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
什么是自动驾驶开发平台
能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架，在阿里云上以云原生的方式分布式处理海量非结构化数据，采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感器输出数据，...
通过日志服务采集Kubernetes容器日志
定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
资产指纹调查
如果您正在使用 资产暴露分析 功能，中间件 的数据采集频率需要设置为 每1小时采集一次、每3小时采集一次、每12小时采集一次 或 每天采集一次，不能设置为 关闭 或 每7天采集一次。更多信息，请参见 资产暴露分析。完成采集频率设置后，云...
解决方案与客户案例
异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为破坏...
在Knative上实现日志采集
您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。在Knative中结合日志服务，能有效提升对Serverless应用的运维能力。本文介绍如何在Knative中使用日志服务收集Serverless应用容器日志，采用日志服务收集、分析业务日志...
监控服务概览
OSS监控服务为您提供系统基本运行状态、性能以及计量等方面的监控数据指标，并且提供自定义报警服务，帮助您跟踪请求、分析使用情况、统计业务趋势，及时发现以及诊断系统的相关问题。OSS监控指标主要分为基础服务指标、性能指标和计量指标...
存储监控
说明 上述各 资源监控 项的数据采集周期均为1分钟，各 引擎监控 项的数据采集周期均为5秒钟。最多支持查看7天内的监控数据。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页，找到目标实例并单击...
- 产品推荐
- 这些文档可能帮助您