Warm Up（冷启动）
对于长期处于低水位状态的系统，可以使用Warm Up（冷启动）功能来避免流量骤增导致水位瞬间升高系统不可用的情况。功能原理 Warm Up，即冷启动/预热的方式。当系统长期处于低水位的情况下，若流量突然增加，可能会把系统水位瞬间拉高把系统...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
手动更换可用区
例如当需要将备可用区更换为目标主可用区时，平均耗时为5分钟/节点，若集群中有4个节点，是否意味着业务会有约20分钟的不可用时间？A：更换主可用区所需的时间不等于业务不可用时间。整个切换过程中，仅在主备切换时会出现1~2次约30秒的闪...
多可用区部署和更换主可用区
说明 如果目标可用区是备可用区，则不需要迁移数据。系统只需要切换数据库计算节点，因此可以达到比较快的跨机房切换效果（平均耗时5分钟/节点），该操作常用于容灾演练。如果目标可用区不在备可用区，则需要迁移数据。系统执行迁移时间...
多可用区部署和更换主可用区
说明 如果目标可用区是备可用区，则不需要迁移数据。系统只需要切换数据库计算节点，因此可以达到比较快的跨机房切换效果（平均耗时5分钟/节点），该操作常用于容灾演练。如果目标可用区不在备可用区，则需要迁移数据。系统执行迁移时间...
产品架构
系统架构 DTS系统架构特性说明 系统高可用 数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到其他节点。数据源地址动态适配 对于数据订阅及同步链路...
服务器数据采集方案概述
针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案进行了汇总。相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和...
设备协议
其中：数据转化协议和数据采集协议可以有绑定关系，但是并不强制。一个数据采集协议可以有多个数据转化协议，一个数据转化协议只有一个数据采集协议。您可根据您的设备及型号选择相关协议，实现设备数据的自动化处理。设备协议界面如下图所...
阿里云Elasticsearch数据采集解决方案
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
实现原理
数据采集：通过安装在机器上的 Agent 采集监控数据，这部分可以是日志，也可以是通过各种方式获取到的指标。数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的...
应用评估
说明 数据库采集SQL受数据库系统本身影响，兼容度不作为评估参考。架构蓝图：通过拓扑图的形式，直观展示各迁移分组的情况。迁移分组评估结果 迁移分组是迁移数据库包含的应用的最小子集，迁移单个应用分组不会对其他分组的数据库节点产生...
集群版-单副本
数据节点故障之后，系统会在30秒内重新拉起一个Redis进程保证服务高可用，但是该节点的数据将会丢失掉。配置服务器（config server）采用双副本高可用架构，用于存储集群配置信息及分区策略。各组件的数量和配置由Redis实例的 规格 决定，...
数据采集2.0
置空 查看数据报告 当数据采集服务开通后，并上传了一定量的行为数据，可在数据采集页中查看数据状态和数据质量：数据状态 数据状态分为“正常，可用”和“异常，不可用”，正常是指数据质量部分无任何报错，即所有校验皆通过，如果有报错...
版本说明
支持基于动态库（libnvml）的GPU采集，使数据采集更安全、更快速。说明 需手动开启动态库（即 nvidia.nvml.enabled=true），解决基于命令方式在某些系统下卡死的隐患。可用性探测的生效时间支持cron表达式。Prometheus采集支持通过...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 Prometheus实例是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控大盘和报警...
什么是可观测监控 Prometheus 版
什么是Prometheus实例 可观测监控 Prometheus 版 是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
Pod诊断
重要 使用故障诊断功能时，系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本，以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
什么是故障演练
适用场景 故障演练可适用于以下典型场景：衡量微服务的容错能力 通过模拟调用延迟、服务不可用、机器资源满载等，查看发生故障的节点或实例是否被自动隔离、下线，流量调度是否正确，预案是否有效，同时观察系统整体的QPS或RT是否受影响。...
使用须知及高危风险操作说明
可能导致节点不可用。将节点重新添加到集群自动创建的节点安全组中，请参见 安全组与ECS实例关联的管理。节点到期或被销毁。该节点不可用。不可恢复。重装操作系统。节点上组件被删除。节点移出再加入集群。相关操作请参见 移除节点、添加...
互联网教育：尚学博志（上海）教育科技有限公司
业务挑战 尚学数字化教学解决方案基于移动终端和各类物联网设备进行广泛的数据采集，数据类型也不断扩展，涵盖了教学、学习、生活等不同方面。现有的数据库系统采用的是基于MySQL Share Nothing的部署方案，即依赖主备部署的方式提供高可用...
应用采集
ADAM可以对Java JDK1.6及以上版本的应用提供采集功能，帮助客户评估分析需要改造的功能点，对于非Java应用暂不支持采集评估。应用采集概述 应用采集客户端...如有周期性任务，需在有这些任务运行时监控，否则数据采集不全。后续操作 采集部署
存储类型概述
当该可用区不可用时，会导致相关数据不可访问。如您的业务需要更高的可用性保障，建议您使用同城冗余的存储类型来存储和使用数据。标准存储-同城冗余（ZRS）采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域...
通过Heartbeat检测ICMP及HTTP服务
单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Heartbeat采集器。等待 采集器状态 变为 已生效1/1 后，单击右侧 操作 栏下的 查看运行实例。在 查看运行实例 页面，查看 采集器安装情况，当...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
产品优势
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
可观测概述
在Service Mesh中实现可观测性，涉及了日志、监控指标、链路追踪这些可观测性数据的生成规则配置和采集配置，以及如何将这些可观测数据采集到云托管服务或者自建服务中。同时，还需要考虑如何支持针对网格代理与网关Pod分别定义采集配置，...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
设备风险识别SDK合规使用说明
扩展信息 NO_EXTRA_DEVICE_DATA 配置示例/增加隐私数据采集开关，不采集NO_IDENTIFY_DEVICE_DATA类型数据，多选使用｜进行拼接。Map,String>options=new HashMap();options.put("DataType",String.valueOf(NO_IDENTIFY_DEVICE_DATA));通过...
日志采集器相关问题
答：体现在 EDAS 的服务中，如果获取不到数据，所有和视图以及调用链相关的服务均变得不可用；这部分功能包括监控（基础监控、服务监控）、报警、调用链和扩容缩容等。在安装过程的最后阶段，老是出现 setup sproxy failed 字样，是否是真...
【产品/功能变更】RDS PostgreSQL实例的增强监控内存...
DB指标维度 指标名 指标定义 实例类型 优化前 优化后 数据来源 数据计算方式 数据来源 数据计算方式 db.mem_size.spec 实例规格展示的memory大小 独享型 不涉及数据采集和计算。通用型 db.mem_size.free 空闲内存（可回收内存）独享型/proc...
切换主可用区
概念介绍 主可用区（Primary Zone）：OceanBase 数据库中同一分区（partition）的数据副本分布在多个可用区中，其中分区的主副本所在的可用区称为主可用区。切换主可用区场景 在主可用区故障时，OceanBase 会根据服务情况自动将主切换至新...
安全白皮书
如果超过该范围的个人信息，则需要经过用户再次主动授权后，才会进行数据采集。数据传输安全 访问IDaaS服务不论互联网或者私有网络，IDaaS 统一提供 HTTPS 服务，保证数据在传输过程中防盗、防篡改。数据加密算法 IDaaS针对用户关键信息...
字段加密
JSON配置方式：采集文本日志时不可用。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 表单配置方式 配置 处理器类型 为 字段加密，相关参数说明如下表所...
Fluentd插件
对于单条100K的数据，put_data_batch_size只有100的时候可以正常work，500和1000都不可用：因为一次写入数据过大，已经大于50m。总的平均写入速度（MB/S）保持在 3MB/S。FAQ Q:关于Fluentd，如何编写Format的正则表达式？A:format正则表达...
数据上云工具
Flume（DataHub通道系列）Apache Flume是一个分布式的、可靠的、可用的系统，可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。Apache Flume的DataHub Sink插件可以将日志数据实时...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
- 产品推荐
- 这些文档可能帮助您