什么是块存储数据洞察
主要功能如下：云盘分析 您可以通过CloudLens for EBS的云盘分析页面，开启云盘的数据采集功能，实时采集并存储云盘性能的秒级监控数据，并将数据进行展示。风险事件 当CloudLens for EBS监测到云盘性能数据达到性能上限或者云盘没有创建...
创建实时日志投递任务
通过实时日志功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定的日志分析服务上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。不同套餐的支持情况 每种日志类型下可创建的推送任务数量...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
这种做法短期内可以满足使用需求，但从长期来看，大量的历史日志被丢弃，在需要分析和查询数据时，会出现数据丢失。阿里云从用户角度出发，研发了一整套小而精的历史日志数据分析方案。利用阿里云日志服务（Log Service，SLS）来投递日志和...
采集-IoT/嵌入式日志
嵌入式开发需求主要有以下几点：数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
大数据安全治理的难点
大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，难免会出现遗漏的...
自动SQL限流
除了上述的问题，在现实生活中可能还会出现各种特殊情况，比如值班人员联系不上、工作人员身边没有电脑、信息太多分析难度大、压力大紧张操作失误等。因此需要尽可能的把异常发现、异常SQL定位、SQL限流、跟踪/回滚的整体流程自动化处理。...
表设计规范
其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，减少流式小量数据导入。多次导入并定时查询与计算。导入后生成中间表进行计算。合理的...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
监控分析平台对比
稳定性保障 依赖系统：数据在多套系统中流转，系统之间又存在依赖关系，当某系统出现问题时，对其他系统造成影响。例如下游ES系统写入变慢后，用于缓存数据的Kafka集群存储水位变高，可能导致集群写满。Burst问题：在互联网环境下，流量...
基于GitHub公开事件数据集的离线实时一体化实践
还可以轻松实现通过离线链路对实时数据的修正，解决实时链路中可能出现的数据遗漏等问题。该方案优势如下：离线链路稳定高效：支持数据小时级写入更新，可以批量处理大规模数据，进行复杂的计算和分析，降低计算成本，提高数据处理效率。...
基于GitHub公开事件数据集的离线实时一体化实践
还可以轻松实现通过离线链路对实时数据的修正，解决实时链路中可能出现的数据遗漏等问题。该方案优势如下：离线链路稳定高效：支持数据小时级写入更新，可以批量处理大规模数据，进行复杂的计算和分析，降低计算成本，提高数据处理效率。...
管理问题数据
当问题数据采集过程中出现错误时，帮助您快速排查、定位问题。方式一：通过数据质量模块查看。您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过...
发布日志
修复在耳机状态下视频和音频直播间修改声音的时候，会出现双音量轨道问题。修复libsrtp unprotect 错误导致的黑屏问题。统一音视频设备事件通知、网络状态通知的回调线程。增加音频焦点事件通知，解决外部通话等操作导致音量异常的问题。...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
【组件升级】Helm1.1.17/Agent v4.0.0的升级内容与...
升级风险 升级风险：本次升级到Helm 1.1.17/Agent v4.0.0为有损升级，按照集群监控数据采集量级的不同（Targets和Series的量级），存在监控数据断线的风险，预计断线时间在0～5分钟，不同集群可能存在一定的差异。升级前：建议您在升级前...
【组件升级】Helm1.1.17/Agent v4.0.0的升级内容与...
升级风险 升级风险：本次升级到Helm 1.1.17/Agent v4.0.0为有损升级，按照集群监控数据采集量级的不同（Targets和Series的量级），存在监控数据断线的风险，预计断线时间在0～5分钟，不同集群可能存在一定的差异。升级前：建议您在升级前...
采集Systemd Journal日志
Logtail支持从原始的二进制文件中采集Linux系统的Systemd Journal日志。本文介绍如何通过日志服务控制台创建Logtail采集配置采集Systemd Journal日志。前提条件 已在服务器上安装Linux Logtail 0.16.18及以上版本。具体操作，请参见 安装...
常见问题
内置云安全内部保障模板是数据安全中心结合多年安全保障经验，依据以下原则制定：S3：能直接定位到具体的主体 S2：比较明显的主体特征信息 S1：相对泛化的主体特征信息 水印功能相关问题 数据安全中心支持为图片、视频的添加水印吗？...
可观测概述
从实际应用的角度来看，在系统中需要重视其稳定性，需要理解什么时候系统运行良好或出现问题，从而可以更快地识别错误，并实施正确的自动化及手动控制来维护系统的可用性。Service Mesh的数据平面代理位于服务之间的网络请求路径中，通过...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
采集数据
info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据采集操作...
如何使用Prometheus监控SNMP
单击 确定 后，系统会在您ACK集群中的arms-prom命名空间下，新增一个名为snmp-exporter-snmp-test-1的deployment，并自动完成采集Job的配置，此时您可以在 服务发现 页面的 Targets 页签中看到新配置的采集Job。查看新配置的采集Job的具体...
如何使用Prometheus监控SNMP
单击 确定 后，系统会在您ACK集群中的arms-prom命名空间下，新增一个名为snmp-exporter-snmp-test-1的deployment，并自动完成采集Job的配置，此时您可以在 服务发现 页面的 Targets 页签中看到新配置的采集Job。查看新配置的采集Job的具体...
SQL洞察和审计
说明 如果您在日志服务的CloudLens for RDS开启了RDS MySQL实例的审计日志采集功能，系统会自动开启对应RDS MySQL实例的SQL洞察和审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。迁移不同企业...
SQL洞察和审计
说明 如果您在日志服务的CloudLens for RDS开启了RDS MySQL实例的审计日志采集功能，系统会自动开启对应RDS MySQL实例的SQL洞察和审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。迁移不同企业...
修改日志存储配置
修改日志存储地域 日志分析采集的日志默认存储在 华东1（杭州）地域，如果您的业务不是部署在该地域，可能会带来额外的跨地域日志同步费用、数据无法对接等问题。为了避免此类问题，您可以将日志存储地域修改为您业务所在或离您业务较近的...
文档修订记录
新说明 Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库或Serving系统（HBase、Redis）统一在一个大数据计算引擎中，并提供快速的离线实时一体化分析能力。新用户免费...
2023年
按量付费闲时版 2023-07-17 新增PyODPS DataFrame的代码运行环境 新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行...
文档修订记录
增强分析（卡片和报告）2023.08.04 新增功能 数据集成 以Kafka实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖 Kafka单表实时入湖OSS（HUDI）2023年7月更新记录 时间 特性 类别 描述 产品文档 2023.7.31 优化体验 数据服务 ...
质量规则参数配置
跨数据源对比字段会被自动转换为string类型，部分特殊字段类型可能会出现异常情况。建议码表中的字段类型和校验字段类型都是string或其他相同类型。码表：选择目标码表。码表名称：输入码表名称，作为质量规则配置时的提示信息。码表参照...
质量规则参数配置
跨数据源对比字段会被自动转换为string类型，部分特殊字段类型可能会出现异常情况。建议码表中的字段类型和校验字段类型都是string或其他相同类型。码表：选择目标码表。码表名称：输入码表名称，作为质量规则配置时的提示信息。码表参照...
监控与日志
查询与分析审计日志 对表格存储实例中的资源进行操作时，系统会自动采集审计日志并建立索引。您可以在审计日志页面对采集到的日志进行实时查询与分析。相关操作，请参见 查询与分析审计日志。您可以查看审计日志的直方图信息、原始日志、...
接入Kafka监控数据
您可使用Telegraf采集Kafka监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Kafka可视化监控方案。本文介绍如何通过日志服务来完成Kafka监控数据的采集和可视化。前提条件 已在服务器上安装Java 1.6或以上版本。已...
接入Java应用或Tomcat的监控数据
您可使用Telegraf采集Java应用或Tomcat的监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Java应用或Tomcat可视化监控方案。本文以Java应用监控数据为例，介绍如何通过日志服务来完成Java应用数据的采集和可视化。...
实时同步任务运维
FailOver：为避免FailOver导致频繁启动任务占用系统资源，您可配置指定时间段内FailOver出现次数超过指定次数时，任务自动结束运行。如果您不配置Failover次数，将根据5分钟内，Failover次数超过100来自动结束任务。任务运行状态监控 为...
产品概述
数据采集：采集设备实时数据，集成信息系统业务数据 提供标准化设备数据接入流程，快速采集设备数据 广泛设备协议接入能力，支持OPC、Modbus和多种三方驱动协议 支持API、WebService、消息队列、FTP文件多种业务数据集成方式 根据业务规则...
App端性能体验功能说明
产品介绍 产品概述 应用性能稳定是良好用户体验中非常关键的一环，而现实情况却是应用崩溃、卡顿、加载缓慢、页面白屏等问题，频频出现在用户的真实体验之中，成为影响业务表现的直接杀手。为了更好保障应用性能稳定，产研团队在整个开发...
- 产品推荐
- 这些文档可能帮助您