大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据库和应用采集 登录阿里云官方网站，在 ADAM官网 下载 数据库采集器 和 应用采集器，按照 数据库采集 进行Oracle数据库采集，应用采集 进行Oracle应用采集，生成相应的zip格式的数据压缩包，便于后续上传到阿里云ADAM官网进行分析使用。...
调用链采样配置最佳实践
调整采样是目前解决这类问题最高效且主流的方式，但具体配置什么样的采样策略，能够在可控的资源开销和费用成本内，最大程度保证错、慢、异常等链路被采集，从而最大限度保障性能监控和问题排查的使用需求。本文将重点围绕不同业务场景下...
服务器数据采集方案概述
应用系统在提供服务过程中，会产生日志数据、系统指标数据、审计框架数据、检测状态数据以及各类APM监控数据。针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案...
可观测概述
从实际应用的角度来看，在系统中需要重视其稳定性，需要理解什么时候系统运行良好或出现问题，从而可以更快地识别错误，并实施正确的自动化及手动控制来维护系统的可用性。Service Mesh的数据平面代理位于服务之间的网络请求路径中，通过...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
常见问题
问题分类 常见问题分为如下几种类型：计费问题 性能和规格问题 预检查问题 更多预检查问题，请参见 预检查及修复方法。数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉...
CLB计费FAQ
CLB 控制台监控指标中展示的实例流量数据是按照一分钟一个采集粒度，由 CLB 系统采集后上报云监控系统，再由云监控系统计算出每15分钟所有采集点的平均值；而 CLB 实例的账单计量数据是按照同样粒度的采集频度采集数据，在一个消费账期后，...
文档修订记录
增强分析（卡片和报告）2023.08.04 新增功能 数据集成 以Kafka实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖 Kafka单表实时入湖OSS（HUDI）2023年7月更新记录 时间 特性 类别 描述 产品文档 2023.7.31 优化体验 数据服务 ...
文档修订记录
向量计算实例规格推荐 2023.12.27 新增数据湖加速查询 新说明 基于阿里云数据湖构建（Data Lake Formation，DLF）和对象存储（Object Storage Service，OSS）推出的Hologres数据湖加速服务，提供了灵活的数据访问和分析能力以及高效的数据...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
SQL洞察和审计
当您在安全合规审计、性能分析、故障排除等场景下需要监控和管理RDS MySQL实例中执行的SQL语句时，可以利用SQL洞察和审计功能对SQL语句的执行情况进行记录和聚合分析。开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行...
App端性能体验功能说明
产品介绍 产品概述 应用性能稳定是良好用户体验中非常关键的一环，而现实情况却是应用崩溃、卡顿、加载缓慢、页面白屏等问题，频频出现在用户的真实体验之中，成为影响业务表现的直接杀手。为了更好保障应用性能稳定，产研团队在整个开发...
监控服务概览
OSS监控服务为您提供系统基本运行状态、性能以及计量等方面的监控数据指标，并且提供自定义报警服务，帮助您跟踪请求、分析使用情况、统计业务趋势，及时发现以及诊断系统的相关问题。OSS监控指标主要分为基础服务指标、性能指标和计量指标...
流式数据通道概述
实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？默认使用批量数据通道，支持流式数据通道模式，需要联系Kafka值班同学后台打开。LogStash日志采集端：使用...
阿里云Elasticsearch数据采集解决方案
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
监控数据与计量数据
然而，在数据采集、计算和展示过程中不可避免地存在一定的延迟。虽然这个延迟很小，仍会导致监控数据与账单计量数据存在一定程度的差异。用作计费的账单计量数据允许有3个小时的延迟。例如在01:00~02:00产生的账单计量数据，正常情况下会在...
采集-IoT/嵌入式日志
嵌入式开发需求主要有以下几点：数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
应用场景
方案优势：使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。弹性伸缩：无论是流量高峰还是业务增长都能轻松应对。图 1.数据采集与消费 数据清洗与流计算（ETL/Stream Processing）日志中枢（LogHub...
小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
通过Uptime实时监控阿里云Elasticsearch服务
Heartbeat支持通过HTTP/HTTPS、TCP和ICMP服务，定期检测网络端点状态，并将采集的检测数据，输出到Kibana的Uptime应用中，实时监控应用程序及服务的可用性和响应时间，在业务受到影响前检测出问题。本文介绍如何通过Uptime实时监控阿里云...
基于GitHub公开事件数据集的离线实时一体化实践
还可以轻松实现通过离线链路对实时数据的修正，解决实时链路中可能出现的数据遗漏等问题。该方案优势如下：离线链路稳定高效：支持数据小时级写入更新，可以批量处理大规模数据，进行复杂的计算和分析，降低计算成本，提高数据处理效率。...
基于GitHub公开事件数据集的离线实时一体化实践
还可以轻松实现通过离线链路对实时数据的修正，解决实时链路中可能出现的数据遗漏等问题。该方案优势如下：离线链路稳定高效：支持数据小时级写入更新，可以批量处理大规模数据，进行复杂的计算和分析，降低计算成本，提高数据处理效率。...
什么是实时日志
在借助 CDN 访问图片、文字或视频资源时，CDN 会产生大量的日志数据，并对这些日志数据进行实时采集。阿里云 CDN 通过与日志服务融合，将采集到的实时日志实时推送至日志服务（简称SLS），并进行日志分析。通过日志的实时分析，您可以快速...
管理日志
常见问题 Q：已开通SLS服务，并授权相关角色，为什么控制台还是提示“该资源暂未开启服务日志采集，请到EMR控制台对应集群的日志管理页面开启服务日志采集”？A：当前集群并未设置投递日志的服务，请单击右侧的 设置日志投递范围，完成日志...
监控报警概述
实时监控提供终端用户登录云电脑的实时数据（例如用户在线数量、在线时长的前十用户、平均登录时间和云电脑网络延迟分布情况）以及相关故障预警信息，以便快速准确定位，迅速处理故障，避免因资源、网络问题或者外部操作原因造成不必要的...
自动SQL限流
解读 整体流程：监控指标采集：在阿里云申请的RDS实例默认开启主机和引擎的性能指标采集，包括CPU，IOPS，QPS，活跃会话等，这些实时数据是后续所有分析和处理的基础。异常检测：该模块通过机器学习对实例历史性能数据进行离线训练获得相关...
Github实时数据同步与分析
通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解GitHub实时数据变化情况。我能学到什么 学会通过...
常见问题
本文介绍购买数据安全中心前的常见问题。免费试用相关问题 如何 免费试用数据安全中心？数据安全中心支持7天免费试用企业版（含全部功能）。阿里云账号和RAM用户均可申请免费试用，且申请时需要使用中文环境（即使用的电脑语言为中文），...
监控分析平台对比
Kafka+Flink 对于数据清洗、风控等需求，需要构建一套实时数据通道和流式系统，支撑数据的全量实时消费，一般使用Kafka和Flink组合。ClickHouse、Presto、Druid 在运营分析、报表等场景中，为了追求更高的实时响应性，通常还会将数据导入...
【组件升级】Helm1.1.17/Agent v4.0.0的升级内容与...
升级风险 升级风险：本次升级到Helm 1.1.17/Agent v4.0.0为有损升级，按照集群监控数据采集量级的不同（Targets和Series的量级），存在监控数据断线的风险，预计断线时间在0～5分钟，不同集群可能存在一定的差异。升级前：建议您在升级前...
【组件升级】Helm1.1.17/Agent v4.0.0的升级内容与...
升级风险 升级风险：本次升级到Helm 1.1.17/Agent v4.0.0为有损升级，按照集群监控数据采集量级的不同（Targets和Series的量级），存在监控数据断线的风险，预计断线时间在0～5分钟，不同集群可能存在一定的差异。升级前：建议您在升级前...
功能特性
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型 功能集 功能 功能描述 参考文档 读写分离与分流 TP实时缓存 支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至云原生内存数据库Tair...
全景监控
例如，当指标出问题时，加工这个指标的全局链路上，涉及系统的接入、数据的加工、API的转换、系统中的算法加工，到最终指标的呈现，到底哪个链路出问题需要立即定位。系统需向各方应用提供统一接入标准，实现全局监控和问题快速锁定。通过...
功能简介
例如，当指标出问题时，加工这个指标的全局链路上，涉及系统的接入、数据的加工、API的转换、系统中的算法加工，到最终指标的呈现，到底哪个链路出问题需要立即定位。系统需向各方应用提供统一接入标准，实现全局监控和问题快速锁定。通过...
功能简介
例如，当指标出问题时，加工这个指标的全局链路上，涉及系统的接入、数据的加工、API的转换、系统中的算法加工，到最终指标的呈现，到底哪个链路出问题需要立即定位。系统需向各方应用提供统一接入标准，实现全局监控和问题快速锁定。通过...
DAS Auto Scaling弹性能力
DAS Auto Scaling实现了一套完整的数据闭环，如下图所示：在该数据闭环中，包含性能采集模块、决策中心、算法模型、规格建议模块、管控执行模块和任务跟踪模块，各模块的具体功能如下：性能采集模块负责对实例进行实时性能数据采集，涉及...
修改日志存储配置
开通日志分析服务后，如果云防火墙日志分析的默认配置（包括采集的日志类型、存储地域、存储时长）不满足您的业务需求，您可以根据业务需要调整日志存储配置，包括修改采集的日志类型、日志的投递地域以及日志存储时长，确保日志管理方案与...
- 产品推荐
- 这些文档可能帮助您