转码常见问题
本文为您介绍视频点播转码相关的常见问题。转码失败时，如何自主排查？确认转码源文件能否在本地正常播放（非常重要），经统计大部分转码失败是因为源文件本身有问题（如：视频流缺失、metadata存在问题、帧错误、视频头部信息缺失等），会...
DAS Auto Scaling弹性能力
然而随着用户业务的变化，在09:00时CPU再一次打高出现资源紧张的情况，此时的流量分析发现以写流量为主，DAS Auto Scaling算法判断通过提升计算资源规格缓解CPU资源，且实例的CPU利用率下降到50%，解决了第二次CPU紧张的问题。从这个实例的...
SQL优化技术
联动性：对于复杂的线上问题，有时需要综合治理，如突发的恶性慢SQL问题，DAS的自动SQL限流，自动SQL优化需要形成联动效应，实现问题的标本兼治。规模性：如何构建具备足够扩展性的服务架构，以支撑几十万级、百万级的大规模自动优化。实现...
用户画像分析概述
漏斗留存分析：漏斗分析函数 漏斗分析是常见的转化分析方法，它用于反映用户各个阶段行为的转化率，广泛应用于用户行为分析和App数据分析的流量分析、产品目标转化等数据运营与数据分析。窗口漏斗函数（WindowFunnel）可以搜索滑动时间窗口...
设计方案
基于稳定性支柱设计原则，整体稳定性设计方案可参考如下：架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构，到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构，再到服务细分通过轻量级的通信机制...
HTAP中的行列混存查询优化
列存索引Plan优化过程 为了解决MySQL原生优化器在HTAP workload下的不足，IMCI针对HTAP workload下可能缺少索引、拥有新的执行模型以及输入复杂查询等情况，补充了新的优化流程来解决这些问题。在使用了列索引的查询中，优化器也通过基于...
米连科技
日志服务帮助米连科技解决了数据分散、问题排查效率低、数据分析手段少的问题，提升了IT运维、数据运营、风控等方面的能力。公司简介 伊对是北京米连科技有限公司旗下品牌，公司成立于2015年，是国家高新技术企业和北京中关村高新技术企业...
阿里云云上成本管理解决方案白皮书
成本可视化：通过监控预警感知到成本变化时，借助多种可视化工具进行成本分析，找到问题点或优化机会，常见的可视化分析工具包括各类成本或资源报表、预算与实际的对比分析、多维成本统计分析工具等，也可借助成本预测算法观察未来趋势。...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
智能分析-异常根因定位分析利器
日志服务Trace应用提供智能分析功能，用于分析可观测性数据和定位系统的异常根因。本文介绍可观测性数据的必要性、优势以及使用智能分析功能的方法。系统必要属性-可观测性 随着IT系统几十年的飞速发展，开发模式、系统架构、部署模式和...
Presto FAQ
解决方案：您可以查看自己的OSS的数据是否正常同步。性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit of xxGB”？DLA Presto中一个查询能使用的...
发现并处理大Key和热Key
说明 该方案的缺点在于需要联动修改代码，同时带来了数据一致性的挑战（由原来更新一个Key演变为需要更新多个Key），仅建议该方案用来解决临时棘手的问题。使用读写分离架构 如果热Key的产生来自于读请求，您可以将实例改造成读写分离架构...
OOM常见问题排查指南
复杂Query 若是Query本身比较复杂或者扫描数据量较多，一个Query就出现OOM，可以通过以下方法解决。计算前置，将清洗好的数据写入Hologres，避免在Hologres进行大型ETL操作。增加过滤条件。SQL优化：例如使用Fixed Plan、count distinct...
Tair小版本发布日志
大规格优化：解决了Redis社区版固有的fork问题而预留部分内存的问题。高兼容性：兼容大部分Redis社区版的数据结构和命令。更新级别说明 LOW：一般级别，包含日常新功能升级（例如新增某个功能）。MEDIUM：推荐级别，包含功能模块优化类的...
组件参考：所有组件汇总
IForest异常检测 该组件使用sub-sampling算法，降低了算法的计算复杂度，可以识别数据中的异常点，在异常检测领域有显著的应用效果。One-Class SVM异常检测 该组件与传统SVM不同，是一种非监督的学习算法。您可以使用One-Class SVM异常检测...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
发现并处理Redis的大Key和热Key
说明 该方案的缺点在于需要联动修改代码，同时带来了数据一致性的挑战（由原来更新一个Key演变为需要更新多个Key），仅建议该方案用来解决临时棘手的问题。使用读写分离架构 如果热Key的产生来自于读请求，您可以将实例改造成读写分离架构...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
新功能发布记录
2022.06.25 所有用户 数据智能诊断 数据质量是做出推荐效果的基础，推出数据诊断功能辅助分析数据存在的问题、优化的空间，从而获得更优质的推荐效果：每日凌晨将自动触发数据诊断，结合服务可用性、数据逻辑合理性、算法链路是否奏效等多...
应用场景
违规团伙挖掘 很多平台上都有团伙作案的场景出现，如团伙性信用卡套现、羊毛党，甚至于团伙性的违法、犯罪性活动。团伙性作案的核心特征是，其成员之间具备某种关联关系，或行为之间具备某些相似特征。通过图结合机器学习的方式，提取团伙...
设备数据存储和计算实践
解决方案 针对以上共性问题的抽象和思考，阿⾥云物联网平台逐步建设了⼀套物联⽹数据存储、计算的⽅案。物联网平台提供数据存储服务，包括数据分层存储，并且在数据存储上提供数据导出、变更通知订阅、及连接⼤数据产品的组件等必要的存储...
引擎类型
但仅仅增加节点数量无法解决低规格节点的单机热点问题，选择更高的规格则可以避免热点问题的出现，即节点的规格决定了 单机抗热点的能力。同时，节点的规格也会影响业务的稳定性，当面对热点流量或即时请求量过大的情况时，节点规格低可能...
Cost-based SQL诊断引擎
按照经验，约80%的数据库性能问题能通过SQL优化手段解决，但SQL优化一直以来都是一个非常复杂的过程，需要多方面的数据库领域专家知识和经验。例如如何准确地识别执行计划中的瓶颈点，通过优化物理库设计或SQL改写等手段，让数据库优化器...
性能测试技术指南
瓶颈分析 分析 瓶颈定位的目的是对系统中存在的瓶颈点进行分析，为调优做准备，系统的性能瓶颈点主要分布在操作系统资源、中间件参数配置、数据库问题以及应用算法上，对于有针对性的进行调优，有利于系统性能的提升。风险 当系统的瓶颈点...
高性能Flink SQL优化技巧
开启PartialFinal（解决COUNT DISTINCT热点问题）为了解决COUNT DISTINCT的热点问题，通常需要手动改写为两层聚合（增加按Distinct Key取模的打散层）。目前，实时计算提供了COUNT DISTINCT自动打散，即PartialFinal优化，您无需自行改写为...
机器学习
关联分析：提供Apriori算法实现关联分析，解决如“啤酒与尿布”的关联问题；时序分析：提供ARIMA自回归移动平均模型预测时间序列数据的未来值；其他：数据降维如通过PCA主成分分析模型来提炼主因子，文档分类与LDA文档主题建模。MADlib还...
分析实例简介
RDS MySQL提供分析实例功能，可以将RDS MySQL主实例中的数据自动同步到分析实例中，解决RDS MySQL复杂分析与查询时卡顿的问题，实现毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。使用场景 随着企业业务发展，精细化实时运营诉求...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
什么是网络智能服务
网络智能服务 NIS（Network Intelligence Service）是一个对网络进行健康分析、性能监控、诊断修复、流量分析和测量仿真的云服务，通过集成机器学习、知识图谱等AIOps方法减少网络使用复杂性，提供自助运维能力，方便网络架构师和运维...
通过MySQL分析实例同步至数仓版
MySQL分析实例简介 应用场景 随着企业业务发展，精细化实时运营诉求越来越强烈，RDS MySQL用户经常会遇到以下问题：进行复杂分析查询时，经常会出现查询卡顿。只读实例只能分担读压力，无法从根本上解决复杂分析慢的问题。构建实时数仓成本...
什么是AI分布式训练通信优化库AIACC-ACSpeed
因此，基于PCIe-topo机型搭建的多机训练环境下，您可以将单机CPU-Reduce扩展到多机，充分释放单机的性能，同时解决以Socket连接为主的跨机通信的扩展性问题。优化方法 多机CPU-Reduce的实现继承了单机CPU-Reduce高效的异步流水线，将跨机...
通过Elasticsearch机器学习实现业务数据的智能检测和...
监督机器学习包括Regression和Classification等场景，使用分类和回归算法解决非常复杂的问题。该模式需要一定的数据训练预测任务，然后使用训练出来的任务来对未来的数据进行分类、预测。场景大类 场景 类别 说明 异常检测Anomaly ...
监控分析平台对比
稳定性保障 依赖系统：数据在多套系统中流转，系统之间又存在依赖关系，当某系统出现问题时，对其他系统造成影响。例如下游ES系统写入变慢后，用于缓存数据的Kafka集群存储水位变高，可能导致集群写满。Burst问题：在互联网环境下，流量...
可观测性的设计原则
可观测性设计是指为了更好地监控、分析和管理系统运行状态而进行的设计。在云原生、微服务等技术越发流行的今天，系统的可观测性变得越来越复杂。云上的可观测性主要从监控指标、链路追踪、日志记录、监控看板和事件告警五大方面来进行设计...
AIOps 解决方案专家服务内容说明
方案预期结果 智能故障发现解决方案 方案包括多指标多产品的链路性根因分析，本方案提供8种实时异常检测和根因分析算法场景，同时保障算法的通用性。定制化业务风险方案 方案包括各业务场景定制化巡检，本方案提供场景架构方案并提供2个...
IDMapping在离线一体化解决方案
完成数源梳理后，大体解决了数据从哪里来的问题，该如何抽取的问题，接下来需要进行数仓架构、数据流程和初步模型的设计工作。3、数仓架构建设 主要涉及数据接入层和清洗层，需要将原始表信息接入并指定多种规则进行清洗。ID关系收集、特征...
金融大数据
满足了同时存在离线、在线、流数据的业务场景 解决了大数据平台的集成问题 为大数据平台的开发与管理提供了高效方案 金融风险控制方案 金融风险控制解决方案通过大数据画像、机器学习、知识图谱和复杂关系网络分析等手段，帮助金融机构建立...
Serverless Spark概述
而且集群扩容过程较复杂，时间也会较长，并且云上容易出现资源库存不足的问题。解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示：Serverless Spark将Spark、...
SMTP发信提示“Could not connect to SMTP host”
2、连通性分析 以465端口为例，请运行下面命令，并截图。命令1（查看分配到的服务器IP，不同区域IP会不同）：ping smtp.qiye.aliyun.com ping命令失败或有高延迟，可能是本地禁止ping或网络连接问题。成功结果：命令2（通过指定端口连接...
集群负载不均问题的分析方法及解决方案
从结果可以看到查询请求都是普通的term查询，且主日志正常，可以排除ES集群本身出现问题以及存在消耗CPU的查询语句的情况。总结 通过以上分析，可以判断CPU负载不均主要是由于shard分布不均导致的。重新分配分片，确保主shard数与副shard数...
- 产品推荐
- 这些文档可能帮助您