SQL性能问题
本文介绍有关SQL性能相关的常见问题。Flink全托管如何拆分SQL作业节点？Group Aggregate优化技巧有哪些？TopN优化技巧有哪些？有哪些高效去重方案？在使用内置函数时，需要注意什么？Flink全托管如何拆分SQL作业节点？在 作业运维 页面，...
DAS Auto Scaling弹性能力
然而随着用户业务的变化，在09:00时CPU再一次打高出现资源紧张的情况，此时的流量分析发现以写流量为主，DAS Auto Scaling算法判断通过提升计算资源规格缓解CPU资源，且实例的CPU利用率下降到50%，解决了第二次CPU紧张的问题。从这个实例的...
图算法
5）结果产出 点击“保存配置”成功创建图算法配置之后，会在图中自动创建出一个新的点，点的名称为填写的表格最下方的导出结果，后续运行图算法任务成功之后，任务结果会自动回流到该结果点，回流完成之后即可在线查询 查询分析结果 1）最...
Key分析
该功能可以掌握Key的访问频次、元素个数等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。前提条件 Redis实例需满足如下条件：实例为社区版（5.0及以上版本）或企业版（内存型）。实例的小版本为...
SQL 诊断概述
可疑 SQL：平台根据规则、算法筛选出的将会带来性能问题的 SQL 语句。通过单击列表中的 SQL 文本可进入 SQL 详情页，可查看 SQL 文本，SQL 执行历史、物理执行计划等内容。详细说明，请参见 查看 SQL 详情。TopSQL TopSQL 是指在选定的时间...
云市场常见问题
什么情况下会扣资源包次数，识别报错会扣费吗？资源包扣费规则按照：成功识别才算入计费次数，若识别报错则不计算次数。单张图片算作一次调用；若您的图片上存在多张图片，可能会导致对应接口识别报错，建议可进行如下操作：1.将所需图片...
负载均衡调度算法介绍
负载均衡会根据配置的调度算法，将来自客户端的请求按照对应的算法规则转发至相应的后端服务器。负载均衡支持轮询、加权轮询、加权最小连接数、一致性哈希等多种调度算法，用于支持不同的业务场景。本文列出所有负载均衡系列产品支持的调度...
异常检测
说明 在使用异常检测功能前，请您知晓：我们为您提供免费的异常检测功能，通过该功能您可体验由算法为您找出在用服务中的疑似异常。您理解并同意，我们无法承诺该免费功能100%稳定（如可能出现的检测不准确或不全面、预警通知时效性不足等...
高性能Flink SQL优化技巧
UpdateFastRank：对于更新流，最优算法。RetractRank：对于更新流，保底算法。性能不佳，在某些业务场景下可优化成UpdateFastRank。下面介绍RetractRank如何能优化成UpdateFastRank。使用UpdateFastRank算法需要具备3个条件：输入流为更新...
管理健康报告
Top导入热表潜在小文件分析 针对表级别的数据导入情况，系统将会对每个表的所有导入任务生成的数据文件进行深入分析，以评估其潜在的小文件问题严重程度，并据此计算出一个影响得分。根据该得分从高至低排序，选出Top 20个受小文件问题影响...
纠删码
它能通过一定的算法将k个原始数据块计算出m个冗余数据块，只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4，m=2 时，在存储效率上等价于1.5副本，并可以允许最多2个数据块损坏。因此纠删码相比于多副本，可以...
资产安全概述
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
资产安全概述
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
使用向量检索插件（aliyun-knn）
算法说明 在算法上，目前向量检索引擎已经支持了hnsw算法以及linear算法，适用于单机数据量小（全内存）的业务场景。两种算法性能对比如下。表 1.hnsw算法和linear算法性能对比 表格中为阿里云Elasticsearch 6.7.0版本环境实测数据，测试...
热搜和底纹
什么是热搜和底纹 热搜和底纹是一个完整搜索引擎必备的基本功能，通常占据着搜索框入口的重要位置，提供不可或缺的业务价值。下图是看一个典型电商平台的热搜和底纹的位置。热搜和底纹处于搜索引擎整个工作流程的最上游，为搜索优化起铺垫...
DataHub成本节省攻略
zstd在压缩速度和压缩比两方面都有不俗的表现，非常契合datahub的使用场景，因此datahub在新版本中对zstd压缩算法做了支持，相较于DataHub目前支持的lz4和deflate压缩算法，整体效果会好很多。2、序列化改造 DataHub因为在设计上是存在...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
DeepFM算法
取值如下：adam（默认）：吸收了AdaGrad（自适应学习率的梯度下降算法）和动量梯度下降算法的优点，既能适应稀疏梯度（即自然语言和计算机视觉问题），又能缓解梯度震荡的问题。sgd：随机梯度下降。rmsprop：对AdaGrad算法进行改进，引入了...
什么是AI分布式训练通信优化库AIACC-ACSpeed
优化效果 该算法在多机型的不同模型上，均能得到最优算法，并且99%的情况下没有性能损失的问题。自适应cpu-affinity 问题分析 受到不同numa-node架构、不同Linux调度策略的影响，单机内部的多个进程可能会发生资源争抢，一方面导致额外调度...
时序异常检测的常见问题
本文介绍时序异常检测的一些通用问题。时序异常检测对数据有什么要求？若待检测数据包含了过多时间线，在进行异常检测时需较长的等待时间，建议您设置 WHERE 条件，先过滤出少量时间线进行测试，获取符合预期的算法与参数后再逐步增加时间...
分析视图简介
接下来问题诊断部分会将gc日志中应用存在的较为严重的问题，标在时间轴上，下方会指出这些问题中最严重，最应该优先解决的问题，给出问题发生的时间段（可通过点击时间来查看该时间段的数据以便于分析问题），然后给出常见的排查和调优方法...
什么是DataTrust
DataTrust，结合了大量的场景实践，创新性提出了智能计算模式，能保障安全性的前提下，能根据场景、数据量、网络等情况，自动选择最优的协议、最优的计算引擎、最优的算法，自动为该场景匹配最优的计算模式。优质供给 随着全域群体智能兴起...
PolarDB for AI助力菜鸟实现一站式数据智能
客户价值 菜鸟通过PolarDB for AI的应用和部署，实现了如下业务价值：非专业算法同学通过已有的SQL+Java技术栈，具备一定的算法理论基础的情况下，即可通过PolarDB for AI的能力进行算法的全生命周期开发，降低了算法研发门槛和维护成本。...
实时Top Key统计
热Key 云数据库Redis以最近最少使用算法LRU（Least Recently Used）为基础，经过高效的排序以及统计算法识别出当前实例的热点Key。说明 Redis社区版实例同一时间最多统计20个热点Key，Tair（Redis企业版）同一时间最多统计50个热点Key。...
HaaS EDU场景式应用整体介绍
什么情况下才能判定是在“摇”呢？水平摇、垂直摇还是快摇、慢摇？别着急，HaaS EDU K1中提供的陀螺仪以及加速度计就可以完全地展示这个算法是如何打造出来的。本案例中包括以下主要知识点：三轴加速度传感器的原理和使用 随机数生成的方法...
服务介绍
执行计划，是物联网边缘计算为LE-V-B004型号边缘一体机提供的视觉算法和调度策略。在同等算力下，开通执行计划的LE-V-B004型号边缘一体机，可扩展更多IPC设备进行算法推理。背景信息 执行计划应用于社区、园区等物业管理场景，通过本地AI...
LightGBM
功能说明 LightGBM组件支持使用lightgbm算法对分类或回归问题进行建模。lightgbm是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 ...
通过Proxy Query Cache优化热点Key问题
工作原理 图 1.Proxy Query Cache原理 云原生内存数据库Tair 会根据高效的排序和统计算法识别出实例中存在的热点Key（通常热点Key的QPS大于3,000），开启该功能后，代理节点Proxy会根据设定的规则缓存热点Key的请求和查询结果（仅缓存热点...
核心自治技术案例解析
下图是双11期间自动SQL优化一个实际案例，某自治服务接入实例，用户的业务流量不断上升，PolarDB实例的CPU使用率不断飙高并达到了高负载状态，此时DAS的Autoscaling算法精确的识别出了实例当前的异常状态，于是自动为实例增加了两个只读...
SSL-VPN连接常见问题
NCP模式是一种动态协商加密算法的方式，开启NCP模式后，客户端和SSL服务端之间建立SSL-VPN连接时将协商出 ncp_ciphers 列表项下双方均支持的最高安全级别的加密算法，而不使用您为SSL服务端指定的加密算法。OpenVPN（2.4.0及以上的版本）...
HTAP中的行列混存查询优化
将join reorder与其他问题拆分，虽然提高了搜索效率，但可能陷入局部最优问题。列存索引Plan优化过程 为了解决MySQL原生优化器在HTAP workload下的不足，IMCI针对HTAP workload下可能缺少索引、拥有新的执行模型以及输入复杂查询等情况，...
常见问题
在确认输入数据和系统运行没有问题之外，那么可能就是原始输入doc表的数据问题，Proxima CE默认采用的是hnsw算法构建索引，可能出现了构图不连通的极端情况，导致检索召回结果数量不够。解决方法：可以通过降低recall。该方法解决不彻底，...
支持向量机
功能说明 支持向量机组件支持使用支持向量机算法对分类或回归问题进行建模。支持向量机（SVM）是在分类分析中分析数据的监督式学习模型与相关的学习算法，也被拓展运用于回归问题。支持向量机在高维度或无穷维度空间中，构建一个超平面或者...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
概述
为什么需要冷启动 通常推荐系统通过协同过滤、矩阵分解或是深度学习模型来生成推荐候选集，这些召回算法一般都依赖于用户-物品行为矩阵。在真实的推荐系统中，会有源源不断的新用户、新物品加入，这些新加入系统的用户和物品由于缺乏足够...
组件参考：所有组件汇总
PMI 该组件算法统计若干文章中所有词的共现情况，计算两两之间的PMI（point mutual information）。条件随机场预测 该组件是基于linearCRF在线预测模型的算法组件，主要应用于处理序列标注问题。Split Word（生成模型）该组件基于AliWS...
SimRank+相似度计算算法
本文介绍了推荐系统中一个常用的协同过滤算法SimRank，包括它的算法原理，及其应用在个性化推荐场景时的改进。同时，本文还描述了如何在生产环境部署SimRank+算法。算法简介 SimRank算法是一种用于衡量结构上下文中个体相似度的方法，其...
逻辑回归
功能说明 逻辑回归（LogisticRegression）是一种用于解决二分类（0 or 1）问题的模型，用于估计某种事物的可能性。尽管名字是逻辑回归，但它是一种用于分类而不是回归的线性模型。Logistic 回归在文献中也称为 logit 回归、最大熵分类...
产品概述
什么是地址标准化 地址标准化 是依托阿里云海量的地址语料库，以及超强的NLP算法实力所沉淀出的高性能及高准确率的标准地址算法服务。该地址算法服务能解决一地多名，地址解析，地址真伪辨别等多种问题，为企业，政府机关以及开发者提供...
AIRec智能推荐效果评估指南与策略调整介绍
算法调优 算法调优指的是通过对AIRec推荐算法的召回链路进行参数调整，从召回算法层面对推荐出的结果进行调优，算法调优依赖于实验平台功能，目前仅算法配置版实例可支持。此外，如您有更个性化的算法调优需求，也可以联系我们进一步沟通。...
- 产品推荐
- 这些文档可能帮助您