AIOps 解决方案专家服务内容说明
智能算法列表 类型 算法名称 算法逻辑 异常诊断类算法 One-Class SVM 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 孤立深林 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 Robust Covariance 基于历史批量...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
组件参考：所有组件汇总
箱线图 箱形图是一种用作显示一组数据分散情况的统计图。它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较。散点图 散点图是指在回归分析中，数据点在直角坐标系平面上的分布图。相关系数矩阵 相关系数算法用于计算...
常见问题
在确认输入数据和系统运行没有问题之外，那么可能就是原始输入doc表的数据问题，Proxima CE默认采用的是hnsw算法构建索引，可能出现了构图不连通的极端情况，导致检索召回结果数量不够。解决方法：可以通过降低recall。该方法解决不彻底，...
概述
为什么需要冷启动 通常推荐系统通过协同过滤、矩阵分解或是深度学习模型来生成推荐候选集，这些召回算法一般都依赖于用户-物品行为矩阵。在真实的推荐系统中，会有源源不断的新用户、新物品加入，这些新加入系统的用户和物品由于缺乏足够...
SQL性能问题
慎用正则函数（REGEXP）正则表达式是非常耗时的操作，对比加减乘除通常有百倍的性能开销，而且正则表达式在某些极端情况下可能会进入无限循环，导致作业阻塞，具体情况请参见 Regex execution is too slow，因此建议使用LIKE。正则函数包括...
如何设计宽表主键
Lindorm宽表引擎是一款分布式数据引擎，宽表引擎中的数据均按照主键进行分布。在执行查询时，如果表中存在多列主键，系统会从最左边的主键开始匹配。如果主键设置不当，则可能导致主键无法被有效利用，进而产生热点问题，影响查询性能。...
DAS Auto Scaling弹性能力
基于DeepLearning的数据库RT预测模型，该算法可基于数据库实例的CPU使用情况、逻辑读、物理读和iops等多项数据指标预测出实例运行时的rt值，用于指导数据库对BufferPool内存的缩减，为阿里巴巴数据库节省超27T内存，占比总内存约17%。...
多路召回实战
补充：相关参考文档 OpenSearch-行业算法版文档排序实践 排序表达式 业务排序函数 以下给出一个完整的查询语句，仅供参考：query=vector:'xxx&n=100&sf=1.100000' OR default:"1948年在城南庄发生了什么"OR title:'1948年在城南庄发生了...
光伏发电异常检测提效
在国家能源安全及双碳战略大背景下，光伏产业发展迅猛，累计装机容量增长迅速，提高光伏发电效能异常检出效率的需求也随之增多。本文介绍使用物联网平台数据服务提高光伏发电效能异常检测效率的方案。背景信息 截止2021年，全国光伏发电...
如何设计Rowkey
云数据库HBase的Rowkey设计在数据分区和数据查询中很重要，本节介绍设计Rowkey前需要考虑的一些问题以及设计示例。问题考虑 问题一：Rowkey是唯一的吗？相同的Rowkey在HBase中认为是同一条数据的多个版本，查询时默认返回最新版本的数据，...
部署及微调Llama-3系列模型
训练算法支持使用JSON格式输入，每条数据由问题、答案组成，分别用"instruction"、"output"字段表示，例如：[{"instruction":"你是一个心血管科医生，请根据患者的问题给出建议：我患高血压五六年啦，天天喝药吃烦啦，哪种东西能根治高血压...
使用向量检索插件（aliyun-knn）
算法说明 在算法上，目前向量检索引擎已经支持了hnsw算法以及linear算法，适用于单机数据量小（全内存）的业务场景。两种算法性能对比如下。表 1.hnsw算法和linear算法性能对比 表格中为阿里云Elasticsearch 6.7.0版本环境实测数据，测试...
时序异常检测的常见问题
本文介绍时序异常检测的一些通用问题。时序异常检测对数据有什么要求？若待检测数据包含了过多时间线，在进行异常检测时需较长的等待时间，建议您设置 WHERE 条件，先过滤出少量时间线进行测试，获取符合预期的算法与参数后再逐步增加时间...
PolarDB for AI助力菜鸟实现一站式数据智能
客户价值 菜鸟通过PolarDB for AI的应用和部署，实现了如下业务价值：非专业算法同学通过已有的SQL+Java技术栈，具备一定的算法理论基础的情况下，即可通过PolarDB for AI的能力进行算法的全生命周期开发，降低了算法研发门槛和维护成本。...
HTAP中的行列混存查询优化
如果join的表实在太多，需要有一个稳定的启发式算法在可以接受的时间内搜索到效果不错的查询计划。在所有枚举出的join plan中，正确地选择出最好的plan。cardinality estimation与cost model 通过估算各个查询计划的代价，并从中选出最佳的...
什么是自动驾驶开发平台
能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架，在阿里云上以云原生的方式分布式处理海量非结构化数据，采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感器输出数据，...
OpenSearch-行业算法版文档排序实践
行业算法版中代表全局排序，而排序策略可以理解为sort子句中的一个层级的排序，排序策略是通过系统内置的函数结合表达式形成一种复杂的文档算分逻辑来实现用户复杂的业务场景，但最终参与排序的还是排序策略中表达式算出的最终得分。...
HaaS EDU场景式应用整体介绍
什么情况下才能判定是在“摇”呢？水平摇、垂直摇还是快摇、慢摇？别着急，HaaS EDU K1中提供的陀螺仪以及加速度计就可以完全地展示这个算法是如何打造出来的。本案例中包括以下主要知识点：三轴加速度传感器的原理和使用 随机数生成的方法...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
OCR文档自学习概述
说明「自定义模板」和「信息抽取模型」功能都能够做抽取的任务，那么我们如何确定什么情况下选择什么能力呢？自定义模板：仅通过一张样本图配置，无需进行模型训练，适用于数据版式固定，对字段抽取准确率要求不高的业务冷启动快速验证阶段...
云市场常见问题
什么情况下会扣资源包次数，识别报错会扣费吗？资源包扣费规则按照：成功识别才算入计费次数，若识别报错则不计算次数。单张图片算作一次调用；若您的图片上存在多张图片，可能会导致对应接口识别报错，建议可进行如下操作：1.将所需图片...
米连科技
日志服务帮助米连科技解决了数据分散、问题排查效率低、数据分析手段少的问题，提升了IT运维、数据运营、风控等方面的能力。公司简介 伊对是北京米连科技有限公司旗下品牌，公司成立于2015年，是国家高新技术企业和北京中关村高新技术企业...
产品概述
什么是地址标准化 地址标准化 是依托阿里云海量的地址语料库，以及超强的NLP算法实力所沉淀出的高性能及高准确率的标准地址算法服务。该地址算法服务能解决一地多名，地址解析，地址真伪辨别等多种问题，为企业，政府机关以及开发者提供...
LightGBM
功能说明 LightGBM组件支持使用lightgbm算法对分类或回归问题进行建模。lightgbm是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 ...
支持向量机
对于训练样本带有噪声的情况，一般采用后者，把训练样本集中错误分类的样本作为噪声 否 1.0[0,99999999]核函数类型 指定算法中要使用的内核类型 否 径向 线性 多项式 径向 sigmoid 核函数系数 核函数系数方式为手动设定时需配置 否 1[0,...
负载均衡调度算法介绍
本文列出所有负载均衡系列产品支持的调度算法，不同负载均衡产品支持的调度算法不同。应用型负载均衡ALB：加权轮询、加权最小连接数、一致性哈希（源IP、URL参数）。网络型负载均衡NLB：轮询、加权轮询、加权最小连接数、一致性哈希（源IP...
SSL-VPN连接常见问题
NCP模式是一种动态协商加密算法的方式，开启NCP模式后，客户端和SSL服务端之间建立SSL-VPN连接时将协商出 ncp_ciphers 列表项下双方均支持的最高安全级别的加密算法，而不使用您为SSL服务端指定的加密算法。OpenVPN（2.4.0及以上的版本）...
URL收敛机制说明
api/v1/user/info).)*服务端兜底收敛 ARMS服务端内置了兜底收敛机制，在前两种收敛规则不生效的情况下，ARMS服务端会对URL维度严重发散的情况进行识别，并采用对应的算法进行收敛，以解决极端情况下的性能问题。服务端兜底收敛触发以后，...
列存索引行列融合基础组件介绍
本文介绍了列存索引行列融合基础组件（优化器代价模型、执行器多引擎访问、存储引擎日志回放和事务处理）以及处理长尾请求问题的HybridIndexSearch算子的相关内容。背景信息 事务处理（OLTP）和分析处理（OLAP）混合工作负载在当前的业务...
财务规划
基础设施采购方式从原来的集中式变为分布式，成本管理从原来的前置评估变为前置评估和后置监控或后置监控为主，成本类型由原来的固定成本变为可变成本，决策模式从原来的短期决策变为长期运营，成本责任由原来的集中管控变为责任分散。...
V5.4.x系列实例版本说明
修复问题 修复特殊情况下，无法正确提示非法SQL的语法错误的问题。V5.4.9-16124261 日期2021-02-05 类别 说明 新增特性 新增支持ALTER TALBE ADD PRIMARY KEY语法。新增支持单表下推场景下的变量赋值语法。修复问题 修复 MIN_ALLOCATE_SIZE...
常见问题
这里总结了常见问题，供您快速查阅参考。售前常见问题 服务怎么收费？当前服务仍处于邀测阶段，暂不收费 我想体验产品如何申请开通？您可通过 申请链接 填写必要信息进行申请，也可以通过m_search@list.alibaba-inc.com联系我们 多轮对话...
配置规则：按表（单表）
配置分区表达式后，单击 计算，数据质量会以当前时间作为调度时间，计算出分区表达式的实际结果，用来验证分区表达式是否正确。表达式创建完成后，您可基于该表达式 创建模板规则 或 创建自定义规则。说明 若您有不需要的分区表达式，可在...
逻辑回归
计算逻辑原理 逻辑回归的思路是，先拟合决策边界（不局限于线性，还可以是多项式），再建立这个边界与分类的概率联系，从而得到了二分类情况下的概率。本质是假设数据服从这个分布，然后使用极大似然估计做参数的估计。参数说明 IN端口 ...
核心自治技术案例解析
同时，DAS的SQL诊断能力有与传统不同的技术特征，如：DAS采用外置式的，基于代价模型方式，实现索引、语句改写推荐，以及性能瓶颈问题识别和推荐，避免传统规则式的，过于机械化，推荐质量无法保证，无法量化性能提升收益等问题。...
新建及管理动态脱敏规则
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何新建及管理动态脱敏规则。背景信息 动态脱敏规则常用于查询某些敏感的生产数据场景。对满足条件的...
新建及管理动态脱敏规则
动态脱敏是在不更改基础数据的情况下，仅改变最终展示的查询结果数据；脱敏规则用于管理脱敏的数据范围及具体的脱敏方式。本文为您介绍如何新建及管理动态脱敏规则。背景信息 动态脱敏规则常用于查询某些敏感的生产数据场景。对满足条件的...
文档更新动态（2022年）
自定义掩码算法优化，新增自定义替换值的脱敏算法、自定义正则表达式的脱敏算法。更新说明 项目安全策略 脱敏算法 2022年07月19日 资产质量新增全局角色定义 新增系统管理员、数据源管理员、安全管理员、资产质量负责人等。更新说明 添加、...
高性能Flink SQL优化技巧
慎用正则函数（REGEXP）正则表达式是非常耗时的操作，对比加减乘除通常有百倍的性能开销，而且正则表达式在某些极端情况下可能会进入无限循环，导致作业阻塞，具体情况请参见 Regex execution is too slow，因此建议使用LIKE。正则函数包括...
- 产品推荐
- 这些文档可能帮助您