计算成本优化
根据两批作业历史30天的运行情况，预测出两批作业分完成运行所需要占用的资源（资源CU时），假设两个预测值分别为：第一批作业：占用1500CU资源，运行了1h，资源CU时=1500CU*1h=1500CU时。第二批作业：占用750CU资源，运行了1h，资源CU时=...
Smart Metrics常见问题
算法模型原理是什么？目前开放的算法模型基于开源fbprophet模型开发，并优化了曲线类型识别、多周期识别等功能。检测效果不符合预期，如何调整？可以通过调整灵敏度来动态调整上下边界的范围。灵敏度低代表更宽容的上下边界范围，灵敏度高...
案例推理-预测
本文为您介绍案例推理-预测组件。功能说明 案例推理-预测组件：用于模型预测，进行最优案例解推荐，根据输入的案例推理-训练组件的特征数据，输出案例推荐结果。仅支持案例推理-训练组件训练出的模型。计算逻辑原理 案例推理：案例推荐算法...
SmartMetrics常见问题
算法模型原理是什么？目前开放的算法模型基于开源fbprophet模型开发，并优化了曲线类型识别、多周期识别等功能。检测效果不符合预期，如何调整？可以通过调整灵敏度来动态调整上下边界的范围。灵敏度低代表更宽容的上下边界范围，灵敏度高...
使用ALS算法实现音乐评分预测（旧版）
ALS算法 交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。在协同过滤分类方面，ALS算法属于User-Item CF（Collaborative Filtering），兼顾 User 和 Item 项，...
获取模型预测结果接口示例
该文档介绍如何使用模型预测接口获取相应模型类型的预测结果。接口调用示例代码 Java代码示例 DefaultProfile defaultProfile=DefaultProfile.getProfile("cn-hangzhou","your-access-id-key","your-access-id-secret");IAcsClient client=...
使用Python开发自定义Processor
当自定义Processor的依赖较多、Processor包较大时，不建议使用Processor方式来部署服务，建议您使用镜像方式来部署服务，两种部署方式的对比介绍请参见 部署原理。使用Python开发自定义Processor的流程如下：步骤一：构建开发环境 EAS 提供...
本地盘实例运维场景和系统事件
磁盘隔离和磁盘维修为两个独立的操作，磁盘维修的前提是先进行磁盘隔离，但磁盘隔离后并不一定能维修，即并非所有实例都支持本地盘的维修。只有当阿里云发送恢复磁盘的通知时，您才能发起维修。重新部署实例可以快速恢复本地盘可用性，但会...
K近邻
K近邻算法进行分类的原理是针对预测表的每行数据，从训练表中选择与其距离最近的K条记录，将这K条记录中类别数量最多的类，作为该行的类别。组件配置 您可以使用以下任意一种方式，配置K近邻组件参数。方式一：可视化方式 在 Designer 工作...
网络洞察仪
工作原理 评估公网质量是否发生异常 通过实时分析网络洞察仪的出入公网流量，应用AIOps算法分析和预测公网流量的健康运行状况模型，若您的业务流量偏离模型评估的健康范围，洞察仪将产生告警帮助您及时感知业务网络异常，并从以下两个方面...
基本概念与原理
为了帮助您快速理解和掌握使用方法，本文概要介绍一下相关基本概念和原理。理解了它们，就摸清了云效持续交付的脉络，学习具体内容就会容易很多。项目 项目是一个“工作场所”。一伙人（或者一个人）为了一个特定的场景（比如开发一个应用/...
实体识别
仅包含重要性低的实体：query=default:'杨幂同款包邮' 实体识别的结果：杨幂(人名)同款(后缀)包邮(营销服务)无根据实体识别改写的query 与类目预测一起使用 Query中不同的实体对类目的影响是不一样的，因此，当原query没有类目预测的结果时...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
概述
本文介绍了Serverless的工作原理、核心优势和适用场景。背景 数据库是现代企业IT系统中非常重要的一部分。在创建数据库时，客户往往需要比较保守地去配置数据库集群的资源，包括CPU、内存、存储以及连接数等多种参数配置，以确保业务能够在...
主备方案介绍
由于慢盘或者坏盘造成的集群访问超时。故障自动容错原理：单机宕机和集群宕机测试结果如下。以下是单机宕机吞吐对比图和单机宕机平均响应对比图。以下是集群宕机吞吐对比图和集群宕机平均响应对比图。主备容灾原理介绍 当云数据库HBase实例...
K均值聚类算法（K-Means）
该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，将每一个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类。即K-Means算法将输入表的...
概述
业务有波动或不可预测的用户。固定规格集群的Serverless功能的适用场景 中大规模用户的企业级数据库使用场景；希望保留已有的 PolarDB MySQL版 集群，同时又可以满足业务波动的场景。使用限制 Serverless集群的使用限制 PolarDB MySQL版 5....
模型训练最佳实践
自定义模型 自定义模型是基于您训练过的模型进行再次训练，从而调优模型效果，请注意，由于大模型的训练原理，多次训练模型时，后序训练易丢失前序训练已习得的能力，建议后序训练数据需要采样或保持前序训练数据。我们基于预置模型，训练...
向量召回评估
本文为您介绍向量召回评估组件的原理和配置指导。原理 向量召回评估组件同时支持 u2i 召回和 i2i 召回的计算。u2i 召回时，拿user（用户）的向量去召回top k个items（物品），i2i 召回时拿item的向量去召回top k个items。hitrate的具体计算...
EMR Kafka磁盘故障运维
可选：如果前面步骤中没有隔离待维修磁盘，则需要执行以下命令隔离待维修磁盘。chmod 000/mnt/disk7 卸载故障磁盘目录。重要 编辑fstab条目时，直接删除而不是注释掉故障盘条目。执行以下命令，编辑/etc/fstab。vim/etc/fstab 删除disk7的...
什么是弹性伸缩ESS
例如，某视频直播公司的日常业务量难以预测，您可以创建报警任务，在CPU使用率大于60%时自动增加1台ECS实例或ECI实例。更多信息，请参见 应用场景。工作原理 弹性伸缩会自动根据伸缩模式的配置适时触发伸缩活动，增加或移出伸缩组内的ECS...
自定义路由类型监听的工作原理
配置完成后，全球加速 将生成如下端口映射表：说明 本示例为方便理解，端口映射表使用顺序映射，实际映射关系不可预测。您可以调用 ListCustomRoutingPortMappings 和 ListCustomRoutingPortMappingsByDestination 接口获取真实的端口映射...
GBDT二分类V2
算法原理 梯度提升决策树模型构建了一个由多棵决策树组成的组合模型。每一棵决策树对应一个弱学习器，将这些弱学习器组合在一起，可以达到比较好的分类或回归效果。梯度提升的基本递推结构为：其中，通常为一棵 CART 决策树，为决策树的...
大语言模型使用案例
在该案例中，虽然大模型并不运行于AI节点，但与运行在AI节点上的实现原理和使用方式相同。未运行在AI节点的大模型，后端会自动生成UDF来调用大模型。对于大语言模型，目前提供了免费的在线推理服务，用户可以直接在 PolarDB 集群中部署模型...
LightGBM
计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。同每层分裂(Level-wise)相比，在分裂次数相同的情况下，叶分裂(Leaf-wise)可以降低更多的误差，得到更...
MapReduce
本文仅对MapReduce的基本原理做简单介绍，更多详情请参见 Hadoop Map/Reduce教程。说明 您无法通过MapReduce读写 外部表 中的数据。应用场景 MapReduce支持下列场景：搜索：网页爬取、倒排索引、PageRank。Web访问日志分析：分析和挖掘用户...
基础排序函数
函数参数需创建为属性 使用反正切函数进行归一化时，如果value小于0，归一化后的值为0 使用对数函数进行归一化时，max的值要大于1 使用线性函数进行归一化时，max要大于min category_score：类目预测函数 函数描述：返回参数中指定的类目...
岭回归训练
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
什么是公钥和私钥？
有关私钥原理的更多信息，请参见 阿里云SSL证书私钥保护原理是怎样的？创建私钥 阿里云SSL证书服务对您私钥的加密算法和长度要求如下。加密算法使用RSA算法 加密长度至少2,048位 您可以通过以下两种方式创建您的私钥。使用OpenSSL工具生成...
DT-PID V2.1.0
计算逻辑原理 DT-PID-v2组件采用增量式PID控制，控制量u离散化描述满足如下 其中，u(k-1)是上一时刻系统的控制量，也可以是初始时刻的外部参考值，为当前时刻控制量增量。DT-PID-v2组件中控制增量有如下形式 其中，为积分系数，为微分系数...
基本概念
自定义模型 自定义模型版本是基于您训练过的模型进行再次训练，从而调优模型效果，请注意，由于大模型的训练原理，多次训练模型时，后序训练易丢失前序训练已习得的能力，建议后序训练数据需要采样或保持前序训练数据。循环次数 循环次数...
Lasso回归训练
算法原理 Lasso回归算法通过构造一个惩罚函数，得到一个较为精炼的模型。使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值，同时设定一些回归系数为0。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。可视...
决策树
目标是创建一个模型，通过学习从数据特征推断出的简单决策规则来预测目标变量的值。一棵树可以看作是分段常数近似。决策树组件支持使用决策树算法对分类或回归问题进行建模。计算逻辑原理 决策树是一种树形结构，其中每个内部节点表示一个...
云盘三副本技术
本文介绍三副本的概念及原理。三副本介绍 您对云盘的读写最终都会被映射为对阿里云数据存储平台上的文件的读写。阿里云提供了一个扁平的线性存储空间，在内部会对线性地址进行切片，一个分片称为一个Chunk（中文含义为块）。每一个Chunk，...
EAS模型服务概述
镜像部署原理介绍 服务部署：自定义镜像 服务部署：官方预置镜像 镜像部署AI-Web应用（推荐）适用场景：使用镜像快速部署模型服务，更适用于将模型部署为Web应用的场景。优势：典型场景已为您预置了很多官方镜像，如Stable-Diffusion-Webui...
云盒计算资源配置最佳实践
本文介绍如何配置云盒计算资源，在满足业务需求的同时，有效降低成本，并提升硬件风险应对能力。背景信息 云盒的硬件设计中，各类硬件设备的保障...关于如何授权维修以及维修相关流程，请参见 响应云盒维修事件 和 云盒故障服务器维修流程。
历史功能发布记录（2022年）
全部 ACK发布Kubernetes 1.24版本说明 AHPA弹性预测支持基于GPU指标的预测 AHPA（Advanced Horizontal Pod Autoscaler）支持在应用具备周期性的情况下，通过弹性预测，进行资源预热，解决您在服务使用中遇到的弹性滞后问题。现已支持基于...
文件存储NAS SMB ACL概述
本文简要介绍NAS SMB ACL卷的根目录默认值、相关特性及工作原理。背景信息 ACL权限控制表是一项重要的企业级特性。在SMB文件系统不连通AD服务时，NAS SMB卷的ACL是只读的，用户登录身份为匿名（Everyone）。阿里云SMB协议文件存储服务支持...
入侵防御原理介绍
云防火墙IPS防御原理 云防火墙是串联在云上网络链路中，包括互联网出入向，NAT边界、内网跨VPC及云上和线下IDC机房之间。网络架构如下图所示：所有接入云防火墙的网络流量都会经过云防火墙IPS引擎和ACL引擎过滤，再转发出去。针对网络流量...
功能特性
使用DataWorks离线调度Designer工作流 预置工作流模板 内置丰富案例供用户直接使用，包含商品推荐、新闻分类、金融风控、雾霾天气预测、心脏病预测、农业贷款发放、人口普查等，所有案例包含完整的数据集以及使用文档。可以供用户直接一键...
- 产品推荐
- 这些文档可能帮助您