新建实验
AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。背景信息 AutoML的工作机制：实验会根据算法配置自动生成...
云蜜罐概述
云蜜罐原理 虽然蜜罐转守为攻，但是传统蜜罐的缺点也很明显：几乎不可实现高真实、低成本、高覆盖的蜜罐服务。为弥补传统防御方式、传统蜜罐方案的不足，云安全中心的云蜜罐技术应运而生。云安全中心的云蜜罐功能提供了以下功能和服务。云...
常见问题
我已经深入了解了 PolarDB-X 中DDL的执行原理，我能对DDL执行过程进行调优吗？比如加快某个DDL的执行速度。可以，请注意，这需要建立在您已经深入了解过DDL执行原理，并对业务流量特点、PolarDB-X 资源空闲情况有深入了解的基础上。对于下...
调优原理和执行计划
本文介绍了 PolarDB-X 处理SQL的基本原理及执行计划的概念。分布式数据库架构相对单机数据库有差异，所以在单机数据库调优方法的基础上分布式数据库又有着自身的特点。PolarDB-X 可以基于统计信息、执行计划、并发策略和执行之后反馈的运行...
案例推理-训练
计算逻辑原理 通过历史数据的采集，整理和挑选形成优质案例库，结合目前工况与历史最优数据进行对比，推荐接近的控 制目标推荐值，该方法适用于历史案例丰富的场景。参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 ...
概念解释
自定义模型 自订阅模型是基于您训练过的模型进行再次训练，从而调优模型效果，请注意，由于大模型的训练原理，多次训练模型时，后序训练易丢失前序训练已习得的能力，建议后序训练数据需要采样或保持前序训练数据。循环次数 循环次数代表...
Join优化
深入了解SelectDB的Join机制，了解其原理，才能深刻分析其性能较慢的原因。利用会话变量来修改Join操作的一些行为，以实现Join操作的优化。查看Query Plan去分析这个调优是否生效。上述4个步骤描述了标准的Join调优流程。如果在完成了上述...
基本概念
自定义模型 自定义模型版本是基于您训练过的模型进行再次训练，从而调优模型效果，请注意，由于大模型的训练原理，多次训练模型时，后序训练易丢失前序训练已习得的能力，建议后序训练数据需要采样或保持前序训练数据。循环次数 循环次数...
阿里云mPaaS客户端优化服务工作说明书
2.服务定义 mPaaS客户端优化建设服务，是阿里云原厂给企业客户提供的应用质量调优服务，借助mPaaS平台，为客户提供基础性原理分析、性能问题监控与定位以及客户端崩溃防护技术等技术内容。同时，协助客户体系化地降低崩溃、卡死卡顿的情况...
成本优化指南
合理配置可以节约一定的成本，本文档介绍如何以较优的成本方式使用数据加工功能。典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用一个或多个Logstore快速接入数据，然后使用数据加工进行快速分发，并根据实际需求设置不同...
AutoML工作原理
AutoML实现自动化调试参数的工作原理，是通过实验、Trial、训练任务进行循环迭代，来找到最优的超参组合。AutoML的工作机制如下图。您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行...
MongoDB实例的CPU使用率高问题
索引优化是减少MongoDB单个查询扫描⾏数的最优⽅案，从底层设计上，MongoDB的索引设计原理⼏乎与MySQL保持⼀致（或许种类和功能更丰富⼀些），所以适⽤于MySQL的索引优化策略基本也都适⽤于 MongoDB实例。导致查询扫描行数过多的场景有以下...
案例推理-预测
计算逻辑原理 案例推理：案例推荐算法(CBR)是基于庞大的历史优质案例，选出和目标案例相似度最高的案例，找到合适的推荐值的过程。故在实际过程中使用案例推荐算法主要可分为两部分：案例库建模-基于历史数据，筛选出优质案例；案例推荐-在...
什么是AutoML
超参调优：Hyper Parameter Optimization简称HPO，是指手动或者自动进行超参数调优，而本文中特指是AutoML提供的对模型参数、训练参数等进行自动搜索调优的服务。它能帮您获取较优参数，提升模型效果，节省算法工程师调参的时间，让算法...
训练加速（Pai-Megatron-Patch）概述
Pai-Megatron-Patch结合了多种优化技术，对PyTorch版Transformer模型的训练进行优化，从而达到最优的训练性能。本文为您介绍Pai-Megatron-Patch的工作原理和使用流程。背景信息 Pai-Megatron-Patch工具是阿里云机器学习平台PAI算法团队研发...
调优原理
基本原理 PolarDB-X 1.0 是一个支持计算存储分离架构的数据库产品。当一条查询SQL发往 PolarDB-X 1.0 节点时（此SQL也称为逻辑SQL），PolarDB-X 1.0 会将其分成可下推的、和不可下推的两部分，可下推的部分也被称为物理SQL。原则上，...
主从版的应用场景
架构介绍 架构 说明 优劣势 示例场景 单节点 仅一个主实例，无只读实例。优点：价格低。缺点：当主实例故障、重启实例或变更配置时，会导致实例较长时间不可用。测试环境。个人学习。双节点 一个主实例和一个只读实例。优点：性价比高。主...
全链路专家服务内容说明
包括如下场景及场景间的组合（每个专家诊断与调优的具体支持场景可参考专家服务中相应条目的具体说明）：1、基础设施云产品问题诊断与调优 2、数据类云产品问题诊断与调优 3、云原生应用产品问题诊断与优化 交付物：《专家服务报告-全链路...
概述
实现原理：采用多个节点产生值来保证高可用，每次取出一段值，如果该段值没有取完（比如连接断掉等情形），就会产生跳跃段。优点：全局唯一，不会产生单点问题，性能非常好。缺点：产生的序列不连续，可能会有跳跃段；不会严格从起始值开始...
DLC MNIST训练最佳实践
本文介绍如何在DLC计算资源上提交AutoML实验进行超参数调优。本方案采用PyTorch框架，通过torchvision.datasets.MNIST模块自动下载和加载MNIST手写数字数据集，并对其进行模型训练，以寻找最佳超参数配置。提供单机、分布式及嵌套参数三种...
推理加速（Blade）概述
PAI-Blade结合了多种优化技术，对训练完成的模型进行优化，从而达到最优的推理性能。同时，PAI-Blade提供的C++ SDK可以部署优化后的模型推理，帮助您快速的将模型应用于生产。本文介绍PAI-Blade的工作原理和使用流程。背景信息 PAI-Blade是...
访问控制策略概述
为了确保访问策略匹配最优，建议您将经常匹配和细化匹配的策略设置为高优先级。访问控制策略的工作原理如下图所示。域名解析介绍 互联网边界防火墙、NAT边界防火墙和VPC边界防火墙支持根据流量中携带的域名信息进行域名管控。如果您在...
专家成长计划服务内容说明
服务说明 阿里云专家服务充分利用阿里云专家服务团队长期沉淀的丰富案例经验和专家工具平台，帮助阿里云用户进行云上产品相关的产品咨询、架构设计、性能调优和疑难诊断等工作，并提供针对性的解决方案、最佳实践、资源风险评估和技术赋能...
数据类云产品专家服务
服务说明 阿里云专家服务充分利用阿里云专家服务团队长期沉淀的丰富案例经验和专家工具平台，帮助阿里云用户进行云上产品相关的产品咨询、架构设计、性能调优和疑难诊断等工作，并提供针对性的解决方案、最佳实践、资源风险评估和方案赋能...
弹性并行查询（ePQ）发布说明
基本原理如下图所示：并行优化器：在串行计划的基础上提取信息，然后基于代价的枚举并拆分出最优的子计划切片（Plan Slices）。全局资源视图：维护集群内所有节点的实时负载信息。任务协调器：根据实时资源负载情况，调度执行任务队列。ePQ...
什么是AI分布式训练通信优化库AIACC-ACSpeed
优化方法 针对上述通信算法实现autotuner，包括warmup、多维度perf_time统计以及top_k_algo的retuning等机制，从而实现在实时训练过程中，针对特定网络选择最优通信算法，保证端到端的性能最优。优化效果 该算法在多机型的不同模型上，均能...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
专家成长计划技术培训课程
3、系统性能调优（比如操作系统内核参数调优）4、异常诊断分析（比如操作系统coredump分析）5、产品使用技巧/最佳实践 现场面授（特殊情况可调整为线上钉钉群直播）云网络方向 云上网络运维工程师专家培训（基础）1天 30人 本课程将全面...
新手指引
初识阿里云CDN 什么是阿里云CDN 为什么需要CDN 阿里云CDN的优势 加速原理 使用限制 CDN基本概念 购买指南 阿里云CDN的计费分为，基础服务计费（必选）+增值服务计费（可选），您可根据业务需要选择最优的计费方案。详情请参见 计费概述。...
原理优势
本文介绍专属集群 MyBase 的产品原理与综合优势。专属集群 MyBase 是由多台主机组成的集群，使用本地盘只需为主机支付费用，在集群内可自由分配部署数据库实例。同时，专属集群提供超配能力，提升资源利用效率，实现高性价比。MyBase 的...
工艺模式推荐
计算逻辑原理 工艺模式推荐：对工艺模式中的历史数据进行分类、采集，并识别出当前工况所属的工况状态，根据优化的目标，学习历史数据中的工艺操作，推荐当前工况最优的参数目标值，该方法适用于数据噪声较大的场景。参数说明 IN端口 参数...
调用API商品
技术原理概述：客户端程序将AppCode放到Request Header中，或者放到Request的Query参数中，从而进行身份认证。优点：简单易用，无需复杂的生成签名的过程，各种开发语言都能很简单的使用，API商品也提供了多语言的调用示例。缺点：认证方式...
API类商品使用
技术原理概述：客户端程序将AppCode放到Request Header中，或者放到Request的Query参数中，从而进行身份认证。优点：简单易用，无需复杂的生成签名的过程，各种开发语言都能很简单的使用，API商品也提供了多语言的调用示例。缺点：认证方式...
库表结构优化
AnalyticDB MySQL版 提供的库表结构优化功能，为用户提供降低集群使用成本，提高集群使用效率的调优建议。本功能持续收集SQL查询的性能指标及其使用到的数据表、索引等信息，并进行算法统计分析，自动给出调优建议，减少用户手动调优的负担...
JOIN优化和执行
当（未下推的）表的数量较多时，采取Zig-Zag（锯齿状）或Left-Deep（左深树）的枚举策略，选出最优的Zig-Zag或Left-Deep执行计划，以减少枚举的次数和代价。PolarDB-X 使用基于代价的优化器（Cost-based Optimizer，CBO）选择出总代价最低...
建模优化
计算逻辑原理 通过依次添加序列、变量、参数、目标函数及约束等，完成数学建模，配置相应的求解属性，调用底层求解器进行模型的求解。使用流程说明 添加数据源。引入DB-IN组件，配置数据库及对应的字段，选择模型需要的数据。定义问题类型...
概述
实现原理：采用多个节点产生值来保证高可用，每次取出一段值，如果该段值没有取完（例如连接断掉等情形），就会产生跳跃段。优点：全局唯一，不会产生单点问题，性能非常好，并且具备跨实例或跨库的单元化能力。缺点：产生的序列不连续，...
计算成本优化
MaxCompute为您提供 计算成本优化 功能，可基于实际作业请求量和资源配置期望，对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案，也支持查看当前使用 按量付费计算资源 的项目调整为使用 包年包月计算资源 的资源配置推荐方案...
限流算法选择
令牌桶算法 令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。优点：放过的流量比较均匀，有利于保护系统。存量令牌能应对突发流量，很多...
JOIN与子查询的优化和执行
当（未下推的）表的数量较多时，采取Zig-Zag（锯齿状）或Left-Deep（左深树）的枚举策略，选出最优的Zig-Zag或Left-Deep执行计划，以减少枚举的次数和代价。PolarDB-X 1.0 使用基于代价的优化器（Cost-based Optimizer，CBO）选择出总代价...
- 产品推荐
- 这些文档可能帮助您