Dynamic Shape优化案例：使用Blade优化输入为Dynamic ...
在实际生产中，输入为Dynamic Shape的模型越来越多，因此对不同输入Shape的推理过程具有强烈的优化需求。本文介绍如何使用Blade优化输入为Dynamic Shape的模型。使用限制 本文使用的环境需要满足以下版本要求：系统环境：Linux系统中使用...
BERT模型优化案例：使用Blade优化基于TensorFlow的...
然而BERT模型存在巨大的参数规模和计算量，因此实际生产中对该模型具有强烈的优化需求。本文主要介绍如何使用Blade优化通过TensorFlow训练的BERT模型。使用限制 本文使用的环境需要满足以下版本要求：系统环境：Linux系统中使用Python 3.6...
自动SQL优化
数据库自治服务DAS支持自动SQL优化，相比传统的优化方式，能够自动识别问题SQL，生成索引优化建议，并在不引发锁表的情况下自动创建索引。前提条件 目标数据库实例为：RDS MySQL 高可用系列、三节点企业系列、集群系列。PolarDB MySQL版 的...
查询优化器介绍
本文将介绍查询优化器的基本原理，以及什么是关系代数运算符、查询改写（RBO阶段）和查询计划枚举（CBO阶段）。PolarDB-X 接收到一条SQL后的执行过程大致如下：语法解析器（Parser）将SQL文本解析成抽象语法树（AST）。语法树被转化成基于...
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级，优先...
成本优化概述
本文介绍了成本优化的流程。MaxCompute的成本优化是一个持续不断的过程。由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化：在使用MaxCompute之前，建议您详细了解付费策略以及...
Python接口文档
无 optimization_level STRING 是 优化级别，取值如下（不区分大小写）：o1：表示无损优化，包括图改写、编译优化等。o2：表示量化优化。无 device_type STRING 是 模型运行的设备类型，取值如下（不区分大小写）：gpu cpu edge（暂不支持...
性能优化概述
性能优化指的是通过去除页面冗余内容、文件压缩、图像处理、过滤参数（提高缓存命中率）等方式来提升用户请求的响应速度和文件下载速度。性能衡量指标：请参考 CDN的性能衡量指标。您可以通过性能优化功能，对域名执行如下操作。功能 说明 ...
性能优化概述
性能优化指的是通过去除页面冗余内容、文件压缩、图像处理、过滤参数（提高缓存命中率）等方式来提升用户请求的响应速度和文件下载速度。您可以通过性能优化功能，对域名执行如下操作。功能 说明 页面优化 开启页面优化功能，全站加速会...
HBase版本选择
这些能力主要来源包括：内部分支（增强版）的优化。开源新版本中的patch。测试及生产中发现的bug修复、体验优化。这些定制的能力都具有比较灵活的移植能力，所以当社区发布新的大版本时，我们也会快速跟进发布基于此的定制优化版，并结合...
控制面核心组件
性能优化离不开细节，其中部分优化是通用的，也有部分优化是面向业务场景定制的，接下来会介绍一下蚂蚁团队优化的一些细节点。首次请求优化：社区方案里 Pilot 是通过 Pod.Status 来获取 Pod 的 IP 信息，在小集群的测试中，这个时间基本秒...
使用Blade EAS Plugin优化并部署模型
model_info 中可以配置多个模型的优化项，目前只支持配置一个模型的优化项。模型的key为模型的文件名，value支持多个优化项，这些优化项与PAI-Blade Wheel包中的 blade.optimize 接口参数对齐。支持的优化项如下文的 优化项列表 所示。表 2...
动态过滤器（Dynamic Filter）
优化思路 一个典型的包含JOIN的SQL语句如下：select*from(table1)A join(table2)B on A.a=B.b;基于JOIN等值连接的特性，MaxCompute可以通过表A的数据生成一个过滤器，在Shuffle或JOIN之前提前过滤表B的数据，甚至可以将过滤器下推到底层...
动态过滤器（Dynamic Filter）
优化思路 一个典型的包含JOIN的SQL语句如下：select*from(table1)A join(table2)B on A.a=B.b;基于JOIN等值连接的特性，MaxCompute可以通过表A的数据生成一个过滤器，在Shuffle或JOIN之前提前过滤表B的数据，甚至可以将过滤器下推到底层...
资源使用优化
通过工具辅助人工方式定期对云上整体资源进行梳理、调整和更新，将资源可视化，高效指导资源的优化方向，从而避免云资源在持续使用过程中由于各种原因产生不必要的浪费。如存在孤岛资源、闲置或低利用率资源、未绑定公网IP和网关的对外服务...
图解MySQL 8.0优化器查询解析篇
强大的优化器是不需要客户关注SQL如何写的更好来更快获得需要的数据，因此优化器对原始SQL一定会做一些等价的变化。MySQL 8.0 Server层最新架构详解 一文重点介绍了MySQL最新版本关于Server层解析器、优化器和执行器的总体介绍，包括一些...
持续架构优化
通过分析后发现这些业务，随着业务的发展，新的业务场景也会出现，云厂商也会推出新的产品类型和产品规格，通过持续架构优化，适配业务需要，并优化云资源使用，降低用云成本。对应用架构进行云原生化改造 云原生架构是基于云原生技术的一...
HTAP中的行列混存查询优化
列存索引查询优化 行存Plan优化及其限制 MySQL的优化器有一套清晰的优化流程，其查询优化流程如下：应用一些基于规则的优化，规则通常会让plan变得更优，不涉及代价计算。将部分outer join转换为inner join。等值推导。如 c1=5 and c1=c2 ...
网络计费方式优化-CDT-公网
操作说明 登录“用户中心”，进入“成本管理-成本优化”页，点击“网络计费方式优化-CDT-公网”，可进入购买优化页查看公网流量的优化建议。进入购买优化页后，可查看以下内容：优化建议范围：可在“优化建议范围”部分，查看计费优化对应...
基本概念
控制台上的概念 数学规划求解 数学规划求解 是优化求解器的一种类型，如线性规划（Linear Programing,LP）求解器是指可以用于求解线性规划问题，该问题的变量取值空间是线性连续的，目标函数和约束都是变量的线性关系。数学规划求解常见的...
Cost-based SQL诊断引擎
开发者通常对于前面两个层面的优化比较熟悉，对于第三个即SQL层面的优化会有些生疏，甚至会因由谁（数据库管理员或应用开发者）来负责而产生争论，但SQL优化是整个数据库优化中非常关键的一环，线上SQL性能问题不仅会给业务带来执行效率上...
线性规划-专题多篇
优化求解器的线性规划学习案例。数学规划求解-线性规划 我们有提供6个案例讲解线性规划（LP）的概念和应用场景，讲解遇到不同问题时，如何分析问题，建模，然后调用优化求解器求解，再利用求解器的结果去解决问题。并提供了10+源代码供参考...
PolarDB PostgreSQL版架构介绍
Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-H性能：加速比 TPC-H性能：和传统MPP数仓对比...
模板渲染速率提升详解
优化素材的使用，优化模板的结构 优化素材的使用和优化模板的结构是相关联的。在制作VE模板时，将那些不需要进行后期用户进行修改的图层进行合并，应该尽可能地降低图层的数量，降低图层的数量时，模板使用的素材也会随之减少。同时，要尽...
成本套件概述
IT运维人员的职责是分析预算不合理的原因，设计资源付费的优化策略，再驱动业务团队进行优化；业务研发人员负责实施优化策略，再将IT成本治理的效果向上反馈，形成闭环。因此，成本治理的一般流程为：查看集群成本大盘判断整个集群是否存在...
云上成本管理框架
资源使用优化：优化云资源的使用率，是实现成本优化的有效手段。常见的方法有释放闲置资源、降配低负载资源、升配高负载资源、弹性扩缩容等，通常借助资源监控工具发现优化机会，并结合业务特性、性能、成本等综合考虑后谨慎执行。更多策略...
阿里云云上成本管理解决方案白皮书
集群成本分析与优化-容器服务ACK“集群成本分析与优化-容器服务ACK”是云原生场景下的优化分析工具，支持集群成本概览、集群应用浪费分析、集群节点池成本分析、集群应用成本分析。资源使用优化-资源水位分析 通过 智能水位分析报告，对...
云原生场景的企业IT成本治理
常见的优化策略包括：成本控制 成本控制提供预算管理、配额管理、成本预测、成本报警等能力，并且支持多云及混合云等场景。本方案中，成本洞察和成本控制是成本治理过程中最直接、有效的手段。在企业成本治理的过程中，一般推动成本治理的...
SparkSQL自适应执行
目前SparkSQL没有对倾斜的数据进行相关的优化处理。SparkSQL自适应框架可以根据预先的配置在作业运行过程中自动检测是否出现倾斜，并对检测到的倾斜进行优化处理。优化的主要逻辑是对倾斜的partition进行拆分由多个task来进行处理，最后...
优化聚合与排序
下面的SQL是对t1表进行排序，经过 PolarDB-X 1.0 查询优化器的优化，Sort算子被下推至各个MySQL分片中执行，最终只在上层做归并操作。explain select name from t1 order by name;MergeSort(sort="name ASC")LogicalView(tables="t1",...
专属解决方案
成本优化飞轮 如之前“成本问题发现与管控”环节所述，在成本优化原始方案的基础上，企业需要结合自己的技术现状，不断去更新和优化。而这个成本优化的飞轮之形成，是需要一定的技术方案和管理方案保障的。首先是，成本优化的结果需要量化...
管理节点组
对于成本优化混合实例伸缩组，您可以通过合理制定混合实例策略，以实现与普通成本优化伸缩组完全相同的行为。例如：普通成本优化伸缩组创建的全为按量实例 指定 组内最小按量节点数量=0，按量节点所占比例=100，最低价的多个实例规格=1。...
推理加速（Blade）概述
此外，您还可以便捷地尝试不同的优化策略、探索更多的优化参数组合。同时，PAI-Blade提供C++ SDK供您部署服务。虽然优化完成的模型在运行时需要依赖SDK，但是无需修改模型代码，您只需要链接PAI-Blade的库文件即可。使用流程 您可以参考...
MongoDB实例IOPS使用率高问题
I/O问题的优化策略 如果是阿里云MongoDB，建议您根据业务需求选择合适的实例规格，并关注索引的优化和部分应用系统的写入优化。配置合适的实例规格 由于在配置前很难预估热数据与CacheSize的⽐例设置为多少最合适，通常情况下，在保证...
使用阿里云CDN加速后网站访问速度较慢
由于造成访问慢的影响因素很多，如何去分析定位问题、优化网站速度、解决问题是一个十分重要的课题，本文对此进行详细介绍。解决方案 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据...
设置优化器的Join Reorder
为了提高列存索引（IMCI）处理复杂查询的能力，列存索引优化器通过结合变换规则与表中各个列的统计信息，基于代价生成高效的执行计划，以此来增强自身的优化器能力。本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。...
计费方式优化-节省计划
当前版本的优化建议不含节省计划弹性版。操作说明 登录“用户中心”，进入“成本管理-成本优化”页，点击“计费方式优化-节省计划”或“计费方式优化-数据库节省计划”等，可查看各类节省计划的购买方案优化建议。进入购买优化页后，可查看...
SQL优化技术
问题风险 考虑两个重要的时间点，如下图所示，一个简单的慢SQL趋势，T1代表我们发现数据库实例性能异常的时间点，从此刻开始着手慢SQL的优化，T2是优化过程完毕时间点，实例恢复常态。在传统的优化处理中，这一过程一般完全依赖人力驱动，...
RetinaNet优化案例1：使用Blade优化RetinaNet...
torch.jit.save(optimized_model,'optimized.pt')打印的优化报告如下所示，关于优化报告中的字段详情请参见 优化报告。Report:{"software_context":[{"software":"pytorch","version":"1.8.1+cu102"},{"software":"cuda","version":"10.2.0...
RetinaNet优化案例2：结合Blade和Custom C++ Operator...
torch.jit.save(script_model,'script_model.pt')torch.jit.save(optimized_model,'optimized.pt')打印的优化报告如下所示，关于优化报告中的字段详情请参见 优化报告。Report:{"software_context":[{"software":"pytorch","version":"1.8....
- 产品推荐
- 这些文档可能帮助您