什么是AutoML
超参调优：Hyper Parameter Optimization简称HPO，是指手动或者自动进行超参数调优，而本文中特指是AutoML提供的对模型参数、训练参数等进行自动搜索调优的服务。它能帮您获取较优参数，提升模型效果，节省算法工程师调参的时间，让算法...
模型调优
模型调优 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果。...
Query级别诊断结果
AnalyticDB MySQL版 的SQL诊断功能可以对SQL查询的Query、Stage和算子（Operator）级别的信息分别进行统计，再在统计信息的基础上进行诊断并提供调优建议。本文介绍如何查看和分析Query级别诊断结果。诊断结果类型 说明 查看Query级别诊断...
查看查询属性与诊断结果
AnalyticDB MySQL版 的SQL诊断功能可以对SQL查询的Query、Stage和算子（Operator）级别的信息分别进行统计，再在统计信息的基础上进行诊断并提供调优建议。本文介绍如何在 AnalyticDB MySQL版 控制台上查看目标查询的属性与各级别的诊断...
配置Alibaba Blink实时模式资源
Alibaba Blink流批一体任务实时模式的资源配置支持配置任务的资源队列、引擎版本以及资源配置类型和自动调优。本文为您介绍如何配置Alibaba Blink流批一体任务实时模式的资源配置。操作步骤 请参见 实时模式配置入口，进入实时模式配置页面...
配置Alibaba Blink实时模式资源
Alibaba Blink流批一体任务实时模式的资源配置支持配置任务的资源队列、引擎版本以及资源配置类型和自动调优。本文为您介绍如何配置Alibaba Blink流批一体任务实时模式的资源配置。操作步骤 请参见 实时模式配置入口，进入实时模式配置页面...
AIRec智能推荐效果评估指南与策略调整介绍
六、调优方式 AIRec的推荐效果调优可以分为两类方式，策略调优与算法调优：策略调优 策略调优指的是使用AIRec产品内置的策略配置与运营工具，对推荐结果进行调整或定制，一般用于达成某些业务效果或运营目的（如提升推荐结果多样性、或...
使用执行计划分析查询
诊断结果 单击执行计划树中某个算子（如 Join[36148]），即可在右侧查看对应算子的 诊断结果 详情，包括诊断出的问题（如存在数据膨胀或Join的右表过大）以及对应的调优方案。更多关于算子诊断的详情，请参见 算子级别诊断结果。统计信息 ...
时序异常检测的常见问题
如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），参数调优请参见 分解类算法参数调优。如果您的数据通常通过阈值即可判断异常，那么推荐您优先尝试...
使用Grafana进行异常检测算法调优
如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），参数调优请参见 分解类算法参数调优。如果您的数据通常通过阈值即可判断异常，那么推荐您优先尝试...
如何开启模型训练
超参配置 企业可以通过参数配置来影响模型调优的过程，从而影响模型调优的效果，不同的参数配置训练的结果不同，一般建议使用默认配置。开始训练 预览你的训练配置，准备开始训练，开始训练将进入队列，可在模型管理列表刷新状态，同时，可...
使用Grafana进行异常检测算法调优
如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），参数调优请参见 分解类算法参数调优。如果您的数据通常通过阈值即可判断异常，那么推荐您优先尝试...
使用Grafana进行异常检测算法调优
如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），参数调优请参见 分解类算法参数调优。如果您的数据通常通过阈值即可判断异常，那么推荐您优先尝试...
算子级别诊断结果
AnalyticDB MySQL版 的SQL诊断功能可以对SQL查询进行Query、Stage和算子（Operator）级别的信息统计，再在统计信息的基础上进行诊断并提供调优建议。本文介绍如何查看和分析算子级别诊断结果。诊断结果类型 说明 查看算子级别诊断结果的...
Hive作业调优
作业调优方案 作业调优方向 调优方案 参数调优 内存参数 CPU参数 Task数量优化 并行运行 Fetch task 开启向量化 合并小文件 代码优化 代码优化 代码优化 数据清洗 读取表时分区过滤，避免全表扫描。数据过滤之后再JOIN。重复使用数据时，...
查询监控图和SQL列表介绍
如果某些查询的Stage个数较多，需要进行相应的调优。关于Stage的概念，请参见 查询流程和执行计划。ETL的写表行数 ETL相关SQL写出到目标表的行数。无 您可以在 SQL列表 页签下执行如下操作：支持的操作 说明 下载 单击 下载 即可将当前的...
分解类算法参数调优
本文介绍分解类算法（ostl-esd、istl-esd和istl-nsigma）的参数调优方法。背景信息 分解类算法（ostl-esd、istl-esd和istl-nsigma）适用于周期性数据，常见于QPS类数据，如每天或每周在相对固定的时刻出现峰值或者谷值的数据。在使用分解类...
Redis客户端异常如何进行系统内核参数调优
登录发生异常的机器，依次执行以下命令，修改tcp参数进行调优。本文中出现的参数值为示例参数，具体参数值请您根据自己的实际情况进行设置，关于参数的介绍请参见 Linux内核参数说明。sudo sysctl-w ...
导入/导出任务
若任务执行失败，您可以在SQL诊断页面，通过任务ID查询该任务，并进行诊断和调优。说明 任务ID即SQL诊断页面的查询ID。SQL 导入或导出任务执行的SQL语句。您可以单击 复制完整的SQL。相关API DescribeLoadTasksRecords-查询加载任务记录
常用参数调优
本文为您介绍Taildir Source、File Channel和HDFS Sink配置中的一些常用参数调优。Taildir Source 参数 描述 filegroups 将一个目录拆分为多个，增加Source读取并发。batchSize 默认值为100。一次性读取数据行数，适当调大该参数值可以提高...
何时选择升配
响应时间（RT）：RT指标反映的是单个SQL的性能，这类性能问题可以通过 SQL调优方法 等方法进行解决。容量（QPS）：容量瓶颈问题可以通过 PolarDB-X 1.0 实例升配来解决，通过升配来扩充容量的方式适用于低延时高QPS类型的数据库访问业务...
什么是AI通信加速库Deepnccl
Deepnccl通过底层Deepytorch实现了PyTorch框架的充分兼容和无感分布式训练性能优化，增加融合优化等额外调优手段。说明 如需了解Deepytorch的更多信息，请参见 什么是AI加速器Deepytorch。Deepnccl通信加速 接口层 在接口层，通过...
移动性能监控简介
性能优 支持大并发量的监控数据上报，及时响应，并提供分钟级和秒级刷新频率的实时大盘。时效性高 支持自动化实时监控，可视化呈现应用性能监控数据大盘，帮助用户实时了解应用的运行状态。诊断迅速 结合网络请求数据分析、页面加载性能、...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
2020年
全新UI升级，更好交互体验、更优性能。发布PTS官方Demo场景，更直观查看核心场景编排功能。PTS新增5万和10万规格的包月资源包。2020年07月 PTS推出短期包月资源包，可适用于短期需要频繁进行突击容量评估、瓶颈分析的场景。2020年06月 微...
PolarDB MySQL版与RDS MySQL性能对比
通过锁优化、IO路径优化、针对大表优化等内核层面的优化，实现了并发场景下的更优性能。说明 测试所用的产品为：不同规格的 PolarDB MySQL版 集群版 独享规格 集群。不同规格的RDS MySQL高可用版独享型规格实例（本地盘）。具体测试方法，...
自动机器学习（AutoML）
控制台操作 新建实验 AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。查看实验详情 成功创建实验后，您...
RDS与自建数据库对比优势
基于ESSD的RDS SQL Server进行了参数调优及相关适配，性能高于基于ESSD的ECS自建SQL Server。实现集群系列的难度较高，咨询成本较高，维护成本极高。依赖资深DBA，支出大，受制于人。比云计算硬件更新速度慢，性能一般都会低于云数据库。...
向量索引的lock策略
向量索引的lock策略配置 对于向量检索有性能要求的业务场景，可以通过修改在线表配置，将向量索引lock 内存，来提升检索效率，具体配置方法如下：在部署管理页面点击数据节点：在在线表配置下选择对应的索引表，点击编辑：在load_config 下...
调整innodb_flush_log_at_trx_commit和sync_binlog...
根据业务需求，您可通过调整参数取值进行实例调优，以在数据库性能和数据安全性之间取得平衡。背景 优化innodb_flush_log_at_trx_commit和sync_binlog参数的配置可以提高数据库的性能和数据安全性，参数作用如下：innodb_flush_log_at_trx_...
MSE注册配置中心和自建注册配置中心对比
易用性 系统参数已调优，支持页面修改全局参数，自动重启生效。针对每个节点手动修改配置文件，需按序重启，容易出现配置不一致，从而导致集群选主失败。效率低、风险高。升级和扩缩容 免去手动配置和升级，同时运维操作过程支持无损上下线...
什么是Deepytorch Training（训练加速）
针对NVLink互连拓扑的通信优化，可以通过扩展单机内部不同的N-Trees拓扑结构组合，实现拓扑调优并充分发挥多通道性能。例如，在通信数据量超过128 MB的场景下，NVLink互连拓扑优化方案相比NCCL原生在性能上提升了20%以上。多机优化 多机...
库表结构优化
本功能持续收集SQL查询的性能指标及其使用到的数据表、索引等信息，并进行算法统计分析，自动给出调优建议，减少用户手动调优的负担。背景信息 随着各类数据分析业务的丰富和发展，数据库所承载的查询数量和复杂度持续增加。库表结构的设计...
什么是AI分布式训练通信优化库AIACC-ACSpeed
通信算法autotuner 问题分析 一次模型的训练在不同的实例、网络环境下具有不同的最优通信算法，采用先验的方式无法做到实时网络环境下的最优性能。优化方法 针对上述通信算法实现autotuner，包括warmup、多维度perf_time统计以及top_k_algo...
数据压缩对性能的影响说明
确认对业务影响不大的情况下，再变更线上正在服务的集群 开启数据压缩后的调优手段：开启压缩后，虽然对性能的影响比较大，但是可以通过 索引表加载策略，抵消部分影响，配置方式如下：在cache策略中，load_config>load_strategy_param添加...
数据压缩对性能的影响说明
确认对业务影响不大的情况下，再变更线上正在服务的集群 开启数据压缩后的调优手段：开启压缩后，虽然对性能的影响比较大，但是可以通过 索引表的加载策略，抵消部分影响，配置方式如下：在cache策略中，load_config>load_strategy_param...
迁移方案
如果业务延时性能不满足业务需求，则需进行调优，您可以开启Autopilot自动调优功能。详情请参见 配置自动调优。业务稳定性验证 业务稳定性和数据质量同样重要，任务的稳定性通常要求实现较长时间的平稳运行（建议至少7天）。进入稳定性观察...
调优原理
SQL调优的过程，就是通过分析SQL的执行计划、各阶段运行时长等信息，找出导致SQL执行慢的原因，继而解决问题。基本原理 PolarDB-X 1.0 是一个支持计算存储分离架构的数据库产品。当一条查询SQL发往 PolarDB-X 1.0 节点时（此SQL也称为逻辑...
功能与优势
对于反压、Job异常、TM失联等常见问题提供智能化诊断和快速日志定位分析，给出调优或者修改建议，并连动自动调优能力帮助您定位问题。高可用保障 原厂运维服务兜底，SLA 99.9%保证。全链路自动容错能力，支持JobManager容错，系统无单点，...
企业级状态后端存储配置
本文为您介绍在使用企业级状态后端存储GeminiStateBackend时，可能会用到的一些调优参数。背景信息 在大部分场景下，基于自适应调参功能，GeminiStateBackend会自动调整参数而不需要您手动配置。您只需要根据业务场景，调整一些基本配置，...
- 产品推荐
- 这些文档可能帮助您