什么是AI分布式训练通信优化库AIACC-ACSpeed
优化方法 基于上述问题，ACSpeed充分利用高带宽的nvilnk互联来实现AllReduce算法（例如GPU0与GPU3等），可以在单机通信出现瓶颈时，额外带来性能增益。针对上述V100实例的nvlink组合，ACSpeed实现一套n-trees算法，扩展单机内部不同tree的...
阿里云云上成本管理解决方案白皮书
成本可视化：通过监控预警感知到成本变化时，借助多种可视化工具进行成本分析，找到问题点或优化机会，常见的可视化分析工具包括各类成本或资源报表、预算与实际的对比分析、多维成本统计分析工具等，也可借助成本预测算法观察未来趋势。...
Cost-based SQL诊断引擎
解决这两个问题将面临非常巨大的挑战，可以将其归纳为如下四点：如何选择靠谱的优化推荐算法生成靠谱的建议？在SQL诊断优化领域，基于规则和基于代价模型是两种常被选择的优化推荐算法。基于规则 在目前许多产品和服务中，基于规则的推荐...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
Tair小版本发布日志
缺陷修复 修复开启全球多活后，集群架构实例在扩缩容时可能会小概率出现崩溃的问题。5.0.25 LOW 2023-01-13 功能优化 TairSearch全面支持分词器框架，更多信息请参见 Search分词器。TairSearch中的term和terms查询支持设置 lowercase 参数...
Nereids全新优化器
注意事项 暂不支持的功能 重要 如果开启了自动回退，则在新优化器出现问题的场合，会自动回退到旧优化器执行。不支持JSON、Array、Map、Struct 类型：查询的表含有这些类型，或者查询中的函数会输出这些类型时，不支持Nereids优化器。仅...
GBDT二分类V2
对于一些常见的二分类问题，都可以使用这个算法解决，模型拥有较好的性能，且拥有不错的可解释性。该算法支持稀疏向量格式与多列特征格式的输入。输入为稀疏向量格式时，仅能选择1个String类型的列，每条数据是以单个空格为分隔符的键值对...
美颜特效SDK通用问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
PolarDB MySQL版8.0.1版本发布日志
2023-08-22 问题修复 修复CTE中包含嵌套CTE，且有多处引用的情况下，JPPD优化功能崩溃的问题。修复关闭主节点并重启时，Slave节点未触发重连机制的问题。修复了在更新BLOB类型数据的语法中使用JSON_REMOVE函数时可能引发的问题。修复事务...
版本发布说明
修复特殊Project-Agg组合场景下，相关联子查询条件抽取异常导致优化器报错的问题。修复filter不完全推导的问题。修复partition hint不支持session变量语句的问题。修复INSERT IGNORE SELECT语句，SELECT子句中包含相关联子查询时，部分场景...
Range Clustering
对于多个Cluster Key的组合查询，只有所有Cluster Key都出现并且都为等值条件，才能达到优化效果。比如，对于下表只有查询条件包含 C1=x AND C2=y 才可以优化。单独的 C1=x 或者 C2=y 查询条件皆无法利用Hash Clustering特性加速。这是因为...
智能分析-异常根因定位分析利器
系统必要属性-可观测性 随着IT系统几十年的飞速发展，开发模式、系统架构、部署模式和基础设施等都经历了多轮优化，实现了更快地开发和部署效率，但整个系统也更加复杂。开发需要依赖更多的人员和部门，部署模式和运行环境也变得更加动态和...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
PolarDB处理TPC-H查询的挑战和机遇
本文深入分析了TPC-H查询中，可能存在的性能优化点和对应的优化思路，以及MySQL的现状和 PolarDB 做的一些改进工作。背景信息 TPC-H是世界上最为流行的OLAP workload的benchmark程序，只要是和查询处理过程相关的任务，大多会使用TPC-H作为...
Logview诊断实践
解决思路：当出现性能问题时，可以按照下面这些方法进行排查和优化：检查UDF是否出错。有时候是由于某些特定的数据值引起的，比如出现某个值的时候会引起死循环。MaxCompute Studio支持下载表的部分Sample数据到本地运行，进行排查，详情请...
iOS播放器SDK
解决列表播放切换视频会出现噪音问题。2020-11-17 日期 版本 修改内容 2020-11-17 5.2.2 优化不同帧率的视频播放的兼容性。解决倍速播放暂停（stop）后再次播放时，视频丢帧问题。优化播放MP4文件的兼容性。优化列表播放。优化音量和静音...
策略配置
体验优化规则 功能介绍 默认的行业算法模板天然存在一些体验问题，例如出现热点后相似标题内容集中推荐、陈旧的热点内容已失去价值仍然频繁推荐，体验优化规则针对这类问题提供解决方案。操作指南 新品强推：打开开关后，对于规则生效的...
SDK概述
解决OSS不支持Hadoop 2.7.2、OutputCommitter两种算法的问题。改善Hadoop和Spark读写OSS的性能。解决Spark作业打印的Log4j异常输出的问题。v1.1.2 解决作业慢读写OSS出现的 ConnectionClosedException 问题。解决添加OSS数据源时部分hadoop...
Link Visual SDK更新记录
云存播放器过滤非法帧数据避免视频花屏 优化点播获取当前播放进度在结束前可能返回0的情况 优化云存点播刚播放时立即暂停一段时间后再恢复时画面可能出现快放现象 解决设备录像点播在P2P下可能出现的花屏及跳帧问题 2023-6-1 Link Visual...
SQL性能问题
本文介绍有关SQL性能相关的常见问题。Flink全托管如何拆分SQL作业节点？Group Aggregate优化技巧有哪些？TopN优化技巧有哪些？有哪些高效去重方案？在使用内置函数时，需要注意什么？Flink全托管如何拆分SQL作业节点？在 作业运维 页面，...
高性能Flink SQL优化技巧
KEY VALUE函数使用单字符的分隔符 KEY VALUE的签名：KEYVALUE(content,keyValueSplit,keySplit,keyName)，当keyValueSplit和KeySplit是单字符，例如，冒号（:）、逗号（,）时，系统会使用优化算法，在二进制数据上直接寻找所需的keyName值...
横向MLP二分类/MLP多分类/MLP回归
一、组件说明 横向MLP二分类是指使用多层感知机（Multi-Layer Perceptron）进行二元分类问题的解决。多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，...
B-tree并发控制优化
为了解决上述的数据读写错误问题，InnoDB采用同时持有多个节点锁的方式来保证B-tree并发读写的一致性，并设计了加锁规则以防止多个线程访问B-tree结构时出现死锁的问题。在B-tree并发控制算法的实现上，InnoDB进行了多次优化迭代，改进的...
产品简介
高性能 针对多个参与方可能出现的高延迟、低带宽问题，产品在通信机制上进行了优化，如采用模型/梯度稀疏化的方案，实现了对大规模、分布式模型训练的可靠支持。针对部分数据异构和算力异构的问题，则采用了 client 模型个性化算法，优化和...
SQL优化技术
效果评估：效果评估算法会对被优化的SQL及相关SQL模板进行性能跟踪，避免出现性能恶化导致故障。性能跟踪的算法基于决策树模型，包括全量SQL追踪和慢SQL追踪等多维度追踪，对SQL模板优化后的性能指标与优化前进行对比，综合判断SQL模板在该...
V5.3.x系列实例版本说明
优化精确选择BKAJoin算法的规则，解决不可下推JOIN内存占用过高的问题。修复INSERT VALUE中包含转意字符时，下发SQL报错的问题。修复LEFT JOIN条件推导不全，导致分片计算报错的问题。修复驱动表较大时BKAJoin的StackOverFlow的问题。修复...
V3.3.47版本说明
更新内容 复购预测、货品推荐：优化算法模型、预测任务与关联的受众、行为数据集、商品数据集、商品池之间的删除先后逻辑，完善删除限制。优化新建算法模型的配置项说明，优化剩余可用模型训练任务数、预测任务数展示方式，优化其他多处...
EMR Hive功能增强
解决了读Delta表空目录时写DUMMY文件问题。升级HAS依赖至2.0.1。EMR-3.29.0 Hive 2.3.5 Hive升级至2.3.5.6.0。支持第三方Metastore的功能。增加datalake metastore-client。EMR-3.28.0 Hive 2.3.5 支持Delta 0.6.0版本。EMR-3.27.2 Hive 2....
HTAP中的行列混存查询优化
列存索引Plan优化过程 为了解决MySQL原生优化器在HTAP workload下的不足，IMCI针对HTAP workload下可能缺少索引、拥有新的执行模型以及输入复杂查询等情况，补充了新的优化流程来解决这些问题。在使用了列索引的查询中，优化器也通过基于...
技术类问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
自定义召回模型
为避免再次出现问题，在您解决问题之前，定时全量任务和手工触发全量均不会执行。可以在当前召回表的概览页面查看回滚进度，回滚结束前定时全量任务和手工触发全量都不会执行。当您的问题解决后，您可以在本页面单击“解除回滚状态”，来...
数据组织优化
Clustering服务针对大量文件导致的读写效率问题提供了优化解决方案。MaxCompute会根据系统状态自动触发执行，以保证Clustering服务的高效运行，减少对计算和I/O资源的消耗，从而解决读写放大的问题，从而提高整体的数据组织和处理性能。...
产品简介
AI算法方案POC 全托管或指导客户完成针对特定算法建模和模型训练、服务的功能，并提供基于算法建模、模型训练、模型预测、模型效果优化受阻时疑难问题诊断调优支持。AI标注人力服务 通过AI标注平台为客户提供AI数据标注全托管的人力服务。...
查看实验详情
成功创建实验后，您可以实时查看实验详情，包括实验的基本信息、Trial列表、各个Trial的运行详情以及日志。本文为您介绍实验中支持查看的详细...当Trial任务出现问题时，stderr日志提供了有关错误的详细描述，帮助您进行故障排查和错误处理。
文档更新动态（2022年）
自定义掩码算法优化，新增自定义替换值的脱敏算法、自定义正则表达式的脱敏算法。更新说明 项目安全策略 脱敏算法 2022年07月19日 资产质量新增全局角色定义 新增系统管理员、数据源管理员、安全管理员、资产质量负责人等。更新说明 添加、...
技术类问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
求解器用户手册
关于LP求解，当前我们线性规划（LP）的求解提供了Simplex（单纯形法）、IPM（Interior Point Method，内点法）、Concurrent（并发优化）算法。在求解时候，执行流程如下文的“执行流程”图片所示，会默认选Concurrent，您可以通过设置...
常见问题
该情况通常伴随 invalid table name:xxx.yyy 报错，主要原因是输出表命名出现问题。对于Proxima CE的输入输出表，其命名需要符合MaxCompute的命名规定，注意名称中不能带点号.，该符号为MaxCompute的特殊字符，会导致后续流程错误。通常...
- 产品推荐
- 这些文档可能帮助您