HTAP中的行列混存查询优化
在查询优化器中，最为广泛研究的是查询计划中的join order问题，选错join顺序可能极大地影响查询性能。同时，该问题依赖于以上三个组件的能力。HTAP负载对优化器的新诉求 MySQL是目前被广泛使用的OLTP数据库。在数据的存储、访问以及部分...
光伏发电异常检测提效
这将极大的缓解人工肉眼进行逐个筛查所带来的运维压力，提高运维的效率和质量。业务价值 仍以10 MW村级光伏电站为例，有智能算法的协作，基于85%准确率和召回率运算，假设200个逆变器有10个发电效能异常，算法将上报10~12个左右的可能异常...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
SQL性能问题
TopN优化方法 无排名优化 TopN的输出结果不需要显示rownum值，仅需在最终前端显示时进行1次排序，极大地减少输入结果表的数据量。无排名优化方法详情请参见 Top-N。增加TopN的Cache大小 TopN为了提升性能有一个State Cache层，Cache层能...
高性能Flink SQL优化技巧
TopN优化方法 无排名优化 TopN的输出结果不需要显示rownum值，仅需在最终前端显示时进行1次排序，极大地减少输入结果表的数据量。无排名优化方法详情请参见 Top-N。增加TopN的Cache大小 TopN为了提升性能有一个State Cache层，Cache层能...
区间检测
当某个服务出现异常，可以迅速定位问题，确保整个系统的稳定运行。示例：某工作网站的访问量在白天（例如10:00~18:00）访问量低于1000是异常的，但在夜间（例如22:00~06:00）访问量超过1000可能是被攻击了。在这种场景下，指标的正常水位会...
历史版本常见问题
本文介绍了 PolarDB-X 1.0 历史版本的常见问题以及处理建议。RDS主备切换后PolarDB-X1.0会报错一段时间 现象描述 PolarDB-X 1.0 与RDS的连接使用了连接池，连接池中保存了一部分连接。正常的RDS主备切换流程中，会对老的连接进行KILL操作，...
函数概述
数据探索函数 得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。说明 只支持华东2（上海）地域。相关性函数 相关性算子可以计算两组数据的相关系数，用于分析这两组数据的变化趋势是否存在关联关系。...
逻辑回归
模型地址 字符 算法参数 参数名 参数描述 是否必填 参数默认值 参数范围 惩罚类型 用于指定惩罚中使用的规范 否 L2 L2 无惩罚 正则强度的倒数 必须为正浮点数，与支持向量机一样，较小的值指定更强的正则化 否 1.0[0,99999999]是否使用截距...
图算法
图计算服务GraphCompute新增图算法分析功能，提供分析查询一体化解决方案，方便用户快速进行全图数据分析。功能介绍 图计算服务GraphCompute新增图算法功能，基于当前服务的数据进行算法执行，方便用户快速进行全图数据的分析。只需要开通...
HLL近似去重
结合极大似然估算的方法，发现在n和k_max中存在估算关联：n=2^k_max。当我们只记录了k_max时，即可估算总共有多少条数据，也就是基数。估算误差 假设试验结果如下：第1次试验：抛了3次才出现正面，此时 k=3，n=1。第2次试验：抛了2次才出现...
使用向量检索插件（aliyun-knn）
算法说明 在算法上，目前向量检索引擎已经支持了hnsw算法以及linear算法，适用于单机数据量小（全内存）的业务场景。两种算法性能对比如下。表 1.hnsw算法和linear算法性能对比 表格中为阿里云Elasticsearch 6.7.0版本环境实测数据，测试...
连接问题
本文介绍使用3.x和2.3.0版本的C Link SDK接入设备时，可能遇到的问题和解决方法。背景信息 如果您尚未接入物联网平台，推荐使用最新版本的SDK。更多信息，请参见 概述。为什么SDK传入的心跳间隔时间和MQTT Connect包的连接参数不一致？SDK...
ADP底座介绍
提供一整套健全强大的托管运维体系及可视化的健康观测能力，及时发现问题、解决问题，极大地降低运维门槛和人力成本，实现交付后运维阶段的省心省力。能够提供：可视化本地运维控制台：提供强大的运维控制能力，同时预置了监控看板，实现...
概述
极大值检测函数 ts_find_peaks 极大值检测函数用于在指定窗口中寻找序列的局部极大值。预测与异常检测函数 ts_predicate_simple 利用默认参数对时序数据进行建模，并进行简单的时序预测和异常点的检测。ts_predicate_ar 使用自回归模型对...
网络最大传输单元MTU
重要 PMTUD机制是以丢包为代价地协商MTU，只能保证网络连通性，构造和响应PMTU、以及对分片报文的处理，都会增加ECS系统内核与底层转发组件的资源开销，极大地降低性能。因此为了更好的性能，建议在MTU不匹配的通信场景下，通过 ...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
Linux系统常用内核网络参数介绍与常见问题处理
本文介绍常见的Linux系统内核网络参数及常见问题的解决方案。注意事项 在修改内核参数前，您需要注意以下几点：从实际需求出发，尽量有相关数据的支撑，不建议您随意调整内核参数。了解参数的具体作用，需注意不同类型或版本的环境中，内核...
查看集群日报与分析
Hive文件大小分布Top信息提供以下数据：Hive库空文件个数Top Hive库极小文件个数Top Hive库小文件个数Top Hive库中等文件个数Top Hive库大文件个数Top 说明 Hive小文件会导致NameNode压力以及分片问题，大量的小文件会严重拖累计算流程，...
石墨文档
本文以石墨文档为例，介绍如何借助函数...提高效率：石墨文档借助函数计算，开发人员只需集中精力与产品团队合作，无需考虑CPU密集型计算的负载均衡问题，不断提升业务价值，加快项目的迭代与上线的步伐，极大地提高了开发效率和进程稳定性。
石墨文档
本文以石墨文档为例，介绍如何借助函数...提高效率：石墨文档借助函数计算，开发人员只需集中精力与产品团队合作，无需考虑CPU密集型计算的负载均衡问题，不断提升业务价值，加快项目的迭代与上线的步伐，极大地提高了开发效率和进程稳定性。
Memcg后台异步回收
memcg后台异步回收功能被禁用时，memory.wmark_high 默认为一个极大值，从而达到永不触发后台异步回收功能的目的。memcg根组目录下不存在该接口文件。memory.wmark_low 只读接口，说明如下：当memcg内存使用低于该接口的值时，后台异步回收...
什么是AI分布式训练通信优化库AIACC-ACSpeed
优化方法 基于上述问题，ACSpeed充分利用高带宽的nvilnk互联来实现AllReduce算法（例如GPU0与GPU3等），可以在单机通信出现瓶颈时，额外带来性能增益。针对上述V100实例的nvlink组合，ACSpeed实现一套n-trees算法，扩展单机内部不同tree的...
前端监控常见问题
本文解答了关于前端监控的常见问题。计费相关 如何停止计费？如何设置消费限制？如何设置资源包预警？使用相关 为什么有些监控页面或API名称中出现了星号（*）？为什么页面访问量列表和页面访问速度列表不一致？为什么API日志中没有生成...
GBDT二分类V2
对于一些常见的二分类问题，都可以使用这个算法解决，模型拥有较好的性能，且拥有不错的可解释性。该算法支持稀疏向量格式与多列特征格式的输入。输入为稀疏向量格式时，仅能选择1个String类型的列，每条数据是以单个空格为分隔符的键值对...
AICS实现对SISO非积分对象的稳定控制
扰动比例系数主要反映了系统中主要未知扰动的比例（除测量噪声外），值越大，则MPC抗扰动的动作越强，取值范围是0~1，一般从较小值如0.1设置。扰动特性系数主要反映了系统中主要未知扰动对CV的影响特性，一般未知扰动对CV影响越快，这个值...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
技术类问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
常见问题
该情况通常伴随 invalid table name:xxx.yyy 报错，主要原因是输出表命名出现问题。对于Proxima CE的输入输出表，其命名需要符合MaxCompute的命名规定，注意名称中不能带点号.，该符号为MaxCompute的特殊字符，会导致后续流程错误。通常...
地形
地形和建筑遮挡问题示意图 地形子组件参数调整前 地形子组件调整参数后 参数调整后遮挡问题解决示意图 说明 目前建筑、道路、绿地、水系等要素并不是严格匹配地形高度的，所以当前因和地形高度不匹配导致的遮挡的问题，只能够通过参数调整...
地形
如下图地形遮挡建筑问题所示，此时需要调整地形算法中的 radius 参数（默认15m），由于地形起伏变化越大，radius 的参数值就需要对应调整的越大（调整成100m），配置参数完成后，即可切回到场景编辑器中，查看解决图层之间遮挡问题后的地图...
地形
如下图地形遮挡建筑问题所示，此时需要调整地形算法中的 radius 参数（默认15m），由于地形起伏变化越大，radius 的参数值就需要对应调整的越大（调整成100m），配置参数完成后，即可切回到场景编辑器中，查看解决图层之间遮挡问题后的地图...
闲鱼
本文介绍如何通过 函数计算，解决闲鱼研发耦合严重和运维复杂等问题。客户介绍 闲鱼是依托阿里电商体系的前台型业务，有非常独特的业务特点和用户诉求，在底层依托阿里系统的同时，在表现层和业务层需要探索适合闲鱼的、并且更加快速灵活的...
NLB压力测试的方法
压测工具的超时时间建议设置一个较小值，如5秒。因为超时时间太大，测试结果显示平均响应时间加长，导致不利于判断是否已经到达压测水位。超时时间调小，测试结果会体现在成功率上，便于快速判断压测水位。监听配置建议 压测时，监听配置...
FE参数配置
该配置目前主要用来解决PUBLISH_VERSION代理任务的重复发送问题,目前该配置的默认值是5000，是个实验值，由于把代理任务提交到代理任务队列和提交到BE存在一定的时间延迟，所以调大该配置的值可以有效解决代理任务的重复发送问题，但同时会...
技术类问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
Linux系统常用内核网络参数介绍与常见问题处理
本文介绍常见的Linux系统内核网络参数及常见问题的解决方案。注意事项 在修改内核参数前，您需要注意以下几点：从实际需求出发，尽量有相关数据的支撑，不建议您随意调整内核参数。了解参数的具体作用，需注意不同类型或版本的环境中，内核...
BE参数配置
当查询需要发送较大的bitmap字段时，可能会遇到该问题，此时可以通过调大该配置避免该错误。transfer_large_data_by_brpc 默认值：true 类型：Bool 说明：该配置用来控制是否在Tuple或者Block data长度大于1.8 GB时，将protoBuf request...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
生产者负载均衡
极大增加了服务端的存储压力，导致出现队列热点，不利于主题处理能力的水平扩展。因此，建议您在设计消息组时，尽量将消息分散开。例如，采用较离散的订单ID、用户名作为消息组的关键字，既能保证消息被分散到多个消息组中，又能保证同一...
- 产品推荐
- 这些文档可能帮助您