极大值检测函数
极大值检测函数用于在指定窗口中寻找序列的局部极大值。ts_find_peaks 函数格式：select ts_find_peaks(x,y,winSize)参数说明如下：参数 说明 取值 x 时间列，从小到大排列。格式为Unixtime时间戳，单位为秒。y 数值列，对应某时刻的数据。...
清林云
使用效果 通过使用 Serverless工作流 简化了自动化流应用的开发和维护，极大地减少了开发时间和开发成本，并且直接拥有了阿里云 Serverless工作流 的成熟模式，使得自动化流上线之初，就拥有了完备的逻辑支持。很多自动化流的执行时间比较...
清林云
使用效果 通过使用 云工作流 简化了自动化流应用的开发和维护，极大地减少了开发时间和开发成本，并且直接拥有了阿里云 云工作流 的成熟模式，使得自动化流上线之初，就拥有了完备的逻辑支持。很多自动化流的执行时间比较集中，阿里云的...
开源Elasticsearch FAQ
建议您将单个分片存储索引数据的大小控制在30 GB以内，不要超过50 GB，否则会极大降低查询性能。根据上述建议，最终分片数量=数据总量/30 GB。适当提升分片数量可以提升建立索引的速度。分片数过多或过少，都会降低查询速度，具体说明如下...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
DM（达梦）数据源
DM（达梦）数据源作为数据中枢，为您提供读取和写入DM数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DM数据同步的能力支持情况。使用限制 离线同步支持读取视图表。DM Reader和DM Writer仅支持使用 独享数据...
数据倾斜调优
MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题分割成较小规模或容易处理的若干子问题，对这些子问题进行求解后将结果合并成...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Db2的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1024
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
热点散列
PolarDB-X 是如何有效的解决这类数据热点问题的？首先，新增一个列作为第二个拆分键。alter table orders partition by key(seller_id,id)partitions 5 这个拆分变更并没有改变orders表的数据分布，没有任何数据rehash，分区数还是5，将id...
Spark常见问题
通常不需要额外设置，当Executor日志出现 Cannot allocate memory 或OOM Killer报错时，需要调大该值。设置Driver内存。参数：spark.driver.memory。参数说明：代表Driver的内存大小。通常与 spark.driver.cores 保持 1:4 设置即可。当...
历史版本常见问题
版本范围 5.4.11-*5.4.12-*BLOB字段被Update时有概率出现乱码风险 现象描述 非下推update语句对Set子句中的BLOB类型数据处理存在问题，导致非下推update语句写入BLOB类型数据时按照Char类型进行了类型转换，产生不符合预期的结果。...
函数概述
数据探索函数 得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。说明 只支持华东2（上海）地域。相关性函数 相关性算子可以计算两组数据的相关系数，用于分析这两组数据的变化趋势是否存在关联关系。...
如何优化高并发IM系统架构
使用主键列自增功能，就不再需要队列服务，这样也就彻底解决了原架构的问题。原架构只能有一个队列处理同一个用户的消息，新架构可以多个队列并行处理，当一些用户的消息量突然变大时，也不会立即堵塞其他用户，而是将压力均匀分布给了所有...
ES创建索引模式失败|kibana使用报错
解决方案 可以修改kibana.yml配置文件中的参数server.maxPayloadBytes的值，该参数表示传入服务器请求的最大有效负载大小，默认为1M=1048576字节，可以修改为更大的值比如10485760，然后重新启动kibana。一般不建议修改该参数配置，因该...
使用Java SDK访问表格存储时出现...
当出现客户端访问超时的问题时，您需要通过检查网络连通性、服务器延迟、客户端是否出现Full GC问题等操作来解决该问题。问题现象 使用Java SDK访问表格存储时出现 Unexpected error:java.net.SocketTimeoutException 异常。报错示例如下：...
Nginx Ingress异常问题排查
排查思路 问题现象 解决方案 访问不通 集群内部Pod到Ingress访问不通 集群内访问集群LoadBalancer暴露的SLB地址不通 Ingress访问自己不通 无法访问Ingress Controller自己 无法访问TCP、UDP服务 添加TCP、UDP服务 HTTPS访问出现问题 ...
Memcg后台异步回收
memcg后台异步回收功能被禁用时，memory.wmark_high 默认为一个极大值，从而达到永不触发后台异步回收功能的目的。memcg根组目录下不存在该接口文件。memory.wmark_low 只读接口，说明如下：当memcg内存使用低于该接口的值时，后台异步回收...
Nginx Ingress异常问题排查
排查思路 问题现象 解决方案 访问不通 集群内部Pod到Ingress访问不通 集群内访问集群LoadBalancer暴露的SLB地址不通 Ingress访问自己不通 无法访问Ingress Controller自己 无法访问TCP、UDP服务 添加TCP、UDP服务 HTTPS访问出现问题 ...
字段标准
当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法。背景信息 字段标准又称为数据字典，可理解为全局字段管理。可将多个表中含义相同但字段名不同的内容进行关联，并对该...
403错误
解决方案：如果您需要远距离数据传输加速、加速上传和下载GB或TB级大文件以及非静态、非热点数据下载加速等场景，请开启传输加速服务。详情请参见 传输加速。InvalidSecurityToken The security token you provided is invalid 问题原因：...
常见问题
使用rsync同步时报错"input/output error"问题分析：ossfs与rsync同步使用本身会出现问题。此案例中，用户对一个141 GB的大文件进行cp操作，使磁盘读写处于非常高的负载状态，从而产生此报错。解决方案：如果想要将OSS文件下载到本地ECS，...
基于TairString实现高性能乐观锁
key_1的值是由最后一次写入决定的，到了t4时刻，App1对key_1的认知已经出现了明显的误差，后续操作很可能出现问题，这就是所谓的Last-Writer-Win。要解决Last-Writer-Win问题，就需要保证访问并更新String数据这个操作的原子性，或者说，将...
数据探索函数
本示例中设置横向距离为10，以输入数据的第一个极大值点为参考，横向距离为10以内的极大值点会被忽略，因此设置distance参数后的极大值更稀疏，对这些极大值出现时刻的设备数据进行分析会更有价值。SELECT FIND_PEAKS('{"distance":10}',1,...
应用接入常见问题
问题列表 访问KMS实例时出现no such host或not known报错 通过应用接入点访问KMS实例时，出现Forbidden.NoPermission报错 获取凭据值时出现This operation for key-xxxxxx is forbidden by permission system报错 访问或使用密钥时出现...
Dataphin同步任务速度低
5.如果输入是数据库类，非网络问题的话，一般是数据库查询性能问题：大表查询性能低，全表扫描，或者数据库负载陡增导致查询卡住等，如果该表有整形类型的主键或索引，则管道配置要添加切分键，且过滤条件使用的字段最好也是索引，左值不能...
应用场景
只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，极大地节省了成本，降低了技术风险。同时，OceanBase 数据库的分区表方案也可以使得用户...
0004-00000302
000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，此时如果您的请求速率过大，...
常见问题
您还可以修改参数 yarn.scheduler.capacity.<queue-path>.ordering-policy.fair.enable-size-based-weight，该参数默认值false，表示按used资源值从小到大排序，参数值为true时表示按照used或demand计算值从小到大排序。开启队列内抢占。...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
图片处理常见问题
图片处理完后背景色多了一条分割线 问题分析：图片中出现的并非是分割线，而是图片处理后色彩构成出现问题。原图是RGB的真彩色（ImageHeight":{"value":"2560""ImageWidth":{"value":"1440"）。经过图片处理后，像素被裁剪到h_1920,w_1080...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
共享内存通信（SMC）常见问题
问题原因 某些服务器实现上没有严格准守TCP规范，在处理TCP options时，可能重放TCP options，导致SMC协议识别出现问题。说明 A TCP implementation MUST(MUST-6)ignore without error any TCP Option it does not implement,assuming that...
常见问题
任务运行常见问题 如果在迁移运行过程中出现问题，您可以先查看任务运行日志。单机部署：运行日志的文件路径为 logs/ossimport2.log。分布式部署：运行日志的文件路径为 logs/import.log。执行任何命令均报错 UnsupportedClassVersionError...
技术类问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
参数调优建议
对于某些重要参数而言，不恰当的参数值会导致实例性能问题或应用报错，所以本文介绍一些重要参数的优化建议以减少您在设置参数时的疑虑。说明 参数的默认值请在 RDS管理控制台 查看。back_log 适用版本：8.0、5.7、5.6、5.5 修改完后是否...
Hologres SQL语句的常见问题
本文为您介绍编写和优化Hologres SQL语句时可能遇到的常见问题及解决方法。报错：Creating publication with table that without binlog is not supported now 报错：bigint out of range 报错：too many shards in this instance 报错：...
网络最大传输单元MTU
重要 PMTUD机制是以丢包为代价地协商MTU，只能保证网络连通性，构造和响应PMTU、以及对分片报文的处理，都会增加ECS系统内核与底层转发组件的资源开销，极大地降低性能。因此为了更好的性能，建议在MTU不匹配的通信场景下，通过 ...
CREATE TYPE
解决该问题的方法是先定义一个 shell type，也就是一种仅具有名称和拥有者但没有其他属性的占位符类型。这可以通过执行不携带额外参数的命令 CREATE TYPE name 来完成。之后，就可以用C语言编写的输入输出函数引用该 shell type。最终，...
CREATE TYPE
解决该问题的方法是先定义一个 shell type，也就是一种仅具有名称和拥有者但没有其他属性的占位符类型。这可以通过执行不携带额外参数的命令 CREATE TYPE name 来完成。之后，就可以用C语言编写的输入输出函数引用该 shell type。最终，...
- 产品推荐
- 这些文档可能帮助您