Blink和Flink常见问题及诊断
CONNECTION CLOSED 可能是负载过大导致后端节点挂掉了，出现OOM（Out Of Memory）或者Coredump。解决方法：请先重试写入，如果不能恢复请找Hologres技术支持人员排查原因。报错：BackPresure Exceed Reject Limit 可能原因：通常是Hologres...
关键缺陷通知
2024年缺陷 2024年04月 等级 报错/问题描述 缺陷原因 出现/修复版本 规避建议 P2 使用datediff函数按照指定的单位计算两个时间差值时，偶发返回结果与实际结果相差1。该函数计算存在逻辑缺陷。出现版本：2.0.31版本。修复版本：2.1.27及...
表分区
移除旧数据最简单的选择是删除掉不再需要的分区：```sql DROP TABLE measurement_y2006m02;这可以非常快地删除数百万行记录，因为它不需要逐个删除每个记录。不过要注意上面的命令需要在父表上拿到 ACCESS EXCLUSIVE 锁。另一种通常更好的...
优化内部表的性能
产生OOM的原因有多种，比如计算复杂、并发量高等，可以根据不同的原因进行针对性优化，从而减少OOM。详情请参见 OOM常见问题排查指南。Total memory used by all existing queries exceeded memory limitation.memory usage for existing ...
FE参数配置
cache_last_version_interval_second 默认值：900 是否可以动态配置：true 是否为Master FE节点独有的配置项：false 说明：缓存结果时上一版本的最小间隔，该参数区分离线更新和实时更新。cache_enable_partition_mode 默认值：true 是否...
通用聚合函数
regr_count(c1,c2)无 regr_intercept(Y,X)求由(X,Y)确定的最小方差拟合的纵轴截距。reg_intercept(c1,c2)无 regr_r2(Y,X)求相关系数的平方。regr_r2(c1,c2)无 regr_slope(Y,X)求由(X,Y)确定的最小方差拟合的斜率。regr_slope(c1,c2)无 regr...
电商业务多活实践
本文示例以 挂掉杭州单元的productservice 来模拟故障，此时这些0~4990 ID的用户都无法使用服务，在MSHA控制台进行切流操作，这样这部分ID就能使用北京单元提供的服务了。可以看到购物车cartservice没做单元化，所以切流后的购物车就没数据...
2021年8月24日 产品更新动态
新增【挂机原因】节点类型，支持根据IVR路径自定义挂机的原因标签。有如下逻辑：可配置多个挂机原因节点，但向后只能连挂机节点-【挂机原因】节点中，可配置共7种挂机原因-挂机原因节点非必须，各个节点可以直接连到挂机节点，此时会打上...
常见退信内容分析
因为拒掉的原因很多，所以要从对方返还的信息来判断原因。我方服务器IP地址被对方拒掉。因为拒掉的原因很多，所以要从对方返还的信息来判断原因。请将退信在线提交我们检查核实。确定原因后，我们将联系对方解除屏蔽。Connection timed out...
Dataphin集成任务的日志中没有具体报错，最后任务执行...
问题描述 本文主要描述了Dataphin集成任务的日志中没有具体报错，最后任务执行失败“Dlink command exit with code:247”的原因和解决方法。问题原因 内存不足，导致任务挂掉了。解决方案 添加一下内存，然后重跑即可解决。适用于 Dataphin...
运行失败
在seek阶段M-R1-R2的R1到R2的过程，会将这些数据交给同样的Reducer去执行，导致数据倾斜，造成某个Reduce Job挂掉。小类目检索准备阶段GetSmallCategoryDocNum为空 报错信息 解决方法 该问题的主要原因是表当中某些字段的值为空，比如 ...
发布者最佳实践
默认情况下，云消息队列 Kafka 版 为了提升可用性，并不保证单个分区内绝对有序，在升级或者宕机时，会发生少量消息乱序（某个分区挂掉后把消息Failover到其它分区）。如果业务要求分区保证严格有序，请在创建Topic时选择使用Local存储。
查询Profile
该统计报告有助于从整体角度发现最耗时的Fragment，查询示例如下。SHOW QUERY PROFILE"/c257c52f93e149ee-ace8ac14e8c9fef9"\G*1.row*Fragments:┌─┐│[-1:DataBufferSender]│Fragment:0│MaxActiveTime:6.626ms│└─┘│┌─┐│[9:...
常见问题
断网后sdk error日志量太大/进程挂掉怎么处理 问题背景 链节点断开后，SDK不断重连，导致进程挂掉。日志量很大。解决方案 SDK从2.23开始，可以设置重连的频率，但是2.23之前的版本没法处理，可升级SDK版本。参数说明 示例一：...
ALTER TABLE
当给出多个子命令时，获得的锁将是子命令所要求的最严格的那一个。ADD COLUMN[IF NOT EXISTS]这种形式向该表增加一个新列，使用与 CREATE TABLE 相同的语法。如果指定了 IF NOT EXISTS 并且使用这个名字的列已经存在，则不会抛出错误。DROP...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
测试分析及调优
SQL SQL效率低下也是导致性能差的一个非常重要的原因，可以通过查看执行计划看SQL慢在哪里，一般情况，SQL效率低下原因主要有：类别 子类 表达式或描述 原因 索引 未建索引 无 产生全表扫描 未利用索引 substring(card_no,1,4)=′5378′...
Link Visual的常见问题
现象 两帧PTS差值 发帧速率 画面播放时OSD时间显示速率会比实际偏慢，一段时间后视频会加速快放，然后又回落到偏慢速率，潮汐变化明显 偏大 正常或偏快 画面播放时OSD时间显示速率会比实际偏快 偏小 正常或偏快 画面播放时OSD时间显示速率...
PS-SMART回归
最小分裂损失变化 分裂节点所需要的最小损失变化。该参数值越大，分裂越保守。特征数量 特征数量或最大特征ID。如果估计使用资源时，未配置该参数，则系统会启动SQL任务自动计算。全局偏置项 所有样本的初始预测值。随机数产生器种子 随机...
使用EXPLAIN
独立地抓取行比顺序地读取它们的开销高很多，但是不是所有的表页面都被访问，这么做实际上仍然比一次顺序扫描开销要少（使用两层计划的原因是因为上层规划节点把索引标识出来的行位置在读取之前按照物理位置排序，这样可以最小化单独抓取的...
漏洞管理常见问题
在您使用云安全中心修复Linux软件漏洞、Windows系统漏洞时，如果提示漏洞修复失败，请参考以下步骤进行排查和处理：说明 建议您针对以下表格中的说明，按照 从上到下 的顺序来排查漏洞修复失败的原因。问题原因 具体说明 处理方案 漏洞所在...
配置伸缩组
如果您选择 成本优化策略，还可以设置以下属性：组内最小按量实例数（台）：伸缩组所需按量付费ECS实例的最小台数，默认为0台。如果伸缩组内的按量付费ECS实例的台数小于该值，将优先创建按量付费实例。按量实例所占比例（%）：自动创建ECS...
常见报错及解决方案
该文档涉及场景问题的报错信息，如操作过程中出现报错，建议查看以下内容。...Q：部署集群时，失败并发生报错 Reconcile Yoda NLS failed A：发生此问题的原因有多种：yoda 没有正常工作，机器性能较差，导致检查超时等。修复方案 ...
监控指标常见问题
执行 insert、insert on conflict 或 update 命令时，耗时比较长即写入性能较差，通常原因是因为SQL没有走Fixed Plan，没有走Fixed Plan的SQL命令存在表锁，并发执行时会等锁，导致耗时较长，实时写入RPS 监控指标会显示写入类型为 insert...
商米：DevOps转型实现精益开发与自动化运维
工程能力建设作用于协作方式的转变 由于开发和运维在工作流程上割裂的原因，在团队协作看板上，也是割裂的，彼此完全基于不同的单元在组织工作。两周的迭代，第一周，需要主要集中在团队开发看板上，第二周，发布请求主要集中在运维发布...
分区表常见问题
分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计信息优化，建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区？一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他...
PolarDB处理TPC-H查询的挑战和机遇
由于历史原因，MySQL对于join的处理是重度依赖nest loop的，MySQL 8.0之前甚至没有hash join，直至现在也没有sort merge join，它专为nested loop join实现了两种优化：block nested loop join(BNL)：为了减少内表的重复扫描次数，在外表...
PolarDB并行查询
串行优化流程中做针对并行执行的补强，例如修正table扫描方式等，这也是上面性能数据中Q6/Q12会有超线性加速比的原因。全算子统计信息推导+代价计算，补充了一系列的cost formula和cardinality estimation推导机制。自适应执行策略 在早期...
Node应用内存泄漏分析方法论与实战
打开 sandbox 一看进程生命周期，果然如此,进程 1694 挂了，然后重新启动了一个 29649 进程。从上图中也可以看到RSS（实际使用物理内存）高达1880.93MB，至此基本上可以确定是内存泄漏了。查看内存占用曲线，内存呈现锯齿状，先一路飙升，...
DescribeScalingGroupDetail-查询指定伸缩组详情
1 OnDemandBaseCapacity integer 已有伸缩组内所需要的按量实例数的最小值，可能值：0~1000。即当伸缩组内按量实例个数少于该最小值时，系统将优先创建按量实例。30 ProtectedCapacity integer 伸缩组中处于保护中状态的 ECS 实例的数量。1...
RPC 常见问题
如果客户端或者服务端与 9600 端口的连接断开，则需要重启应用恢复，并进一步排查端口异常断开的原因。检查 RPC 服务端地址绑定。登录 RPC 服务端，运行以下命令：ps-ef|grep java 查看进程启动参数 rpc_bind_network_interface 或 rpc_...
DescribeScalingGroups-查询伸缩组列表
操作 访问级别 资源类型 条件关键字 关联操作 ess:DescribeScalingGroups Read ScalingGroup acs:ess:{#regionId}:{#accountId}:scalinggroup/{#ScalingGroupId} 无 无 请求参数 名称 类型 必填 描述 示例值 RegionId string 是 伸缩组所属...
阿里云Elasticsearch实例FAQ
Elasticsearch查询结果与实际存在时间差，如何处理？集群配置与变更问题 使用ES前，如何合理规划集群的资源和规格以及shard的大小和数量？如何查看ES实例的配置参数？变更集群配置会影响ES服务吗？变更节点数后，集群会自动重新规划分片吗...
岭回归预测
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
ALIYUN:ESS:ScalingGroup
属性名称 类型 必须 允许更新 描述 约束 MinSize Integer 是 是 伸缩组内ECS实例个数的最小值。取值范围：0~1000。当伸缩组内ECS实例数小于MinSize时，弹性伸缩会自动创建ECS实例。MaxSize Integer 是 是 伸缩组内ECS实例个数的最大值。...
iOS端
当出现onSDKError错误（SDK错误）时，需要根据错误码做不同的处理：如果错误码是805438211，表示设备性能差，编码和渲染帧率过低，需要给主播提示，并在app层停掉处理耗时长的业务逻辑（比如高级美颜、动画等）。当错误码是268455940或者...
聚合操作
kurtosis 样本峰度（无偏估计）。cat 按sep做字符串连接操作。tolist 组合为LIST。说明 不同于Pandas，对于列上的聚合操作，无论是在MaxCompute还是Pandas后端，PyODPS DataFrame都会忽略空值。这一逻辑与SQL类似。分组聚合 分组聚合操作...
如何结束 AHAS Agent 进程？
这一功能保证了进程可用性，避免进程因异常挂掉或机器重启等原因，需要手动拉起的情况。所以，您在服务器进程中结束 AHAS Agent 无法永久结束该进程，AHAS 会在定时检查后或机器重启时，自动拉起该进程。如果您某段时间不需要使用 AHAS ...
岭回归训练
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
基本概念
用户可以选择多个Mongos作为请求的入口，防止其中一个挂掉所有的MongoDB请求都无法操作。Shard MongoDB分片集群中的分片。单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard...
- 产品推荐
- 这些文档可能帮助您