Alibaba Cloud Linux系统中与透明大页THP相关的性能...
透明大页THP（Transparent Huge Pages）是Linux内核中的一个通用特性，它可以自动将小页面（通常为4 KB）合并成大页面（通常为2 MB或更大），可以减少内存访问页表项PTE（Page Table Entries）大小和访问次数，同时减轻了转译后备缓冲器TLB...
Hudi概述
Merge On Read 使用列式文件格式（Parquet）和行式文件格式（Avro）混合的方式来存储数据。Merge On Read使用列式格式存放Base数据，同时使用行式格式存放增量数据。最新写入的增量数据存放至行式文件中，根据可配置的策略执行COMPACTION...
基于代价的查询变换
社区MySQL中的derived merge是基于规则的查询变换，这种情况下会把 d1 和 d2 两个表都merge到上层query block中。SELECT*FROM d1 JOIN f1 ON d1.c1=f1.c1 LEFT JOIN(SELECT d2.c2 d2_c2,f2.c3 f2_c3 FROM d2,f2 WHERE d2.c1=f2.c1)derived ...
Python SDK 快速开始
task)merge_task.Parameters.Command.CommandLine="python merge.py"merge_task.InstanceCount=1 merge_task.InputMapping[OSS_MOUNT]='/home/input' merge_task.OutputMapping['/home/output']=OSS_MOUNT#Create task dag.task_dag=DAG()...
Intel与AMD处理器实例性能测试
21.43%Cumulative merge count of primary shards-601 707 106-17.64%Min cumulative merge time across primary shard-0 0 0 min 0.00%Median cumulative merge time across primary shard-0.081167 0.060108-0.02106 min-25.94%Max ...
使用等保加固后的自定义镜像批量创建实例
当您的业务需要多台Alibaba Cloud Linux 2或者Alibaba Cloud Linux 3等保2.0三级版镜像的ECS实例时，您可以通过已完成等保加固的自定义镜像批量创建实例。该方式将节省每一台实例都需要完成等保加固配置的时间。前提条件 已创建了一台使用...
普通作业快速开始
count->merge[split]cmd=python split.py[count]cmd=python count.py nodes=3[merge]cmd=python merge.py 这里描述了一个多任务的作业，任务的执行顺序是 split>count>merge。关于 cfg 格式的描述，请看 多任务支持。提交命令 bcs sub-file...
JBD2优化接口
为解决使用JBD2过程中出现的异常，Alibaba Cloud Linux 2（内核版本 4.19.81-17.al7 开始）和Alibaba Cloud Linux 3对JBD2进行了优化。本文主要介绍优化JBD2的接口。背景信息 ext4作为最常用的日志文件系统之一，更新日志（journal）的内核...
NFS v4.x版本中可能存在的已知问题
本文介绍Alibaba Cloud Linux使用NFS协议过程中可能遇到的问题及解决方案。NFS v4.0版本中委托（Delegation）功能可能存在问题 问题描述 NFS委托（Delegation）功能在v4.0版本中可能存在问题。更多信息，请参见 NFS委托功能v4.0版本。说明 ...
proc/meminfo文件中的统计信息变更说明
Alibaba Cloud Linux 2（内核版本 4.19.91-22.al7 开始）和Alibaba Cloud Linux 3的/proc/meminfo 文件内的匿名页状态统计信息 Active(anon)和 Inactive(anon)发生了变化。如果您的应用程序正在使用该统计信息，统计信息的变化会导致变更...
Alibaba Cloud Linux系统的CVE-2021-33909安全漏洞...
本文为您介绍Alibaba Cloud Linux 2和Alibaba Cloud Linux 3系统的CVE-2021-33909安全漏洞内核热补丁修复方案。问题描述 在符合如下条件的Alibaba Cloud Linux实例中，存在CVE-2021-33909安全漏洞，特定场景下会造成系统宕机，且出现如下...
ClickHouse指标
Merge Memory clickhouse_server_merge_memory_usage Merge内存使用。单位：Byte。Active Data Part clickhouse_server_active_parts 活跃Data Part总数。Inactive Data Part clickhouse_server_inactive_parts 不活跃Data Part总数。Write...
增强容器资源可见性
从Alibaba Cloud Linux 2（内核版本 4.19.91-22.2.al7）和Alibaba Cloud Linux 3（内核版本 5.10.46-7.al8）开始，在内核层面提供了容器资源视图功能的相关接口，实现对容器资源的可见性增强。本文将对该功能的接口进行说明，并提供示例...
如何排查slab_unreclaimable内存占用高的原因？
slab_unreclaimable是指在Linux内存管理中由slab分配器分配的且被标记为不可回收（unreclaimable）的内存。当不可回收内存占用总内存的比例过高时，将会影响可用内存与系统性能。本文介绍如何排查Alibaba Cloud Linux系统slab_...
Alibaba Cloud Linux 2系统的ECS实例执行ss命令时返回...
本文为您介绍Alibaba Cloud Linux 2系统的ECS实例执行ss命令时返回的Send-Q字段值为0的原因及解决方案。问题描述 在符合如下条件的ECS实例中执行 ss-lnt 命令时，返回的Send-Q字段值为0。镜像：aliyun-2.1903-x64-20G-alibase-20190507.vhd...
全增量同步任务运维
您可以在DataWorks 运维中心 的 查看周期实例 页面查看该同步任务Merge实例的执行情况，如果Merge任务和强制重跑操作产生冲突，您可以：暂停强制重跑操作，等待Merge任务执行完成后，再执行强制重跑操作。冻结即将运行的Merge实例，等待...
开启或关闭IPv6
本文主要介绍如何开启或关闭Alibaba Cloud Linux 2操作系统中的IPv6。前提条件 选用的实例规格必须支持IPv6。更多信息，请参见 实例规格族。创建的实例必须在支持开通IPv6网段的地域下，并搭建了IPv6专有网络。具体操作，请参见 搭建IPv6...
配置blk-iocost权重限速
blk-iocost权重限速功能是Alibaba Cloud Linux对cgroup I/O子系统（blkcg）基于权重的磁盘限速功能的改进。它是一种I/O控制器，可以根据应用程序或进程的优先级为块设备上的I/O操作分配带宽，并且可以通过设置权重值来限制特定应用程序或...
Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的...
本文介绍Alibaba Cloud Linux 2系统的ECS实例中ext4文件系统的Buffer I/O写性能不符合预期问题的原因及解决方案。问题描述 在ext4文件系统中执行常规的缓存异步I/O（Buffer I/O）写操作时，可能会观察到性能表现不符合预期的情形。存在该...
Alibaba Cloud Linux 2系统的CVE-2021-22555安全漏洞...
本文为您介绍Alibaba Cloud Linux 2系统的CVE-2021-22555安全漏洞内核热补丁修复方案。问题描述 在符合如下条件的Alibaba Cloud Linux 2实例中，存在CVE-2021-22555安全漏洞，系统运行时出现系统宕机问题，且出现如下调用栈信息。镜像：...
修改TCP TIME-WAIT超时时间
在Linux的内核中，TCP/IP协议的TIME-WAIT状态持续60秒且无法修改。但在某些场景下，例如TCP负载过高时，适当调小该值有助于提升网络性能。因此Alibaba Cloud Linux 2（内核版本 4.19.43-13.al7 开始）和Alibaba Cloud Linux 3新增内核接口...
合并分区
语法说明 合并分区 通过 ALTER TABLE…MERGE PARTITION 命令将两个分区合并为一个分区，并在新分区中包含之前两个分区的内容。ALTER TABLE table_name MERGE PARTITIONS partition_name,partition_name INTO PARTITION new_part[TABLESPACE...
关闭IPVS的estimation功能
使用Linux的IPVS模块时，IPVS会默认启用其estimation功能，当服务器规格较大且Service数量多时（例如，容器Kubernetes大规模集群场景），该功能可能导致服务端的网络请求出现几十到上百毫秒的延时或引起网络抖动。Alibaba Cloud Linux镜像...
Alibaba Cloud Linux 2系统的ECS实例OverlayFS的...
问题描述 在符合如下条件的Alibaba Cloud Linux 2实例中，系统运行时出现系统宕机问题。镜像：Alibaba Cloud Linux 2.1903 LTS 64位 内核：kernel-4.19.91-22.2.al7及之前的内核版本 系统宕机，且出现如下调用栈信息：[49.804600]RDX:...
如何避免因cgroup引起的应用性能抖动？
控制群组（control group）简称为cgroup，是Linux的内核功能。系统通过cgroup可以对系统内的资源进行分配、管理、监控等操作。不合理的cgroup层级或数量可能引起系统中应用性能的不稳定。本文主要介绍问题现象以及如何避免该类问题的出现。...
Block IO限流增强监控接口
为了更方便地监控Linux block IO限流，Alibaba Cloud Linux 2（内核版本 4.19.81-17.al7 开始）和Alibaba Cloud Linux 3增加相关接口，用于增强block IO限流的监控统计能力。本文主要介绍新增接口及使用示例。背景信息 很多场景中您会用到...
HyperLogLog函数
查询和分析语句*|SELECT empty_approx_set()查询和分析结果 merge函数 merge函数用于聚合计算所有的HyperLogLog值。语法 merge(x)参数说明 参数 说明 x 参数值为HyperLogLog类型。返回值类型 HyperLogLog类型。示例 使用approx_set函数估算...
基于YUM的安全更新操作
背景信息 关于Alibaba Cloud Linux安全更新记录，请参见 Alibaba Cloud Linux 3安全公告 和 Alibaba Cloud Linux 2安全公告。Alibaba Cloud Linux安全更新根据CVE的通用漏洞评估方法（CVSS3）的评分，将安全更新分为以下四个等级：Critical...
分区合并
语法 ALTER { TABLE tbl_name|TABLEGROUP tg_name|TABLEGROUP BY TABLE tbl_name } merge_partition_specs_definition|merge_subpartition_specs_definition merge_partition_specs_definition:MERGE PARTITIONS part_name,part_name[,part...
Alibaba Cloud Linux 2系统的ECS实例中使用已释放的...
本文介绍如何解决Alibaba Cloud Linux 2系统的ECS实例中使用已释放的文件系统inode导致系统宕机问题。问题描述 在符合如下条件的Alibaba Cloud Linux 2实例中，系统运行时出现系统宕机问题。镜像：Alibaba Cloud Linux 2.1903 LTS 64位 ...
MergeShard
400 ParameterInvalid can not merge the last shard.无效merge。400 LogStoreWithoutShard logstore has no shard.Logstore没有Shard。500 InternalServerError Specified Server Error Message.内部服务调用错误。更多信息，请参见 错误...
任务类型
['count1','count2'],'count1':['merge'],'count2':['merge']} job_desc.DAG=task_dag 整个作业的任务执行顺序是：split 运行完成后，count1 和 count2 同时开始运行，count1 和 count2 都完成后，merge 才开始运行。merge 运行完成，整个...
SysAK 2.2.0版本导致运行DNF命令发生段错误，如何处理...
本文为您介绍Alibaba Cloud Linux 2/3系统的SysAK 2.2.0版本导致运行DNF（Dandified Yum）命令发生段错误的问题。说明 段错误（Segmentation Fault）是指在程序运行过程中，当尝试访问内存时违反了系统的内存访问规则而引发的一种错误。...
DML语句
语法 MERGE INTO tableIdentifier AS target_alias USING(sub_query|tableIdentifier)AS source_alias ON<merge_condition>WHEN MATCHED[AND]THEN[WHEN MATCHED[AND]THEN][WHEN NOT MATCHED[AND]THEN]<merge_condition>=A equal bool ...
MySQL一键实时同步至MaxCompute
附：查询数据 由于目前全增量Merge周期为一天，所以任务配置当天，我们只能在目标表查询到同步的全量数据，待第二天后，可查询到全增量Merge后的数据。查看全量数据写入情况 在数据开发界面找到ODPS SQL节点，通过命令查询表数据，查询数据...
MySQL一键实时同步至MaxCompute
附：查询数据 由于目前全增量Merge周期为一天，所以任务配置当天，我们只能在目标表查询到同步的全量数据，待第二天后，可查询到全增量Merge后的数据。查看全量数据写入情况 在数据开发界面找到ODPS SQL节点，通过命令查询表数据，查询数据...
Shard操作
例如，Merge之前存在如下两个Shard：ShardId:0 Status:ACTIVE BeginHashKey:00000000000000000000000000000000 EndHashKey:7FFFFFFFFFFFFFFF7FFFFFFFFFFFFFFF ShardId:1 Status:ACTIVE BeginHashKey:7FFFFFFFFFFFFFFF7FFFFFFFFFFFFFFF ...
推送评审模式
git push-o review=new 总共 0（差异 0），复用 0（差异 0），包复用 0 remote:+-+remote:|The following tips are provided by Codeup:|remote:+-+remote:|Merge request create failed.There exists a same merge request in progress:|...
压测指标和任务参数说明
Min cumulative merge throttle time across primary shards 跨主分片索引合并累积的时间最小值，也是指线程消耗CPU的时间总和。Median cumulative merge throttle time across primary shards 跨主分片索引合并累积时间的中值，也是指线程...
Delta Lake概述
如果您存在以下场景，可以使用Delta：实时查询：数据实时从上游流入Delta，查询侧即可查询该数据，例如，在CDC场景下，Spark Streaming实时消费binlog时，使用Delta merge功能，实时将上游的数据通过merge更新到Delta Lake，然后可以使用...
- 产品推荐
- 这些文档可能帮助您