Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
使用跨机并行查询加速索引创建
跨机并行查询功能还可以用于加速构建B-tree索引，同时支持加速创建B-Tree索引的GLOBAL索引。本文介绍工作原理以及如何使用该功能加速索引构建。原理介绍 PolarDB PostgreSQL版（兼容Oracle）在执行索引构建时，会首先扫描待构建索引的基表...
使用跨机并行查询加速索引创建
跨机并行查询功能还可以用于加速构建B-tree索引，同时支持加速创建B-Tree索引的GLOBAL索引。本文介绍工作原理以及如何使用该功能加速索引构建。原理介绍 PolarDB PostgreSQL版（兼容Oracle）在执行索引构建时，会首先扫描待构建索引的基表...
使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
重启变更报错：集群状态不健康或存在close索引，不能...
本文介绍重启变更报错的详细说明、可能原因及解决方案。报错说明 当您触发了Elasticsearch实例重启变更时，系统提示“集群状态不健康或存在close索引，不能执行当前操作，建议待集群状态稳定或开启已关闭的索引后再试”。问题原因及解决...
修复节点池操作系统CVE漏洞
如果您的CVE漏洞修复时需要通过重启节点来实现，当ACK需要重启节点时，会在重启节点前执行本节点的排水操作。集群水位：水位不宜过高，需确保有充足的Pod分配空间，用于排水操作。为保证集群高可用，建议您打开此开关后，通过节点池扩容...
Persistent Buffer Pool
PostgreSQL为实现进程间并行计算设计的共享内存区，可以动态扩展。Process Global Area：进程工作使用的内存区。包含以下两部分。Memory Context。逻辑直接控制的内存。内存划分如图所示：其中，Shared Buffer Pools在 PolarDB PostgreSQL...
PolarDB HTAP实时数据分析技术解密
PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel Query)，在查询数据量到达一定阈值时，会自动启动并行执行。在存储层将数据分片至不同的线程，多个线程并行计算。并将结果流水线汇总到总线程。最后，总线程做些简单...
Persistent Buffer Pool
PostgreSQL为实现进程间并行计算设计的共享内存区，可以动态扩展。Process Global Area：进程工作使用的内存区。包含以下两部分。Memory Context。逻辑直接控制的内存。内存划分如图所示：其中，Shared Buffer Pools在 PolarDB PostgreSQL...
2022年
ST_Percentile 2022年1月 优化 并行计算 ST_SummaryStats和ST_BuildHistogram函数支持并行计算能力。无 2022年1月 ST_ExportTo函数 ST_ExportTo函数在导出数据时，如果目标文件已存在，返回false取代报错消息。无 2022年1月 ST_ImportFrom...
控制台发布记录
下载备份文件 从备份文件恢复到自建MySQL数据库 列存索引多机并行执行 列存索引多机并行是由多个只读列存节点组成的一个多机执行组，并提供多机并行执行能力。适用于以下场景：通过多机并行的资源弹升能力扩展CPU和IOPS，降低查询时延。...
预案管理
您可以选择添加并行步骤或导入并行步骤，操作步骤如下：添加并行步骤：单击 添加并行步骤，在右侧弹出的节点列表中选择原子操作，并根据界面提示配置原子操作信息。导入并行步骤：单击 导入并行步骤，在右侧弹出的预案列表中，从已有预案中...
计算层变量
变量名 是否重启 默认值 范围 备注 PLAN_CACHE 否 FALSE[TRUE|FALSE]计划缓存的开关。ENABLE_RECYCLEBIN 否 FALSE[TRUE|FALSE]开启回收站的开关。SHOW_TABLES_CACHE 否 FALSE[TRUE|FALSE]是否对 show tables 结果做缓存。MERGE_CONCURRENT ...
基本概念
在用户的运行中，普通计算任务对应一个计算作业，而并行计算任务则会包含多个计算作业。同时计算作业在失败后，可由平台智能重启调度，从而生成新的计算作业。模板/Template 用于批量创建运行任务的模板，包含使用的应用和实体表格信息，...
Binlog Parallel Flush
修改本参数立刻生效，不需要重启实例。优化效果 测试环境 选取RDS MySQL四种不同规格做测试对比，如表格所示。RDS产品 版本号 CPU&内存 存储类型 存储空间 RDS MySQL 8.0（内核小版本20230930）16核 32GB ESSD PL1 1000 GB 16核 32GB SSD ...
5.6/5.7/8.0版功能对比
❌ 大查询优化（Parallel Query）功能 集群版 Hash Join的并行加速 ❌ Semi-Join的并行加速 ❌ Window Function的并行加速 ❌ ROLLUP的并行加速 ❌ OSS外表 功能 集群版 通过OSS外表访问OSS数据 ❌ 基于OSS外表的单表多文件查询 ❌ 将本地...
2019年
无 优化 Worker因为server负载高被误guarantined，可以自动恢复，不同重启客户端。分布式模型子任务详情，运行中可以真实显示每台机器正在运行的子任务数。Master节点挂了，server会负责清理slave节点的资源，防止内存泄漏。无 1.0.0，2019...
通过配置文件管理管道
阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍如何通过配置文件管理管道，包括创建管道、修改管道、复制管道和删除管道。前提条件 您已完成以下操作：创建阿里云Elasticsearch实例。具体操作，请参见 创建阿里云...
创建任务工作负载Job
重启策略 仅支持不重启（Never）和失败时（OnFailure）。可选：在 标签和注释 区域，单击 添加 设置容器组的标签和注释。参数 描述 Pod标签 为该Pod添加一个标签，标识该应用。Pod注解 为该Pod添加一个注解（Annotation）。单击 创建。步骤...
任务管理
说明 正在执行任务的机器重启，任务会变成失败状态，如果想立即重跑，可以配置该参数。0 实例失败重试间隔 通用 每次失败重试的间隔。单位：秒。30 实例并发数 通用 同一个Job同一时间运行的实例个数。1表示不允许重复执行。1 子任务单机...
任务管理
说明 正在执行任务的机器重启，任务会变成失败状态，如果想立即重跑，可以配置该参数。0 实例失败重试间隔 通用 每次失败重试的间隔。单位：秒。30 实例并发数 通用 同一个Job同一时间运行的实例个数。1表示不允许重复执行。1 子任务单机...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
闪回表
显示结果如下：sum-50005000(1 row)使用指南 闪回表功能依赖闪回日志和快速恢复区功能，需要设置 polar_enable_flashback_log 和 polar_enable_fast_recovery_area 参数并重启。其他的参数也需要按照需求来修改，建议一次性修改完成并在...
FixNodePoolVuls-修复节点池漏洞
max_parallelism long 否 轮转修复时的最大并行度，最小值为 1，最大值为节点池节点数量。1 auto_restart boolean 否 是否允许重启。true 返回参数 名称 类型 描述 示例值 object task_id string 修复任务 ID。T-60fea8ad2e277f087900*示例...
闪回表
显示结果如下：sum-50005000(1 row)使用指南 闪回表功能依赖闪回日志和快速恢复区功能，需要设置 polar_enable_flashback_log 和 polar_enable_fast_recovery_area 参数并重启。其他的参数也需要按照需求来修改，建议一次性修改完成并在...
闪回表
显示结果如下：sum-50005000(1 row)使用指南 闪回表功能依赖闪回日志和快速恢复区功能，需要设置 polar_enable_flashback_log 和 polar_enable_fast_recovery_area 参数并重启。其他的参数也需要按照需求来修改，建议一次性修改完成并在...
FixNodePoolVuls-修复节点池漏洞
max_parallelism long 否 轮转修复时的最大并行度，最小值为 1，最大值为节点池节点数量。1 auto_restart boolean 否 是否允许重启。true 返回参数 名称 类型 描述 示例值 object task_id string 修复任务 ID。T-60fea8ad2e277f087900*示例...
部署前检查
服务 节点环境 节点类型 服务器配置 数量（个）备注 MPC 测试 训练节点 8 核 16 GB，磁盘空间 500 GB 以上 1 期望多模型并行训练，需增加机器。预测节点 1-生产 训练节点 1 特征维度 100 以上，建设升级配置。预测节点≥2-FL 测试 训练节点...
AliSQL内核小版本发布记录
AliSQL是RDS MySQL的内核，除了为用户提供MySQL社区版的所有功能外，还提供了企业级备份恢复、线程池、并行查询等类似于MySQL企业版的诸多功能，赋予了RDS MySQL安全、备份、恢复、监控、性能优化、只读实例等各项能力。本文介绍AliSQL的...
ePQ支持分区表查询
ePQ不仅能够对普通表进行高效的跨机并行查询，对分区表也实现了跨机并行查询。ePQ对分区表支持的基础功能如下：对分区策略为Range/List/Hash的分区表进行并行扫描。对分区表进行索引扫描。对分区表进行连接查询。此外，ePQ还支持了部分与...
ePQ支持分区表查询
ePQ不仅能够对普通表进行高效的跨机并行查询，对分区表也实现了跨机并行查询。ePQ对分区表支持的基础功能如下：对分区策略为Range/List/Hash的分区表进行并行扫描。对分区表进行索引扫描。对分区表进行连接查询。此外，ePQ还支持了部分与...
Spark
例如：%spark case class People(name:String,age:Int)var df=spark.createDataFrame(List(People("jeff",23),People("andy",20)))df.createOrReplaceTempView("people")%spark.sql select*from people Spark SQL解释器还支持并行运行，即...
常见问题
重启集群服务（FE、BE）。如何查看日志？日志目录通常在以下路径：FE/opt/apps/STARROCKS/starrocks-current/fe/log/mnt/disk1/log/starrocks/BE/opt/apps/STARROCKS/starrocks-current/be/log/mnt/disk1/log/starrocks/如何 使用StarRocks...
将节点容器运行时从Docker迁移到containerd
重启节点，节点就绪（设置节点为可调度）。注意事项 一般情况下，您的工作负载不依赖于容器运行时，且Docker本身的后端也是调用的containerd，因此，理论上在完成迁移后您的工作负载将不受影响。重要 建议您先在测试环境中进行迁移测试，...
2022年
无 PX Analyze功能 新增polar_px_enable_explain_allstat参数，用于并行查询场景下，配合 explain analyze 命令打印出每个worker的执行情况，包括每个worker处理的tuple数量，耗时等。新增polar_px_explain_memory_verbosity参数，用于并行...
为Dubbo服务配置标签路由
应用场景 多版本开发测试 多个版本并行开发时，需要为每个版本准备一套开发环境。如果版本较多，开发环境成本会非常大。流量隔离方案可以在多版本开发测试时大幅度降低资源成本。使用基于标签路由的全链路流量隔离机制，可以将特定的流量...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
为Spring Cloud服务配置标签路由
应用场景 多版本开发测试 多个版本并行开发时，需要为每个版本准备一套开发环境。如果版本较多，开发环境成本会非常大。流量隔离方案可以在多版本开发测试时大幅度降低资源成本。使用基于标签路由的全链路流量隔离机制，可以将特定的流量...
- 产品推荐
- 这些文档可能帮助您