技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
Hive作业调优
并行运行 并行运行表示同步执行Hive的多个阶段。Hive在执行过程中，将一个查询转化成一个或者多个阶段。某个特定的Job可能包含多个阶段，而这些阶段可能并非完全相互依赖的，也就是可以并行运行的，这样可以使得整个Job的运行时间缩短。您...
日志位点监控
本文介绍了日志位点的监控信息和延迟情况，以及延迟的处理方法。PolarDB 中存在以下几个比较重要的WAL日志位点：主节点当前日志写入位点，可以通过 pg_current_wal_insert_lsn()函数查询。所有备节点中最小的日志回放位点，可以通过 polar_...
时空数据库版本发布记录
Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。Utility SQL 修复 ST_ImportIFC 函数导入时部分IFC数据IFCSpace不正确的问题。6.2 类别 说明 新增特性 新特性 Geometry SQL 新增参数化对象椭圆弧和贝塞尔曲线。Raster ...
时空数据库版本发布记录
Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。Utility SQL 修复 ST_ImportIFC 函数导入时部分IFC数据IFCSpace不正确的问题。6.2 类别 说明 新增特性 新特性 Geometry SQL 新增参数化对象椭圆弧和贝塞尔曲线。Raster ...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
PolarDB MySQL版5.7版本发布日志
2024-03-27 问题修复 修复TDE在fork创建子进程时，与RDMA内存不兼容的问题。修复在Buffer Pool进行缩容操作时，由于用户的大SQL长时间占用大量页面，导致后续的扩容请求无法进行的问题。修复Autoinc出现回退时，需要重启节点才能恢复的问题...
资源组
并行查询的后台并行子进程都属于发起查询的后台进程所属资源组。进程 由用户主动发起的用户连接进程（会话进程）。后端子进程：例如某用户的会话进程发起的并行查询，由并行查询调用的后端进程。其他一些系统辅助进程：background writer、...
灵骏常见问题
本文为您介绍智能计算灵骏的常见问题。如何创建、删除集群下的节点分组？您有两种方式为灵骏集群创建分组。创建集群时，为集群创建分组。更多信息，请参见 集群和分组配置。创建集群完成后，为已有的集群创建分组。在左侧导航栏，选择 资源...
工单
客服无法立即解答用户问题，需要与其他相关人员协助及追踪处理问题。工单创建后，会自动分配至相应的处理人员。1.工单模板配置 工单模板，主要包含工单的流程、处理时间、处理人、工单组件等内容。可以根据业务需要，设置多个工单模板，供...
离线同步任务调优
并发：从源并行读取或并行写入数据存储端的最大线程数。WAIT资源。Bytes的设置：单个线程的 Bytes=1048576，在网速比较敏感时，会出现超时现象，此时建议将Bytes设置的较小。查询语句是否建索引。目的端数据源 性能：CPU、内存、SSD 硬盘、...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
基因数据文件
可由对方通过阿里云访问控制（RAM）授权你访问存储数据的bucket（见常见问题中“基因分析平台能否跨账号访问OSS资源”），然后基因分析平台即可使用。其他公有云厂商数据 如果用户的基因数据存储在其他公有云厂商中，可以通过阿里云的 在线...
执行补数据并查看补数据实例（旧版）
具体写入的分区与执行的代码逻辑，与任务定义的代码有关。本文为您介绍旧版补数据如何执行补数据操作并管理补数据实例。背景信息 周期任务开发完成并提交发布后，任务会按照调度配置定时运行。如果您希望在指定时间段运行周期任务，可使用...
倍速转码公测结束，正式版上线
公测结束时间 2023年3月29日 正式版上线时间 2023年3月30日 功能介绍 将视频源切分为多个较小的片段后并行转码，可将转码速度提升5~30倍，显著缩短处理耗时，适用于对首发、时效性要求较高的资讯、赛事、重要内容场景。类型 说明 加速倍数 ...
OSS文件上传和下载失败的排查方法
OSS文件上传失败 当上传文件失败时，请参见以下操作进行排查处理：检查本地与OSS的网络是否存在异常。若存在网络故障，请使用ping命令测试与OSS的网络连通性，确保网络正常后再进行下一步排查。检查上传文件的大小是否超过限制。通过OSS...
发布单对接说明
为什么同一应用的发布单不支持并行 弹性场景 在 SAE 应用的发布、扩缩容场景下需要禁用弹性规则，否则会出现一系列不可预期的问题。如果此时有多个发布单并行，就会出现A发布单禁用了弹性，在A发布单未完结之前，B发布单又启动了弹性的情况...
使用Stage和Task详情分析查询
部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行执行，导致一些复杂SQL语句的查询耗时问题难以分析，您可以调用API或通过控制台使用Stage和Task详情进行慢查询问题分析。本文主要介绍如何使用Stage和Task详情分析查询。操作...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
迁移方案
本文为您介绍阿里云实时计算Blink独享或共享集群（Blink计算引擎和Bayes开发平台）的业务迁移至实时计算Flink全托管（Flink计算引擎VVR和开发平台VVP）时的迁移限制、迁移方案和常见问题。迁移限制 由于Blink作业的State和Flink的State无法...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
基本概念
合理的设置Table Group与Shard Count，其数据写入和查询分析处理可以得到更大的并行度，将计算资源充分使用，从而从根本上提高数据的存储与计算效率。反之如果Table Group和Shard数制定不当，很容易出现性能不如预期的情况，且无法从根本...
历史记录
本文介绍了SchedulerX产品在2022年以前发布涉及的新增功能、功能优化、重要问题修复及对应的文档，帮助您了解SchedulerX的历史发布动态。服务端 2021-12-01 新特性 新增API：指定机器。新增API：查询工作流。2021-06-02 新特性 支持应用...
修复节点池操作系统CVE漏洞
节点操作系统中的CVE漏洞可能带来集群数据泄露、服务中断等问题，对集群的稳定性、安全性、合规性造成威胁。您可以启用操作系统（OS）CVE漏洞修复功能，扫描节点上存在的安全漏洞，获得修复建议与方法，并在控制台上完成快速修复。前提条件...
计划内事件常见问题
若实例部署在双可用区，则会在首次切换后的120分钟内进行第二次切换，自动将主节点切换至原主可用区，避免实例与其他业务产生跨机房访问的情况。您无需进行任何操作。两次切换的时间间隔取决于首次切换后新备库的重建速度。
并行元数据锁同步
通过并行MDL同步功能，PolarDB 将MDL同步操作与Redo Log的解析操作解耦，实现了即使在等待MDL锁信息进行同步时，只读节点仍能继续解析并应用Redo Log。使用方法 该功能默认开启，无需额外操作。您可以在只读节点上使用如下SQL语句，获取...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...
如何选择应用端连接池
与 MariaDB 相似，PolarDB-X 计算节点收到查询请求后，会尝试从线程池中分配一个执行线程，用于处理查询请求。单个CN节点默认维护一个1024大小的线程池，如果并发查询数量超过线程池大小，后续请求会排队等待。由此可以得到以下公式：应用...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
2023年
无 优化器 优化分区非常多的分区表与ODPS外表 JOIN时，Explain耗时长的问题。无 缺陷修复 修复某些场景下ALTER TABLE Add Partition与Vacuum Full pg_index死锁导致实例不可用的缺陷。修复tdfunc插件中，NVL 函数处理NULL值异常导致...
计划内事件常见问题
若实例部署在双可用区，则会在首次切换后的120分钟内进行第二次切换，自动将主节点切换至原主可用区，避免实例与其他业务产生跨机房访问的情况。您无需进行任何操作。两次切换的时间间隔取决于首次切换后新备库的重建速度。
执行补数据并查看补数据实例（新版）
具体写入的分区与执行的代码逻辑，与任务定义的代码有关。本文为您介绍新版补数据如何执行补数据操作并管理补数据实例。背景信息 周期任务开发完成并提交发布后，任务会按照调度配置定时运行。如果您希望在指定时间段运行周期任务，可使用...
备份数据库
后续步骤 查看备份计划 恢复数据库 常见问题 Q：发起备份后备份集状态显示 java.lang.OutOfMemoryError：Java heap space 异常，如何处理？A：若备份库表存在表结构不合理、大表、大字段等情况，备份计划规格选择过小可能会导致后续备份...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
并行 VACUUM（垃圾回收）VACUUM 机制在 PolarDB PostgreSQL版（兼容Oracle）2.0版本 的数据库管理中非常重要，能够释放掉已经不再使用的表空间，以缓解常见的表膨胀问题。为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
- 产品推荐
- 这些文档可能帮助您