MySQL分区表写入最佳实践
为了在您使用MySQL处理庞大数据集时优化写入查询性能，本文详细介绍了DataWorks数据集成将数据写入MySQL分区表的最佳实践。前提条件 已具备MySQL数据库，并在DataWorks中添加为数据源。具体操作，请参见 MySQL数据源。准备工作 创建源表，...
稳定性说明与使用限制
Schema变更 如果投递过程中在MaxCompute表中添加了新列，则新列只会被写入新分区，不会被写入旧分区以及当前分区。处理脏数据 错误项 是否计入失败条数 说明 分区错误 是 常见场景为分区不合法或分区列不存在。该条数据不会写入MaxCompute...
MaxCompute投递（新版）
Schema变更 如果投递过程中在MaxCompute表中添加了新列，则新列只会被写入新分区，不会被写入旧分区以及当前分区。处理脏数据 错误项 是否计入失败条数 说明 分区错误 是 常见场景为分区不合法或分区列不存在。该条数据不会写入MaxCompute...
与Linux实例磁盘空间相关的常见问题
通过df命令查看磁盘空间为负数 问题描述 使用Linux服务器时，有时通过执行 df-h 命令查看磁盘使用情况，显示负值。问题原因 Linux系统的磁盘分区有保留区的概念，会给root或指定用户预留5%或更大的空间，当使用到这块保留区的空间时，磁盘...
分区表系统视图
PolarDB PostgreSQL版 提供了系统视图，您可以使用系统视图来查看分区表的结构信息。PolarDB PostgreSQL版 提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。pg_partitioned_table 返回字段说明 列名 描述 partrelid ...
Node Labels特性使用
您可以使用命令 yarn node-list-showDetails 查看节点当前分区。Node Labels适用的场景？通常情况下，EMR集群不需要使用Node Labels特性。目前开源Hadoop YARN很多指标都没考虑到分区，只统计DEFAULT分区的状态数据，带来管理运维上的复杂...
OSS性能与扩展性最佳实践
如果您在上传大量文件（Object）时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间（Bucket）中的某个特定分区的情况。此时如果您的请求次数过多，会导致请求速率下降。出现此类问题时，建议您...
分区索引
数据分区策略 HASH分区 时间范围分区 多级HASH分区（高级用法）准备工作 使用分区索引前需要创建测试表，语句如下：CREATE TABLE IF NOT EXISTS search_table(user_id bigint,storeId varchar,goodsId varchar,goodsPrice smallint,...
分区表系统视图
PolarDB PostgreSQL版（兼容Oracle）提供了系统视图，您可以使用系统视图来查看分区表的结构信息。PolarDB PostgreSQL版（兼容Oracle）提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。ALL_PART_TABLES 返回字段说明...
选择镜像
已安装的CoreOS Container Linux在2020年05月26日后仍可继续使用，但是由于该操作系统已经结束生命周期，不会继续提供安全补丁。出于安全因素的考虑，阿里云不推荐您继续使用CoreOS Container Linux镜像。阿里云已上线Fedora CoreOS公共...
查看分区状态
当Kafka集群出现消息堆积、磁盘水位过高等异常情况时，可查看分区状态了解服务端的消息量及各个分区的消费进度，定位异常原因。前提条件 已创建Topic 操作步骤 登录 云消息队列 Kafka 版 控制台。在 概览 页面的 资源分布 区域，选择地域。...
ALTER TABLE…MOVE PARTITION
使用ALTER TABLE…MOVE PARTITION命令可将分区或子分区移动到不同的表空间中。语法介绍 ALTER TABLE…MOVE PARTITION命令有两种形式：第一种形式是将分区移动到一个新的表空间中：ALTER TABLE table_name MOVE PARTITION partition_name ...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版 ...
排查Linux实例CPU资源使用率高达100%的异常问题
查看Linux实例的命令修改记录 远程连接 并登录到Linux实例，执行如下命令查看当前Linux系统命令最近是否被修改过。确认系统命令的更改时间是否和CPU使用率出现100%的时间点吻合。stat/usr/bin/top 系统显示类似如下。依次执行 rpm 命令验证...
子分区模板
您只需在子分区模板中定义一次子分区描述符，然后将该子分区模板应用于表中的每个分区，从而快速批量地为表中的分区定义子分区描述符。注意事项 如果分区未指定子分区描述符，系统将默认使用子分区模板来定义子分区。如果分区已指定子分区...
在线分区维护
在分区维护过程中，通过 performance_schema.metadata_locks 表可以查看分区级别的MDL锁获取情况。示例如下：#在客户端1上输出tr表结构 SHOW CREATE TABLE tr\G*1.row*Table:tr Create Table:CREATE TABLE `tr`(`id` int(11)DEFAULT NULL,`...
出错提示“Btrfs has been removed”
问题原因 待迁移的操作系统使用了Btrfs文件系统，而迁移后Anolis/Alibaba Linux不再支持Btrfs文件系统，这会导致使用了Btrfs文件系统的硬盘分区中的文件在迁移后将无法读取，从而导致操作系统迁移失败。解决方案 远程连接ECS实例。具体操作...
Linux实例中本地网卡的DHCP配置检查与修复
在Linux实例中执行以下命令，检查并记录Linux实例已有的本地网卡。ls-al/sys/class/net/ 系统显示如下图，其中 eth0 为本地网卡。此处以一个本地网卡为例，如果您为ECS实例添加过辅助弹性网卡，则以实际情况为准。如果Linux实例只有一个...
手动扩容云盘数据卷
查看当前云盘挂载节点。登录 ECS管理控制台。在左侧导航栏，选择 存储与快照>云盘。找到MySQL应用对应的云盘 d-0jl0j5*及 d-0jlhaq*，分别单击云盘名称。在 云盘详情 页面的 挂载实例 列表中单击所挂载的实例，然后在 实例详情 页签查看...
手动扩容云盘数据卷
查看当前云盘挂载节点。登录 ECS管理控制台。在左侧导航栏，选择 存储与快照>云盘。找到Web应用对应的云盘 d-0jl0j5*及 d-0jlhaq*，分别单击云盘名称。在 云盘详情 页面的 挂载实例 列表中单击所挂载的实例，然后在 实例详情 页签查看实例 ...
扩容数据盘分区
执行以下命令查看磁盘信息及分区情况。fdisk-lu 返回示例如下，可以看到vdb为数据盘，大小为150 GiB，目前只有/dev/vdb1 一个分区，大小为70 GiB，分区类型为MBR分区（Type 取值为 Linux 表示MBR分区）。执行以下命令确认已有磁盘分区的...
Linux实例负载高问题排查和异常处理
本文档介绍Linux云服务器负载高导致ECS实例运行变慢、自动...故障处理 Linux系统ECS实例CPU使用率或CPU负载较高问题的排查及解决方案 如何查看Linux系统网络流量负载情况？如何查看Linux系统I/O负载情况？如何处理系统内存使用率过高问题？
在容器中使用Alibaba Cloud Linux镜像
阿里云提供了基于Alibaba Cloud Linux的官方容器（Docker）镜像，并且定期更新和维护，以包含最新的操作系统特性、功能和安全补丁。您可以根据您的实际需求选择合适的Alibaba Cloud Linux镜像版本，并在ECS实例中构建和部署容器化应用程序...
Alibaba Cloud Linux 2使用说明
本文主要介绍在Alibaba Cloud Linux 2操作系统中查看系统或内核参数、设置内核转储功能的操作步骤，同时提供了Debuginfo包、源码包以及实验性软件包的获取方式。查看或修改参数 查看或修改系统参数 Alibaba Cloud Linux 2在配置文件/etc/...
分区表常见问题
本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容，请搜索钉钉群号加群进行咨询。钉钉群号：24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
订阅Alibaba Cloud Linux 2安全漏洞（CVE）公告
软件包安全漏洞（CVE）修复在Alibaba Cloud Linux 2版本支持期限内会持续更新，您可以利用浏览器插件，订阅Alibaba Cloud Linux 2 CVE公告，方便快捷地查看CVE更新情况。背景信息 本文以Google Chrome浏览器为示例，安装RSS Feed Reader...
OPT_PARAM Hints
面向分区的连接当前只适用于连接条件包括所有分区键的情况，连接条件必须是相同的数据类型并且子分区集合需要1对1匹配。示例 不使用OPT_PARAM Hint：EXPLAIN(COSTS OFF)SELECT*FROM sampletable WHERE x;使用OPT_PARAM Hint，将 enable_...
OPT_PARAM Hints
面向分区的连接当前只适用于连接条件包括所有分区键的情况，连接条件必须是相同的数据类型并且子分区集合需要1对1匹配。示例 不使用OPT_PARAM Hint：EXPLAIN(COSTS OFF)SELECT*FROM sampletable WHERE x;使用OPT_PARAM Hint，将 enable_...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
分区表达式介绍
Dataphin数据质量分区表达式，用于控制质量规则按照数据产出日期匹配触发，系统内置了常用的分区表达式，也允许通过自定义方式进行个性化控制。本文为您介绍分区表达式格式说明、分区表达式计算逻辑、内置分区表达式类型以及常用业务示例...
常见问题
Linux实例磁盘空间满和inode满的问题排查方法 Windows实例内存分析工具的介绍 Linux实例IO负载情况的查询和案例分析 Linux实例df和du命令查看磁盘空间大小不同或为负数 开启Windows实例的内核转储（Kernel Memory Dump）功能 Linux实例的...
ECS部分操作系统即将停止支持
即将或已停止支持的操作系 第三方操作系统 版本 发布日期 停止支持日期 CentOS 7 2014-07-07 2024-06-30 Alibaba Cloud Linux 版本 发布日期 停止支持日期 Alibaba Cloud Linux 2 2019年03月 2024-03-31 说明 关于Alibaba Cloud Linux 2的...
跨目录配额创建硬链接
默认情况下，ext4文件系统中存在约束，不允许跨目录配额创建硬链接。但在实际中，某些特定场景有创建硬链接的需求，因此Alibaba Cloud Linux 2和Alibaba Cloud Linux 3提供定制接口，该接口能够绕过ext4文件系统中的约束，实现跨目录配额...
UPDATE
在分区表的情况下，更新一行有可能导致它不再满足其所在分区的分区约束。此时，如果这个行满足分区树中某个其他分区的分区约束，那么这个行会被移动到那个分区。如果没有这样的分区，则会发生错误。在后台，行的移动实际上是一次 DELETE ...
管理Partitions
在Milvus向量数据库中，创建Collection时系统会自动生成名为_default 的默认分区（Partition），用于存放未指定分区的插入数据。通过合理设置分区，可针对性地缩小查询范围，有效提升检索性能。本文为您介绍如何在Milvus中创建和管理分区。...
管理分区
表分区是指根据一定规则，...填写完毕后，您可以进入 表编辑器 的 SQL预览 页面，实时查看当前SQL语句，其中也包含Partition部分。如果SQL语句中未包含Partition部分，您可以单击 SQL选项，勾选 With PARTITION，即可包含分区信息的SQL语句。
RDS迁移至MaxCompute实现动态分区
调度执行迁移任务时，目标表的分区值会被自动替换为任务执行日期的前一天，默认情况下，您会在当前执行前一天的业务数据，这个日期也叫做业务日期。如果您需要使用当天任务运行的日期作为分区值，则需自定义参数值。自定义参数设置：用户...
变更表类型及分区策略（AUTO模式）
本文介绍了变更表类型（即在单表、广播表和分区表三者间进行相互转换）及分区策略（包括拆分函数或分区列）的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库（请参见 CREATE ...
为什么应用运行时进程突然消失了？
检查ECS实例是否挂载了Swap交换分区（ECS实例默认不挂载Swap交换分区），如果未挂载（阿里云ECS环境大多数OOM Killer的问题都因为未挂载Swap交换分区，相比性能，进程健康性更加重要）请搜索Linux挂载Swap交换分区的方法并自行挂载Swap交换...
- 产品推荐
- 这些文档可能帮助您