通过Spark SQL读写Delta外表
Delta是一种可以基于OSS对象存储的数据湖表格式，支持UPDATE、DELETE和INSERT操作。AnalyticDB for MySQL 湖仓版（3.0）和Delta表格式进行了整合，您可以通过Spark SQL读写Delta外表。本文主要介绍如何通过Spark SQL读写Delta外表。前提...
从Amazon Aurora MySQL迁移至PolarDB MySQL版
通过增量数据迁移可以实现在应用不停服的情况下，平滑地完成MySQL数据库的迁移。数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 Amazon Aurora MySQL 迁移对象的SELECT权限 迁移对象的SELECT权限 REPLICATION SLAVE、REPLICATION...
从RDS MySQL迁移至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），可以帮助您将RDS MySQL迁移至 PolarDB MySQL版。前提...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
数据库名称 目标AnalyticDB for MySQL数据库的名字。表组名 目标AnalyticDB for MySQL中的表组。表名 目标AnalyticDB for MySQL中的表名，投递过来的日志数据将存储在该表中。AccessKey ID 当前阿里云账号的AccessKey ID，请参见 获取阿里...
检测文件系统和块层的IO hang
为了准确检测出IO hang，Alibaba Cloud Linux 2和Alibaba Cloud Linux 3扩展核心数据结构，增加了在较小的系统开销下，快速定位并检测IO hang的功能。本文主要介绍实现该功能的接口以及接口操作示例。接口说明 接口 描述/sys/block/...
Alibaba Cloud Linux 2镜像发布记录
阿里云定期发布Alibaba Cloud Linux 2镜像的更新版本，以确保用户可以获取到最新的操作系统特性、功能和安全补丁。您可以通过本文查看Alibaba Cloud Linux 2镜像最新的可用版本及更新内容。背景信息 如无特殊声明，更新内容适用于云服务器...
XIHE BSP SQL开发
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过SQL开发编辑器或JDBC方式提交XIHE BSP SQL作业。本文介绍XIHE BSP SQL作业开发的适用场景、提交方法、常见配置参数及常见问题。前提条件 已在湖仓版（3.0）集群中创建Job型资源组。...
数据导入方式介绍
通过外表常规导入MaxCompute数据 通过外表常规导入HDFS数据 通过外表常规导入OSS数据 通过外表常规导入RDS MySQL数据 弹性导入 仅内核版本3.1.10.0及以上且已创建Job型资源组的 湖仓版（3.0）集群支持弹性导入数据。弹性导入可以大幅减少...
基础版Spark全密态计算引擎使用示例
cryptoTool decrypt decryption_config.json 在RDS MySQL数据库中查看解密后的数据。可看到数据明文的计算结果。SELECT*FROM adb_customer_output;返回结果：+-+-+-+-+|id|name|address|age|+-+-+-+-+|1|james|beijing|10|+-+-+-+-+
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
内核功能与接口概述
网络 文档链接 支持版本 说明 SMC使用说明 Alibaba Cloud Linux 3内核版本 5.10.60-9.al8.x86_64 及以上 Alibaba Cloud Linux 3操作系统增加了对SMC-R的支持，基于阿里云弹性RDMA技术，实现对TCP应用透明无损的替换，为内存数据库、RPC、大...
Flink数据导入
步骤三：数据验证 登录 AnalyticDB MySQL 目标数据库，来查看并验证源数据是否成功导入。步骤一：数据准备 在其中一个Flink节点的root目录下，执行 vim/root/data.csv 命令来创建一个名为data.csv的CSV文件。文件中包含的数据如下（您可以...
小查询自动识别与加速
AnalyticDB MySQL版 混合负载的查询背景下，大小查询混合排队，在大查询未执行结束并释放执行Quota前，小查询往往会被大查询阻塞。即使小查询自身执行时间不长，也会由于排队时间增长导致响应时间（RT）增长。本文介绍的小查询自动识别与...
非阻塞DDL
使用SysBench是为了绕过复杂的数据库基准设置，甚至在没有安装数据库的前提下，快速了解数据库系统的性能。关于如何使用SysBench，请参见 性能测试方法（OLTP）。测试环境 一个规格为8核64 GB的标准版 PolarDB MySQL版 8.0版本的集群。测试...
如何安装并启用高版本的curl？
背景信息 Alibaba Cloud Linux 2基于兼容性问题的考虑，不支持直接在系统中升级curl，因此提供了安装并启用 curl-7.61.1 版本的方式。操作步骤 远程连接ECS实例。具体操作，请参见 连接方式概述。运行以下命令，安装阿里云exp源。sudo yum ...
Alibaba Cloud Linux 3系统空载下load大于1的解决方案
问题原因 因容器资源统计增强功能的统计问题，导致系统 load 统计逻辑出现误差，进而造成您在系统空载的情况下，查看到系统平均 load（load averages）结果始终大于1。该缺陷只会造成系统对 load 的统计误差，实际没有增加系统负载，且对...
跨目录配额创建硬链接
背景信息 Linux系统支持三种模式的磁盘配额，分别为：user quota、group quota以及project quota。前两种是针对用户和组的，最后的project quota提供一种更细粒度的磁盘配额，细化到文件系统的目录和文件，使用project id将不同的目录和...
cgroup v1接口支持memcg QoS功能
内存子系统服务质量（memcg QoS）可以用来控制内存子系统（memcg）的内存使用量的保证（锁定）与限制，在社区版内核中只有 cgroup v2 接口支持该功能。Alibaba Cloud Linux 2（内核版本 4.19.91-18.al7 开始）和Alibaba Cloud Linux 3新增 ...
Query级别诊断结果
AnalyticDB MySQL版 的SQL诊断功能可以对SQL查询的Query、Stage和算子（Operator）级别的信息分别进行统计，再在统计信息的基础上进行诊断并提供调优建议。本文介绍如何查看和分析Query级别诊断结果。诊断结果类型 说明 查看Query级别诊断...
黑名单监控告警
操作步骤 连接分析型数据库MySQL版 创建黑名单表。通过以下SQL创建黑名单表 BLACK_LIST。CREATE TABLE black_list(id bigint,name varchar,image_url varchar,gender varchar,feature float[1024]COLPROPERTIES(DistanceMeasure='...
慢SQL
您也可以单击 专家服务，付费购买数据库专家服务，为您提供云数据库产品本身能力范围之外的专业的数据库专家服务，主要包括紧急救援、健康诊断、性能调优、护航保障、数据迁移等。单击目标SQL模板 操作 列的 限流，在 SQL限流 页面配置限流...
秒级加字段
查看通过Instant算法增加的列信息 对于 PolarDB MySQL版 5.7版本，INFORMATION_SCHEMA 数据库中新增了 INNODB_SYS_INSTANT_COLUMNS 表。该表记录了使用Instant算法增加的列信息，例如列名、列序号和默认值（二进制方式存储）等。您可通过...
CREATE VIEW
注意事项 AnalyticDB MySQL版 集群的视图与MySQL视图兼容性：3.1.9.0之前版本 AnalyticDB MySQL版 集群未兼容MySQL默认行为，当您的视图有新增或删除列的变更，在使用 SELECT*FROM;查询时，行为上会与MySQL不一致，检测到列数不相等，直接...
内核热补丁操作说明
您可以通过本文了解获取Alibaba Cloud Linux内核热补丁的方式，以及如何在Alibaba Cloud Linux实例内启用、禁用内核热补丁或禁用kpatch系统服务。背景信息 内核热补丁的相关操作说明如下：如何获取内核热补丁以及如何查看热补丁的具体信息...
如何解决Alibaba Cloud Linux 2中polkit内存泄露问题...
polkit是Linux系统中一个用于控制系统范围内权限的组件，它通常作为守护进程运行，并且与系统安全相关，所以polkit内存泄露可能导致安全问题和性能下降。本文介绍如何解决Alibaba Cloud Linux 2中polkit内存泄露问题。问题现象 符合以下...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言SDK开发包，调用 云原生数据仓库AnalyticDB MySQL版 的DescribeDBClusters接口（查询实例列表）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的参数及权限等...
DescribeKernelVersion-查询集群内核版本
调用DescrbeKernelVersion接口查看目标AnalyticDB MySQL版集群的内核版本信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无...
Alibaba Cloud Linux 2系统的ECS实例执行ss命令时返回...
在Linux系统中，该字段实际输出该listening socket全连接队列的最大容量，所以其值不应该为0。Send-Q Established:The count of bytes not acknowledged by the remote host.Listening:Since Kernel 2.6.18 this column contains the ...
实时存储引擎
Anti-Caching 与传统数据库的Caching机制不同，AnalyticDB MySQL版 基于Anti-Caching的设计，将内存作为主存，仅将冷数据淘汰到磁盘，磁盘扮演着备份角色。Anti-Caching的实现上可以分为以下三类：User-Space：使用应用层的语义优化Ad-hoc...
Alibaba Cloud Linux 2系统的ECS实例创建大量进程失败...
本文为您介绍Alibaba Cloud Linux 2系统的ECS实例创建大量进程失败的原因及解决方案。问题描述 Alibaba Cloud Linux 2系统的ECS实例中执行系统调用（fork/clone）时，进程创建失败，返回“-1 EAGAIN(Resource temporarily unavailable)”...
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
PolarDB MySQL版间迁移
说明 目前 PolarDB MySQL版 集群暂不支持升级MySQL版本至8.0版本，您可以创建一个新的 PolarDB MySQL版 集群（8.0版本），使用本方法迁移原集群的数据至新集群。跨版本迁移时，建议创建一个按量付费的 PolarDB MySQL版 集群来测试兼容性，...
全局一致性（高性能模式）测试工具和方法
测试工具 开源的mysqlsct工具可用于检验数据库集群的全局一致性（高性能模式）能力，该工具通过跨Session的写入、读取和结果对比的方式来测试数据库全局一致性（高性能模式）功能和性能。测试环境 测试的ECS和 PolarDB MySQL版 均在同一...
创建全文索引
支持 db_name.table_name 格式，区分不同数据库下相同名字的表。column_name 列名。列名以字母或下划线（_）开头，可包含字母、数字以及下划线（_），长度为1~127个字符。column_type 要添加的列的数据类型。至少有一列的数据类型为VARCHAR...
通过一键建仓同步至数仓版
已创建RDS MySQL数据库。更多信息，请参见 创建数据库。RDS MySQL数据库中已存在表数据。计费 一键创建RDS MySQL数据仓库时，系统自动通过DTS同步数据。DTS计费规则，请参见 计费概述。注意事项 数据同步过程中，若在源实例RDS MySQL中新增...
查询报错问题
若SQL自身无法进行优化，但依旧触发该错误，可联系分析型数据库MySQL版技术支持对单个分析型数据库MySQL版的系统默认值进行调整，此操作可能会造成数据库性能下降。查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后...
通过一键建仓同步至数仓版
已创建PolarDB MySQL数据库。更多信息，请参见 数据库管理。PolarDB MySQL数据库中已存在表数据。计费 一键创建PolarDB MySQL数据仓库时，系统自动通过DTS同步数据，DTS计费规则，请参见 计费概述。注意事项 数据同步过程中，若在源实例...
克隆集群
您可以根据 云原生数据仓库AnalyticDB MySQL版 源集群的已有备份集克隆一个 AnalyticDB MySQL版 新集群。本文介绍克隆 AnalyticDB MySQL版 集群的相关操作步骤。使用场景 在业务正式上线前，通常需要模拟一个和正式集群一样的环境进行测试...
PolarDB MySQL版间迁移
说明 目前 PolarDB MySQL版 集群暂不支持升级MySQL版本至8.0版本，您可以创建一个新的 PolarDB MySQL版 集群（8.0版本），使用本方法迁移原集群的数据至新集群。跨版本迁移时，建议创建一个按量付费的 PolarDB MySQL版 集群来测试兼容性，...
作业投递
操作步骤 配置作业投递规则有以下两种方法：云原生数据仓库AnalyticDB MySQL控制台配置：控制台操作简单，可以快速地配置作业投递规则。Workload Manager命令配置：Workload Manager命令可以更加灵活地配置作业投递规则，以满足定制化、更...
- 产品推荐
- 这些文档可能帮助您