数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
DBeaver
背景信息 DBeaver是一款免费、开源（GPL）的专门为开发人员和数据库管理员提供的通用数据库工具。DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行...
通过外表导入至数仓版
您可以根据业务需要选择如下几种方式导入数据（分区表导入数据语法与普通表一致，如下示例中以普通表为例）：（推荐）方式一：使用 INSERT OVERWRITE 导入数据。数据批量导入，性能好。导入成功后数据可见，导入失败数据会回滚，示例如下。...
通过外表导入至湖仓版
返回结果如下：+-+-+-+-+|id|name|age|dt|+-+-+-+-+|1|james|10|2023-06-15|2|bond|20|2023-06-15|3|jack|30|2023-06-15|4|lucy|40|2023-06-15|+-+-+-+-+4 rows in set(0.35 sec)在 AnalyticDB MySQL 中创建数据库。如果有已创建的数据库，...
导出至OSS
在 adb_demo 数据库中创建外表，详情请参见 不带分区的数据文件创建OSS外表。根据外表类型选择执行写入语句，将源数据写入到步骤2创建的外表中。不同的外表类型支持的语法，请参见 未做分区的普通外表语法支持 和 分区外表语法支持。待步骤...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
实时存储引擎
Anti-Caching 与传统数据库的Caching机制不同，AnalyticDB MySQL版 基于Anti-Caching的设计，将内存作为主存，仅将冷数据淘汰到磁盘，磁盘扮演着备份角色。Anti-Caching的实现上可以分为以下三类：User-Space：使用应用层的语义优化Ad-hoc...
Jupyter交互式作业开发
AnalyticDB for MySQL Spark支持使用Docker镜像快速启动Jupyter交互式开发环境，帮助您使用本地Jupyter Lab连接 AnalyticDB for MySQL Spark，从而利用 AnalyticDB for MySQL 的弹性资源进行交互测试和计算。前提条件 已创建 AnalyticDB ...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据查询最佳实践
经验总结 编写和优化SQL的经验总结如下：SQL编写原则为追求简单 一般情况下，数据库性能会随SQL复杂度而下降。例如，单表查询（冗余设计）优于表关联查询。SQL优化核心方法是减少I/O 尽可能少的进行列扫描，返回最小数据量，减少I/O同时也...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
背景信息 AnalyticDB MySQL版 Client旨在为用户提供一个高效、简单地插入数据到AnalyticDB MySQL 2.0集群的方法。您只需要通过接口将数据提交给 AnalyticDB MySQL版 Client，便可以直接插入数据到AnalyticDB MySQL 2.0集群中。使用 ...
XIHE BSP SQL开发
本文介绍XIHE BSP SQL作业开发的适用场景、提交方法、常见配置参数及常见问题。前提条件 已在湖仓版（3.0）集群中创建Job型资源组。具体操作，请参见 新建资源组。已创建湖仓版（3.0）集群的数据库账号。如果是通过阿里云账号访问，只需...
Job型资源组的优先级队列
本文介绍设置 湖仓版（3.0）Job型资源组的作业优先级和查看优先级的方法。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群的内核版本为3.1.6.3及以上版本。已创建Job型资源组，且提交作业时选择在Job型资源组中运行。注意事项 暂不支持修改已...
Notebook开发编辑器
AnalyticDB MySQL 湖仓版（3.0）集群中的Notebook开发是 基于控制台的交互式数据分析开发平台，提供了作业编辑、数据分析、数据可视化等功能。Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建...
查询改写功能
AnalyticDB for MySQL 支持完全匹配改写和高级查询改写两种方式，两种方式的使用限制不同，其中：当物化视图中存在如下内容时，完全匹配改写会失效：非确定性函数（Non-Deterministic Functions），例如 now，current_timestamp，random 等...
通过外表导入至数仓版
AnalyticDB for MySQL 支持通过外表读取并导入MaxCompute数据。通过外表导入数据可以最大限度地利用集群资源，实现高性能数据导入。您也可以进一步选择通过Tunnel方式和Storage API两种方式访问并导入MaxCompute数据，相较于Tunnel方式，...
通过外表导入至湖仓版
AnalyticDB for MySQL 支持通过外表读取并导入MaxCompute数据。通过外表导入数据可以最大限度地利用集群资源，实现高性能数据导入。您也可以进一步选择通过Tunnel方式和Storage API两种方式访问并导入MaxCompute数据，相较于Tunnel方式，...
系统表
字段说明：字段 说明 schema 数据库名称。last_active_time 上次活跃时间。create_time 建立连接的时间。connection_id 连接ID。ip_port AnalyticDB for MySQL 接入层节点IP和端口号。access_ip 客户端IP。user 用户名。kepler_persist_...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
概述
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
通过DTS导入数据
操作方法 您可以选择数据同步或数据迁移任意一种方式，将 PolarDB MySQL版 的数据导入至 AnalyticDB MySQL 湖仓版（3.0）或 数仓版（3.0）。具体操作，请参见：PolarDB MySQL版同步至AnalyticDB MySQL 3.0。PolarDB MySQL版迁移至...
湖仓版作业调度
如果通过RAM用户（子账号）登录，使用作业调度功能需要满足以下三个条件：已配置 AnalyticDB MySQL 的AliyunServiceRoleForAnalyticDBForMySQL角色。配置方法，请参见 AliyunServiceRoleForAnalyticDBForMySQL介绍。已创建 AnalyticDB ...
表结构设计
本文介绍如何设计 AnalyticDB for MySQL 的表结构（包括选择表类型、分布键、分区键、主键和聚集索引键等），从而实现表性能的优化。选择表类型 AnalyticDB for MySQL 支持复制表和普通表两种类型。在选择表类型时，需要注意如下几点：复制...
导出至HDFS
附录1：数据导出语法（普通外表）若创建外表时未指定分区列，您可以根据业务需要选择如下几种方式导出数据：方式一：如果您的数据已存在于目标表中，可以通过 INSERT INTO 语句将数据导入外表。使用该语句会将源表的数据写入外表对应的HDFS...
产品系列
通过底层存储的一份全量数据，来支持离线和在线两种场景，避免因数据同步产生的数据一致性和时效性等问题。计算层支持标准接口的多语言可编程计算引擎Spark。同时 湖仓版（3.0）提供离线业务与在线业务的计算资源物理隔离的能力，能实现...
DescribeAuditLogRecords-查询集群的SQL审计日志
Field 表示需要排序的字段名，取值说明：HostAddress：连接数据库的客户端地址。Succeed：目标 SQL 是否执行成功。TotalTime：目标 SQL 的执行总耗时。DBName：执行目标 SQL 的数据库名称。SQLType：SQL 类型。User：执行目标 SQL 的用户名...
登录数据库
本文介绍在使用一站式数据管理功能前，如何通过DMS（新版）登录 AnalyticDB MySQL版 数据库。前提条件 已在目标 AnalyticDB MySQL版 集群中创建数据库账号。创建数据库账号的方法，请参见 创建数据库账号。操作步骤 登录 云原生数据仓库...
JSON索引
为降低处理半结构化数据的难度，提升查询效率，AnalyticDB for MySQL 提供了半结构化数据检索功能，即JSON索引。本文主要介绍如何创建JSON索引。JSON索引介绍 AnalyticDB for MySQL 支持创建JSON索引。通过为存储在JSON列中的数据创建JSON...
从RDS原生实时同步
HybridDB for MySQL原生支持直接从RDS实时同步数据，用户可以快速地构建起RDS到HybridDB for MySQL的同步关系，轻松实现数据流转和复杂查询加速。前提条件 必须使用阿里云主账户执行该操作。该操作只支持阿里云RDS for MySQL（5.6版本）...
DescribeAuditLogRecords-查询SQL审计日志
查询AnalyticDB MySQL湖仓版（3.0）集群的SQL审计日志。接口说明 仅当 SQL 审计状态为开启时，才能查询到 SQL 审计日志，且只支持查询 30 天内的 SQL 审计日志。如果中途关闭了 SQL 审计，再次打开时，仅能查询到再次打开后的 SQL 审计日志...
克隆集群
时间估算方法：备份恢复时间=备份集数据量÷100 MB/秒÷节点组个数 您可以在 集群列表 页的 数仓版（3.0）页签下，确认源集群当前拥有的 节点组个数：示例 例如，源集群中存在1个节点组，且备份集中有1 TB的数据，那么当通过 备份集 将该...
Druid连接池配置
本文介绍如何通过JDBC Druid连接池连接 云原生数据仓库AnalyticDB MySQL版。注意事项 仅支持Druid 1.1.16以上的版本。使用Druid连接池连接 AnalyticDB MySQL 时，建议配置，可以复用连接和避免短连接。AnalyticDB MySQL 前端接入节点使用...
统计信息
本文介绍 AnalyticDB MySQL 统计信息的作用与分类，自动收集统计信息的机制，手动收集统计信息的方法，以及如何查看统计信息。功能介绍 查询优化器（Query Optimizer）将查询转换为执行计划，并交给执行引擎执行。执行计划的质量会影响查询...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
Multi-Cluster弹性模型
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）资源组支持Multi-Cluster弹性模型，您可在创建Interactive型资源组时，开启Multi-Cluster功能。Multi-Cluster弹性模型由一个或者多个Cluster组成，可根据业务负载自动对资源进行扩缩容，...
查询场景
本文介绍不同查询场景的测试方法与结果。场景：在线报表查询 说明 本测试并未完全依照TPC-H基准测试规范，而是基于该测试规范进行了修改。本测试结果不能等同于完全遵守TPC-H测试规范所获得的测试结果，因此不能与完全遵守该测试规范获得的...
结果集缓存
AnalyticDB for MySQL 提供结果集缓存来减少不必要的计算，达到降低负载，加速查询的目的。本文介绍 AnalyticDB for MySQL 结果集缓存的限制和使用方式。前提条件 AnalyticDB for MySQL 集群的内核版本为3.2.0及以上版本。说明 如何查看...
登录数据库
HybridDB for MySQL数据库兼容MySQL协议，您可以通过MySQL客户端或程序访问HybridDB for MySQL数据库，也可以使用阿里云的DMS登录数据库。前提条件 已通过HybridDB for MySQL管理控制台创建实例及数据库，待状态显示为 运行中，则数据库...
数仓版变配湖仓版
湖仓版（3.0）在 数仓版（3.0）的能力基础上，从数据的采集、存储、计算和应用等方面做了全面升级。您可以将 数仓版（3.0）集群变配为 湖仓版（3.0），体验更多功能。变配方式有两种，包括：直接变配和克隆集群。本文主要介绍如何通过直接...
- 产品推荐
- 这些文档可能帮助您