Serverless存储层
此外，AnalyticDB MySQL 存储支持一份数据同时满足高性能的在线分析以及低成本的离线处理两种场景，助力企业降本增效。存储层的整体架构如下图所示：存储层与其他组件的交互如下图所示：AnalyticDB MySQL 的存储层构建在云原生基础设施之上...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
数据库名称 目标AnalyticDB for MySQL数据库的名字。表组名 目标AnalyticDB for MySQL中的表组。表名 目标AnalyticDB for MySQL中的表名，投递过来的日志数据将存储在该表中。AccessKey ID 当前阿里云账号的AccessKey ID，请参见 获取阿里...
品牌升级
分析型数据库MySQL版（ADS）目前已品牌升级至 云原生数据仓库 AnalyticDB MySQL 版。云原生数据仓库 AnalyticDB MySQL 版 是基于湖仓一体架构打造的实时数仓，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半...
通过MySQL分析实例同步至数仓版
您可以登录 AnalyticDB MySQL版 控制台，查看实例的运行状态以及RDS MySQL数据的同步状态。登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）中，单击 集群类型...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
DML差异
MySQL 云原生数据仓库AnalyticDB MySQL 定义 CALL 不支持 调用存储过程。DELETE 支持，详情请参见 DELETE。从表中删除行。DO 不支持 执行表达式，但不返回任何结果。HANDLER 不支持 直接访问表存储引擎接口。INSERT 支持，详情请参见 ...
“数据传输”导入
源库与目标库 源库的实例类型可以是RDS实例，或者是您自建的MySQL数据库。以RDS实例为例，选择待迁移实例的ID，输入对应的数据库账号及密码。说明 DTS现已支持RDS/MySQL向HybridDB for MySQL的 全量及增量数据同步。目标库选择 PetaData，...
Flink数据导入
说明 本文示例中创建的数据库名称为 tpch，建库语句如下：CREATE DATABASE IF NOT EXISTS tpch;本文示例中创建的数据表名为 person，建表语句如下：CREATE TABLE IF NOT EXISTS person(user_id string,user_name string,age int);如果您的 ...
通过Logstash写入数据到AnalyticDB MySQL 2.0
以日志数据为例，可以通过开源logstash output插件 logstash-output-jdbc 将log数据导入分析型数据库MySQL版中进行进一步分析（分析型数据库MySQL版支持原生JDBC方式访问）。但经过测试发现，在日志量非常大的情况下，通过jdbc方式写入分析...
DTS同步数据到AnalyticDB MySQL时出现“modify ...
对于修改字段类型的报错提示，可以通过以下两种方式解决问题：如果同步任务是整个数据库的同步操作，可以在AnalyticDB MySQL中新建一张表，表名不同于报错的表，表结构和源表的表结构保持一致，通过使用 Insert Into Select SQL语句将报错...
写入与查询
AnalyticDB MySQL版 是分布式数据库，查询在多个节点多线程执行，如果某些线程返回了满足LIMIT的行数，查询即终止，所以没有排序的LIMIT的查询结果是一个随机的过程，内部无法保证固定的线程返回结果。带分组的聚合查询，如果SELECT字段中...
通过Spark SQL读写OSS外表
创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录，且外表的路径需在数据库路径下。可以在tblproperties中配置 'auto.create.location'='true' 自动创建OSS路径。如果未指定该参数并且OSS中不存在该路径，请先创建对应...
Spark SQL创建C-Store表
AnalyticDB MySQL 支持使用Spark SQL创建C-Store表，本文主要介绍使用Spark SQL创建C-Store表的语法、示例以及数据类型的映射关系。背景信息 AnalyticDB MySQL Spark SQL创建C-Store表的语法与开源社区Spark SQL的建表语法存在差异，...
计算层弹性
AnalyticDB MySQL 的存储计算分离架构，让计算节点与有状态的存储节点解耦，成为无状态的节点。从而计算节点的扩缩不再涉及数据状态的迁移，再结合阿里云IAAS层的弹性能力，AnalyticDB MySQL 的计算层扩缩容能获得非常好的弹性体验。分时...
限制说明
不支持存储过程和用户自定义函数；不支持触发器；不支持 event；不支持游标。不支持的约束：不支持唯一性约束，允许用户建立主键和唯一性索引，但是仅起提示作用，仅仅能保证自增主键的唯一性；不支持外键约束；不支持CHECK约束。
导入与导出
由于 AnalyticDB MySQL 中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据库名、表名或者列名造成的同步失败（例如表名中含有空格、中文等...
云原生数据仓库AnalyticDB MySQL版系统权限策略参考
本策略定义了分析型数据库MySQL版（AnalyticDB for MySQL）V3.0 的开发者权限。查看策略详情 AliyunADBFullAccess 您可以将 AliyunADBFullAccess 策略授权给RAM身份。本策略定义了管理分析型数据库MySQL版（AnalyticDB for MySQL）V3.0 的...
创建数据库
您可以使用DMS（Data Management Service）、客户端（Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J）、业务系统中的程序代码或者MySQL命令行工具连接 云原生数据仓库AnalyticDB MySQL版 集群，然后通过CREATE DATABASE语句...
通过Spark SQL读写Delta外表
Delta是一种可以基于OSS对象存储的数据湖表格式，支持UPDATE、DELETE和INSERT操作。AnalyticDB for MySQL 湖仓版（3.0）和Delta表格式进行了整合，您可以通过Spark SQL读写Delta外表。本文主要介绍如何通过Spark SQL读写Delta外表。前提...
整体架构
AnalyticDB MySQL版 是基于数据库大数据一体化的理念和趋势，在工程上深度打磨出的云原生数据仓库。技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批...
购买、变配与升级
本文介绍 AnalyticDB MySQL 中新购与升级的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 AnalyticDB for MySQL数仓版（3.0）和湖仓版（3.0）的区别是...
通过Spark SQL读写C-Store表数据
AnalyticDB MySQL 湖仓版（3.0）集群支持通过Spark SQL在线或离线读写C-Store表数据。本文主要介绍通过Spark SQL在线或离线读写C-Store表数据的具体方法。前提条件 湖仓版（3.0）集群的存储预留资源需大于0 ACU。详情请参见 创建湖仓版集群...
数据导出到MongoDB
将数据从HybridDB for MySQL导出到MongoDB中需要如下三个步骤：在HybridDB for MySQL中建立导出数据的真实存储表 在HybridDB for MySQL中建立一张外表映射到MongoDB 调用 INSERT INTO SELECT 来完成数据导出 操作步骤 在HybridDB for MySQL...
数据导入方式介绍
通过外表常规导入MaxCompute数据 通过外表常规导入HDFS数据 通过外表常规导入OSS数据 通过外表常规导入RDS MySQL数据 弹性导入 仅内核版本3.1.10.0及以上且已创建Job型资源组的 湖仓版（3.0）集群支持弹性导入数据。弹性导入可以大幅减少...
新功能发布记录
Spark应用访问公网配置说明 通过Spark SQL访问MySQL数据 湖仓版（3.0）支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。通过Spark SQL访问MySQL数据 通过Spark SQL读Lindorm数据 湖仓版（3.0）支持通过Spark SQL访问...
使用Spark SQL进行作业开发
输入以下语句，并单击 执行SQL（F8），创建一个名为 spark_external_db 的外库，用于存储Hudi数据。本文以 oss:/testBucketName/adb-test-1/路径为例。CREATE DATABASE spark_external_db LOCATION 'oss:/testBucketName/adb-test-1/';在弹...
Spark常见报错
例如：同时访问Hive和RDS MySQL数据源，JAR包中应包含Hive数据源和RDS MySQL数据源的JDBC驱动。CommunicationsException.*Communications link failure 报错出现日志：Driver日志。报错原因：Spark作业中配置的弹性网卡无法访问指定的数据...
Hive数据导入
E-MapReduce集群业务场景为 新版数据湖，元数据类型为 自建 RDS 或 内置 MySQL，具有Hive服务，且 Hive 存储模式 为HDFS（即去勾选 数据湖存储）。具体操作，请参见 创建集群。重要 元数据类型为 DLF 统一元数据 的E-MapReduce集群，暂不...
Hudi存储
同时Apache Hudi还支持多版本的⽂件管理协议，提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务、小⽂件⾃动合并优化、元信息校验和Schema演进、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。AnalyticDB MySQL 团队基于...
C#（Mac）
根据 AnalyticDB MySQL使用流程，在 AnalyticDB MySQL 数据库中准备测试数据。create table t1(a int,s1 varchar)DISTRIBUTE BY HASH(`a`)ENGINE='CSTORE';insert into t1 values(11,'test1'),(22,'test2'),(33,'test3'),(44,'test4');...
查询改写功能
AnalyticDB for MySQL 支持如下改写方式：完全匹配改写 若查询语句的结构和物化视图的结构完全相同，AnalyticDB for MySQL 会修改查询语句使其直接使用物化视图进行查询。该方式是最基本的改写方式，简单直接且使用限制较少。使用限制详情...
通过数据同步功能同步SLS数据至湖仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 湖仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
访问MaxCompute数据源
本文介绍如何使用AnalyticDB MySQL湖仓版（3.0）Spark SQL读写MaxCompute数据。背景信息 大数据计算服务MaxCompute是一种快速、完全托管的TB/PB级数据仓库解决方案。您可以通过AnalyticDB MySQL湖仓版（3.0）Spark SQL读写MaxCompute数据。...
使用限制
操作 时间限制（ms）超时说明 创建集群 600000 无 删除集群 300000 无 扩容集群 600000 无 创建数据库 10000 无 删除数据库 10000 无 创建表或视图 10000 无 删除表或视图 10000 无 清空表（TRUNCATE TABLE）60000 无 新增列 10000 无 删除...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
连接
本文介绍 AnalyticDB MySQL 中连接的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何解决白名单设置问题导致的连接失败？当查询过程中关闭了JDBC连接...
数据变更最佳实践
例如，从RDS for MySQL、ECS自建MySQL数据导入 AnalyticDB MySQL版 时，推荐使用 INSERT INTO，详情请参见 通过外表导入至数仓版。说明 导入数据到 AnalyticDB MySQL版 时，导入任务使用 AnalyticDB MySQL版 中的资源，如果查询数据期间...
数据类型（2.0版）
与MySQL数据类型对比 分析型数据库MySQL版数据类型 MySQL版数据类型 差异 boolean bool、boolean 一致。tinyint tinyint 一致。smallint smallint 一致。int int、integer 一致。bigint bigint 一致。float float[(m,d)]分析型数据库...
导出至OSS
云原生数据仓库AnalyticDB MySQL版 支持通过外表和INSERT INTO方式将 AnalyticDB MySQL版 数仓版（3.0）中的数据导出到对象存储OSS（Object Storage Service）中。将数据导出到OSS功能只支持CSV和Parquet格式文件。前提条件 在 对象存储 ...
监控
AnalyticDB for MySQL 集群中包含多个存储节点，磁盘数据使用量是指单个读写节点的最大磁盘使用量，热数据使用量是指所有读写节点的磁盘数据使用量之和。预留模式跨规格变配为弹性模式后，监控界面看到 CPU平均使用率增大，是什么原因？...
- 产品推荐
- 这些文档可能帮助您