使用限制
操作 时间限制（ms）超时说明 创建集群 600000 无 删除集群 300000 无 扩容集群 600000 无 创建数据库 10000 无 删除数据库 10000 无 创建表或视图 10000 无 删除表或视图 10000 无 清空表（TRUNCATE TABLE）60000 无 新增列 10000 无 删除...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
数据库名称 目标AnalyticDB for MySQL数据库的名字。表组名 目标AnalyticDB for MySQL中的表组。表名 目标AnalyticDB for MySQL中的表名，投递过来的日志数据将存储在该表中。AccessKey ID 当前阿里云账号的AccessKey ID，请参见 获取阿里...
访问MaxCompute数据源
本文介绍如何使用AnalyticDB MySQL湖仓版（3.0）Spark SQL读写MaxCompute数据。背景信息 大数据计算服务MaxCompute是一种快速、完全托管的TB/PB级数据仓库解决方案。您可以通过AnalyticDB MySQL湖仓版（3.0）Spark SQL读写MaxCompute数据。...
数据导入性能优化
当导入的目标表存在数据倾斜时，集群部分节点负载过高，影响导入性能。此时，集群CPU使用率、磁盘IO使用率处于较低水位，但写入响应时间较高，同时您可以在 诊断优化>数据建模诊断 页面的倾斜诊断表中发现目标表。解决方法：重新设计表结构...
设置报警规则
您可以为 AnalyticDB MySQL版 集群设置报警规则，实时监控集群CPU使用率、磁盘使用率、IOPS使用率、查询耗时以及数据库连接数。系统在监控数据满足条件时，会通知报警联系组中的所有联系人。背景信息 云原生数据仓库AnalyticDB MySQL版 ...
CREATE EXTERNAL TABLE
AnalyticDB MySQL 湖仓版（3.0）支持创建多种外表，包括：OSS外表、RDS MySQL外表、MongoDB外表、Tablestore外表、MaxCompute外表。前提条件 集群的产品系列为 湖仓版（3.0）。集群的内核版本为3.1.8.0及以上版本。说明 如何查看集群内核...
设置白名单
为保障 云原生数据仓库 AnalyticDB MySQL 版 集群的安全稳定，系统默认禁止所有地址访问 AnalyticDB for MySQL 集群，因此，在使用 AnalyticDB for MySQL 集群前，需为集群设置白名单，以允许外部设备访问该集群。背景信息 集群默认的白...
数据导入性能优化
当导入的目标表存在数据倾斜时，集群部分节点负载过高，影响导入性能。此时，集群CPU使用率、磁盘IO使用率处于较低水位，但写入响应时间较高，同时您可以在 诊断优化>数据建模诊断 页面的倾斜诊断表中发现目标表。解决方法：重新设计表结构...
新功能发布记录
Spark应用访问公网配置说明 通过Spark SQL访问MySQL数据 湖仓版（3.0）支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。通过Spark SQL访问MySQL数据 通过Spark SQL读Lindorm数据 湖仓版（3.0）支持通过Spark SQL访问...
设置白名单
为保障 云原生数据仓库 AnalyticDB MySQL 版 集群的安全稳定，系统默认禁止所有地址访问 AnalyticDB for MySQL 集群，因此，在使用 AnalyticDB for MySQL 集群前，需为集群设置白名单，以允许外部设备访问该集群。背景信息 集群默认的白...
Tableau
Tableau是一款操作简单且功能强大的报表分析工具，支持连接 AnalyticDB MySQL 数据源。在Tableau中连接 AnalyticDB MySQL 后，可以通过拖放或单击的方式快速创建智能视图和仪表板。前提条件 安装 Alibaba AnalyticDB for MySQL connector。...
Hive数据导入
迁移配置参数说明 参数名称 参数说明 目标端已存在同名表文件的处理 迁移时目标表已存在的处理逻辑：跳过该表（不迁移）：只跳过该表，其他表仍继续迁移。报错拦截，暂停迁移：迁移任务暂停。同名表和其他库表都不会继续迁移。Job型资源组 ...
典型慢查询
导致查询磁盘I/O消耗较大的原因通常有如下几种：过滤条件的数据筛选率较低，导致索引的使用效率不高，需要读取的索引量较大。过滤条件没有下推，导致对源表进行了全表扫描。过滤条件下推，但是过滤条件设置的范围较大，仍然有大量数据被...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
同步数据
通过 分析型数据库MySQL版 client 高效率的写入数据到数据库中。通过 ADB uploader 将本地数据导入到数据库中。通过DML（INSERT 和 DELETE）命令加载数据到分析型数据库MySQL版中。如果数据在数据库其它表中已经存在，可以使用 INSERT ...
通过Spark Distribution SQL Engine开发Spark SQL作业
} } } 重要 启动Spark Distribution SQL Engine时，若设置了 spark.sql.hive.metastore.version=adb，则连接地址中的数据库必须为 AnalyticDB for MySQL 中已存在的数据库，否则会默认使用 default 数据库，造成连接失败。ThriftServer ...
BUILD
例如，配置数据库 adb_demo1 中表 test1 的BUILD调度优先级为30，数据库 adb_demo2 中表 test2 的BUILD调度优先级为10。SET ADB_CONFIG RC_BUILD_TASK_PRIORITY_LIST=`adb_demo1.test1.30;adb_demo2.test2.10`;配置同一数据库的所有表具有...
Hudi存储
Apache Hudi是一个支持插入、更新、删除的数据湖框架，通常用于基于对象存储构建低成本Lakehouse。同时Apache Hudi还支持多版本的⽂件管理协议，提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务、小⽂件⾃动合并优化、元信息校验和...
通过数据同步功能同步Kafka至湖仓版（推荐）
目标库表配置 参数说明如下：参数名称 参数说明 库名 同步到 AnalyticDB MySQL 的数据库名称。如果不存在同名数据库，将新建库；如果已存在同名数据库，数据会同步到已存在的数据库中。库名命名规则，详见 使用限制。表名 同步到 ...
DBVisualizer
Database AnalyticDB MySQL 集群的数据库名称。Database Userid AnalyticDB MySQL 集群中创建的账号：高权限账号。普通账号。Database Password 账号对应的密码。完成上述参数配置后，单击 Ping Server 测试连通性，测试通过后，单击 ...
Python
db是AnalyticDB MySQL集群中的数据库名。db=MySQLdb.connect(host='am-bp*.ads.aliyuncs.com',port=3306,user='account_name',passwd='account_password',db='db_name')#使用cursor()方法获取操作游标。cursor=db.cursor()#使用execute方法...
产品系列
云原生数据仓库AnalyticDB MySQL版 的产品系列分为 湖仓版（3.0）和 数仓版（3.0）。本文介绍 AnalyticDB MySQL版 产品系列的特点、功能对比及规格。产品系列 湖仓版（3.0）湖仓版（3.0）是基于计算存储分离架构打造的，同时具备低成本离线...
预留模式变更为弹性模式
如果您希望使用冷热数据分层功能和分时弹性功能节省资源成本，或希望隔离不同资源组的计算资源，可以将预留模式实例变更为弹性模式。前提条件 您的阿里云账号没有未支付的续费订单。仅集群版本为V3.1.3.9或以上的集群支持跨规格变配。说明 ...
表结构设计
由于聚集索引会进行全表排序，导致数据写入性能下降、CPU占用较高，因此一般不建议使用聚集索引。示例 创建一张 customer 表，需要满足如下要求：根据顾客的登录时间（即 login_time 列）进行数据分区，且需要将登录时间转换为%Y%m%d 日期...
PHP
AnalyticDB MySQL 集群的数据库名称。ads_database="db_name;AnalyticDB MySQL 集群的连接端口号。ads_port=3306;连接 AnalyticDB MySQL。ads_conn=mysqli_connect($ads_server_name,$ads_username,$ads_password,$ads_database,$ads_port)...
分组聚合查询优化
分组聚合流程 AnalyticDB for MySQL 是分布式数据仓库，其分组聚合查询默认分为两步：完成数据的局部（PARTIAL）聚合。局部聚合节点只需要占用少量内存，聚合过程为流式过程，数据不会堆积在局部聚合节点上。局部聚合完成后，数据根据分组...
Notebook开发编辑器
AnalyticDB MySQL 湖仓版（3.0）集群中的Notebook开发是 基于控制台的交互式数据分析开发平台，提供了作业编辑、数据分析、数据可视化等功能。Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建...
导出至MaxCompute
如果您已经有目标数据表，请跳过该步骤。说明 导出数据到MaxCompute分区表时，需要明确指定待写入的分区，不支持同时导出到多个分区，您可以通过执行多个SQL的方式实现将数据导出到多个MaxCompute分区。MaxCompute最高支持6级分区，其他...
Jupyter交互式作业开发
AnalyticDB for MySQL Spark支持使用Docker镜像快速启动Jupyter交互式开发环境，帮助您使用本地Jupyter Lab连接 AnalyticDB for MySQL Spark，从而利用 AnalyticDB for MySQL 的弹性资源进行交互测试和计算。前提条件 已创建 AnalyticDB ...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
声纹检索系统
阿里云云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版）向量分析功能，提供了一套声纹验证检索解决方案，即通过SQL命令快速搭建一套高精度声纹检索系统。系统架构 ADB（声纹库）负责存储和查询声纹检索系统的所有结构...
CREATE TABLE
本文介绍 AnalyticDB for MySQL 的 CREATE TABLE 建表语法。您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集...
概述
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
BindDBResourceGroupWithUser-将资源组与数据库用户...
绑定资源组。接口说明 当前服务的接入地址请参见 服务接入点。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
Java访问（2.0版）
不带重试的JDBC连接示例 您可以在业务系统的Java代码中添加以下代码，通过MySQL JDBC连接AnalyticDB for MySQL数据库。Connection connection=null;Statement statement=null;ResultSet rs=null;try { Class.forName(...
创建集群
重要 如果您同时在使用阿里云上的其他云服务，例如云服务器ECS、云数据库RDS等，请确保AnalyticDB MySQL与其他云服务位于同一个VPC，否则它们无法通过内网互通，无法发挥最佳性能。时区 设置集群时区，设定后会按照所选时区处理时间相关的...
有数BI
您可以在 云原生数据仓库AnalyticDB MySQL控制台 的 集群管理 页面，复制公网地址。端口 3306 用户名 AnalyticDB MySQL版 集群中创建的账号：高权限账号 普通账号 您可以在 云原生数据仓库AnalyticDB MySQL控制台 的 账号管理 页面，查看...
导入数据并查询
前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。创建存储空间。详情请参见 控制台创建存储空间。重要 OSS的存储空间与 AnalyticDB for MySQL 所属地域相同。创建目录。详情...
通过Logstash导入数仓版
Logstash是一个开源的服务器端数据处理管道，起初用于将日志类数据写入ES中。随着开源社区的不断发展，Logstash可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到您需要的“存储端”。以日志数据为例，由于 AnalyticDB MySQL ...
新用户必读
数仓版快速入门：引导您完成创建数仓版集群、设置白名单、创建数据库账号、创建数据库、连接集群、创建表以及同步数据的操作。湖仓版快速入门：引导您完成创建湖仓版集群、创建数据库账号、绑定RAM用户与数据库账号、创建资源组、分析数据...
- 产品推荐
- 这些文档可能帮助您