通过PySpark开发Spark应用
本文介绍了如何开发 AnalyticDB MySQL Spark Python作业，以及如何通过VirtualEnv技术打包Python作业的运行环境。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）。具体操作，请参见 创建集群。已创建Job型资源组。具体操作，请参见 新建...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
赛盒广告精细化管理方案
解决方案 针对以上问题，阿里云通过 分析型数据库MySQL（AnalyticDB MySQL）和Quick BI制定了解决方案。方案中采用 AnalyticDB MySQL 存放业务数据，AnalyticDB MySQL 的配置为集群版16个C8节点，可支撑上万TPS（Transactions-per-second）...
云数据库RDS MySQL版实例中实时查询慢日志slow_log的...
概述 本文主要介绍在使用云数据库RDS MySQL版实例时，实时查询慢日志slow_log的方法。用户告知 本文仅阐述实时查询slow_log的方法，文中的操作示例未通过where语句进行条件过滤，因此属于全表查询。建议您在操作时，通过where语句增加条件...
续费说明
如果您的集群将于下一天到期，需手动续费，无法设置自动续费。保证账号余额、信用额度或可用代金券金额充足。自动续费支持使用优惠券。创建集群时开通自动续费 您可在 创建包年包月集群 时，选中 到期自动续费。续费控制台开通自动续费 ...
整体架构
AnalyticDB MySQL版 是基于数据库大数据一体化的理念和趋势，在工程上深度打磨出的云原生数据仓库。技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批...
启停ThriftServer
AnalyticDB for MySQL 湖仓版（3.0）Job型资源组默认使用批处理方式执行Spark SQL，如果您想要使用Job型资源组执行交互式查询，则需要启动ThriftServer。启动ThriftServer后，可以在同一资源组内并发执行多个交互式查询，提升查询效率。...
通过Spark Distribution SQL Engine开发Spark SQL作业
} } } 重要 启动Spark Distribution SQL Engine时，若设置了 spark.sql.hive.metastore.version=adb，则连接地址中的数据库必须为 AnalyticDB for MySQL 中已存在的数据库，否则会默认使用 default 数据库，造成连接失败。ThriftServer ...
连接
本文介绍 AnalyticDB MySQL 中连接的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何解决白名单设置问题导致的连接失败？当查询过程中关闭了JDBC连接...
调优集群性能
云原生数据仓库 AnalyticDB MySQL 版 的监控信息功能提供了丰富的监控指标，您可以通过集群的各项监控指标，掌握集群的性能和运行状况。当您发现监控指标存在异常时，可以参考本文排查出现异常的原因。查看集群监控指标的方法，请参见 查看...
DescribeAdbMySqlSchemas-查询所有数据库列表
枚举指定AnalyticDB MySQL湖仓版（3.0）集群下所有数据库列表。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-...
新功能发布记录
Spark应用访问公网配置说明 通过Spark SQL访问MySQL数据 湖仓版（3.0）支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。通过Spark SQL访问MySQL数据 通过Spark SQL读Lindorm数据 湖仓版（3.0）支持通过Spark SQL访问...
监控
本文汇总了 AnalyticDB for MySQL 中监控的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何监控数仓版（3.0）预留集群的磁盘水位？如何查看热数据和冷...
CREATE VIEW
说明 您也可以在视图名字前加上数据库名称来定义该视图所属的数据库，例如 adb_demo.view。若不添加，默认该视图属于当前数据库。select_statement 视图中的数据来源。示例 数据准备 通过 AnalyticDB MySQL版 高权限账号执行如下操作：创建...
通过LOAD DATA导入至数仓版
连接AnalyticDB for MySQL集群，通过 CREATE DATABASE 和 CREATE TABLE，在 adb_demo 数据库下创建表 test 表，从本地文件导入的数据将存储在 test 表中。CREATE TABLE test(a int NOT NULL DEFAULT '0',b varchar NOT NULL,PRIMARY KEY(a)...
典型慢查询
如果Join中带有过滤条件，AnalyticDB MySQL 会先对两表执行Join，再对Join后的数据执行过滤，此时的过滤无法使用索引。如果Join后产生的数据量较大，过滤操作就会消耗较大的CPU资源。Join时没有指定Join条件。如果没有指定Join条件，...
Notebook开发编辑器
AnalyticDB MySQL 湖仓版（3.0）集群中的Notebook开发是 基于控制台的交互式数据分析开发平台，提供了作业编辑、数据分析、数据可视化等功能。Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建...
湖仓版扩缩容
若您购买集群时所选择的资源无法满足业务正常运行，或远远超过业务运行所使用的资源时，可以参考本文档，完成扩缩容操作。前提条件 您的阿里云账号没有未支付的续费订单。湖仓版（3.0）集群的状态为运行中。注意事项 扩缩容期间，会禁止 ...
创建数据库
您可以使用DMS（Data Management Service）、客户端（Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J）、业务系统中的程序代码或者MySQL命令行工具连接 云原生数据仓库AnalyticDB MySQL版 集群，然后通过CREATE DATABASE语句...
访问Hive数据源
在左侧导航栏，单击 集群列表，在 湖仓版（3.0）页签下，单击目标集群ID。在左侧导航栏，单击 作业开发>Spark Jar开发。在编辑器窗口上方，选择Job型资源组和Batch作业类型。编写Spark作业。支持通过不同协议方式连接Hive Metastore或RDS...
QlikView
本文测试了QlikView与 AnalyticDB MySQL 在连通性和显示表等方面的兼容性，并给出测试结果图。测试环境 MySQL ODBC Driver QlikView MySQL ODBC 8.0 ANSI Driver x64 QlikView 12 on Windows(Personal Edition)测试范围 连通性 显示表 查询
Spark应用配置参数说明
云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）Spark配置参数跟开源Spark中的配置参数基本一致。本文介绍 AnalyticDB for MySQL 与开源Spark用法不一致的配置参数。使用说明 Spark应用配置参数用于配置和调整Spark应用程序的...
访问MaxCompute数据源
本文介绍如何使用AnalyticDB MySQL湖仓版（3.0）Spark SQL读写MaxCompute数据。背景信息 大数据计算服务MaxCompute是一种快速、完全托管的TB/PB级数据仓库解决方案。您可以通过AnalyticDB MySQL湖仓版（3.0）Spark SQL读写MaxCompute数据。...
创建数仓版集群
重要 如果您同时在使用阿里云上的其他云服务，例如云服务器ECS、云数据库RDS等，请确保AnalyticDB MySQL与其他云服务位于同一个VPC，否则它们无法通过内网互通，无法发挥最佳性能。选择产品系列，配置参数，在右下角单击 立即购买。快速...
计算层高可用
日常查询分析任务在分布式的环境下，机器异常宕机在所难免。计算层高可用需要考虑如何避免因为机器宕机等异常情况导致的查询失败。Interactive模式 对于Interactive模式，MPP计算模型下全内存的Pipeline计算无中间结果保存。同时对于...
购买、变配与升级
本文介绍 AnalyticDB MySQL 中新购与升级的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 AnalyticDB for MySQL数仓版（3.0）和湖仓版（3.0）的区别是...
DescribeAccounts-查询数据库账号信息
说明 您可以调用 DescribeDBClusters 接口查看目标地域下所有 AnalyticDB MySQL 数仓版（3.0）集群的集群 ID。amv-bp11q28kvl688*AccountName string 否 数据库账号。说明 此参数不填写时，默认返回所有数据库账号信息。test_accout ...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
新建资源组
在最大值模式下，资源组创建成功后就会启动指定的Cluster个数。该模式可以有效地静态控制资源组的计算资源总量，适合用户查询负载并发数比较稳定，不会明显抖动的场景。最小Cluster个数 资源组内至少需要维持的Cluster个数，需要小于等于...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
为什么建表必须有分区键？
HybridDB for MySQL 目前仅支持分区表，用户可以指定一个分区键，HybridDB for MySQL 会根据该分区键为用户自动分布数据，如果没有分区键，HybridDB for MySQL 无法决定数据按何种方式分布最优。
到期或欠费的影响（2.0版）
数据库类型 数据库状态 包年包月数据库 数据库到期后第1天到第7天，数据库处于锁定状态，无法被访问。数据库到期后第8天，数据库的计算资源被释放，数据不再保留。按量付费数据库 阿里云账号欠费后，该账号下所有按量付费数据库将会变成...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
小查询自动识别与加速
AnalyticDB MySQL版 混合负载的查询背景下，大小查询混合排队，在大查询未执行结束并释放执行Quota前，小查询往往会被大查询阻塞。即使小查询自身执行时间不长，也会由于排队时间增长导致响应时间（RT）增长。本文介绍的小查询自动识别与...
DescribeAdbMySqlTables-查询数据库下所有表信息
枚举AnalyticDB MySQL湖仓版（3.0）集群指定数据库下所有表信息。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：...
PHP
AnalyticDB MySQL 集群的数据库名称。ads_database="db_name;AnalyticDB MySQL 集群的连接端口号。ads_port=3306;连接 AnalyticDB MySQL。ads_conn=mysqli_connect($ads_server_name,$ads_username,$ads_password,$ads_database,$ads_port)...
新建资源组
支持中间数据结果落磁盘，大数据量情况下查询性能有所降低，但计算节点不会因为查询数据量太大而失败。Interactive：适用于延迟要求高的实时分析查询。基于纯内存的快速交互式查询类型，查询性能好，但计算数据量超出机器处理能力情况下...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
DownloadDiagnosisRecords-下载诊断记录
说明 您可以调用 DescribeDiagnosisDimensions 接口查看符合指定检索条件的 SQL 所属的资源组、数据库名、用户名以及访问源地址信息。user_default UserName string 否 执行目标 SQL 的用户名。说明 您可以调用 ...
- 产品推荐
- 这些文档可能帮助您