数据导入性能优化
常见问题及解决方法 当通过程序导入数据到 AnalyticDB MySQL 性能不佳时，首先排查客户端性能是否存在瓶颈。保证数据源的数据生产速度足够大，如果数据源来自其他系统或文件，排查客户端是否有输出瓶颈。保证数据处理速度，排查数据生产...
登录数据库
HybridDB for MySQL数据库兼容MySQL协议，用户可以通过MySQL客户端或程序访问HybridDB for MySQL数据库，也可以使用阿里云的DMS。首先通过 HybridDB for MySQL管理控制台 创建实例及数据库，待状态显示为“运行中”，则数据库准备就绪；在...
查询数据库账号
AnalyticDB MySQL兼容MySQL数据库，AnalyticDB MySQL中也有一个名为MySQL的内置数据库，该数据库中存储的是AnalyticDB MySQL中的用户与权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中，...
数据导入性能优化
常见问题及解决方法 当通过程序导入数据到 AnalyticDB MySQL 性能不佳时，首先排查客户端性能是否存在瓶颈。保证数据源的数据生产速度足够大，如果数据源来自其他系统或文件，排查客户端是否有输出瓶颈。保证数据处理速度，排查数据生产...
通过Logstash导入数仓版
Logstash是一个开源的服务器端数据处理管道，起初用于将日志类数据写入ES中。随着开源社区的不断发展，Logstash可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到您需要的“存储端”。以日志数据为例，由于 AnalyticDB MySQL ...
如何判断RDS MySQL的审计记录SQL语句是否执行成功
概述 本文主要介绍如何判断RDS MySQL的审计记录SQL语句是否执行成功。详细信息 SQL审计出现了一条更新语句，但是实际数据没有更新。RDS MySQL的SQL审计是基于网络报文分析所得，并不是执行成功的SQL语句才会记录。...适用于 云数据库 RDS
CREATE VIEW
说明 您也可以在视图名字前加上数据库名称来定义该视图所属的数据库，例如 adb_demo.view。若不添加，默认该视图属于当前数据库。select_statement 视图中的数据来源。示例 数据准备 通过 AnalyticDB MySQL版 高权限账号执行如下操作：创建...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
访问MongoDB数据源
本文介绍如何使用 AnalyticDB MySQL版 湖仓版（3.0）Spark访问云数据库MongoDB数据。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。如果您是通过阿里云账号访问，只需...
概述
创建PolarDB for MySQL数据库集群 设置集群白名单 创建数据库账号 创建数据库 连接数据库 创建数据表 本示例在-PolarDB中创建 test_ads 数据库和 login_info 表，login_info 表存储5条数据。CREATE TABLE `login_info`(`id` int(11)NOT ...
Spark常见报错
例如：同时访问Hive和RDS MySQL数据源，JAR包中应包含Hive数据源和RDS MySQL数据源的JDBC驱动。CommunicationsException.*Communications link failure 报错出现日志：Driver日志。报错原因：Spark作业中配置的弹性网卡无法访问指定的数据...
Spark SQL创建C-Store表
AnalyticDB MySQL 支持使用Spark SQL创建C-Store表，本文主要介绍使用Spark SQL创建C-Store表的语法、示例以及数据类型的映射关系。背景信息 AnalyticDB MySQL Spark SQL创建C-Store表的语法与开源社区Spark SQL的建表语法存在差异，...
Quick BI
选择 云数据库>AnalyticDB for MySQL 3.0。在 添加AnalyticDB for MySQL 3.0数据源 页面进行参数配置。用同一账号购买 AnalyticDB MySQL版 和Quick BI时，选择数据库下拉菜单会自动显示当前账号购买的 AnalyticDB MySQL版，选择后会自动...
Hudi存储
同时Apache Hudi还支持多版本的⽂件管理协议，提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务、小⽂件⾃动合并优化、元信息校验和Schema演进、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。AnalyticDB MySQL 团队基于...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
分组聚合查询优化
本文介绍如何在 AnalyticDB for MySQL 中对分组聚合查询进行优化。分组聚合流程 AnalyticDB for MySQL 是分布式数据仓库，其分组聚合查询默认分为两步：完成数据的局部（PARTIAL）聚合。局部聚合节点只需要占用少量内存，聚合过程为流式...
BUILD
例如，配置数据库 adb_demo1 中表 test1 的BUILD调度优先级为30，数据库 adb_demo2 中表 test2 的BUILD调度优先级为10。SET ADB_CONFIG RC_BUILD_TASK_PRIORITY_LIST=`adb_demo1.test1.30;adb_demo2.test2.10`;配置同一数据库的所有表具有...
自动同步PolarDB-X元数据
PolarDB-X是 高性能云原生分布式数据库，可支撑千万级并发规模及百PB级海量存储。PolarDB-X 2.0实例 开通列存引擎，绑定 湖仓版（3.0）集群后，湖仓版（3.0）集群 会自动 创建元数据发现任务，PolarDB-X 2.0实例列存表的元数据信息会自动...
为什么HybridDB for MySQL 数据库刚创建时就有磁盘...
HybridDB for MySQL 数据库在初创时，会初始化一些系统文件，也会为表空间预分配一些空白磁盘页面，因此会使用一定的磁盘空间，这些磁盘空间在用户有真实数据写入时，会被重新利用起来。
通过元数据发现导入至湖仓版
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性地上传到OSS。但是这些存储在OSS的数据文件缺少元数据管理，导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动...
Hive数据导入
E-MapReduce集群业务场景为 新版数据湖，元数据类型为 自建 RDS 或 内置 MySQL，具有Hive服务，且 Hive 存储模式 为HDFS（即去勾选 数据湖存储）。具体操作，请参见 创建集群。重要 元数据类型为 DLF 统一元数据 的E-MapReduce集群，暂不...
Serverless存储层
此外，AnalyticDB MySQL 存储支持一份数据同时满足高性能的在线分析以及低成本的离线处理两种场景，助力企业降本增效。存储层的整体架构如下图所示：存储层与其他组件的交互如下图所示：AnalyticDB MySQL 的存储层构建在云原生基础设施之上...
读写分离架构
AnalyticDB的弹性模式采用了存储计算分离架构。...SQL的查询链路经由前端节点，经过SQL解析、优化器优化、任务调度，将分布式计算任务下发给计算层计算，存储层仅提供索引过滤，数据扫描。从而将查询链路较重的计算任务与存储节点完全隔离。
导出至自建MySQL
TABLE_PROPERTIES AnalyticDB MySQL 访问自建MySQL数据库的访问方式。url ECS实例的 主私网IP（即VPC地址）和目标库名（本文示例中为 test_adb）。查看步骤如下：登录 ECS管理控制台 并找到目标实例。在 实例详情 页签的 网络信息 区域，...
Java访问（2.0版）
不带重试的JDBC连接示例 您可以在业务系统的Java代码中添加以下代码，通过MySQL JDBC连接AnalyticDB for MySQL数据库。Connection connection=null;Statement statement=null;ResultSet rs=null;try { Class.forName(...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
DescribeDiagnosisRecords-查询诊断记录
说明 您可以调用 DescribeDiagnosisDimensions 接口查看符合指定检索条件的 SQL 语句所属的资源组、数据库名、用户名以及访问源地址信息。user_default UserName string 否 执行 SQL 语句的用户名。说明 您可以调用 ...
查询执行模式
背景 云原生数据仓库AnalyticDB MySQL版（简称ADB MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，可以对海量数据进行即时的多维分析透视和业务探索。AnalyticDB MySQL 的执行引擎是MPP DAG的融合执行引擎，能够...
数据导入优化建议
批量和实时导入如何选择 从MaxCompute或者OSS导入HybridDB for MySQL，推荐使用 INSERT OVERWRITE SELECT 做批量导入：批量导入适合大数据量导入，性能较好。批量导入适合数据仓库语义，即导入过程中旧数据可查询，导入完成一键切换新数据...
一级分区的规划和设计（2.0版）
如何评估表数据是否倾斜 登录 分析型数据库MySQL版控制台，单击 监控信息>DB表概览，查看 表明细 部分，对于存在数据倾斜的表已经标红处理，需要用户及时更换分区列。名字没有标红的表，用户也可以单击表名来查看数据分布。
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
赛盒广告精细化管理方案
解决方案 针对以上问题，阿里云通过 分析型数据库MySQL（AnalyticDB MySQL）和Quick BI制定了解决方案。方案中采用 AnalyticDB MySQL 存放业务数据，AnalyticDB MySQL 的配置为集群版16个C8节点，可支撑上万TPS（Transactions-per-second）...
查看连接信息
通过控制台查看连接数 登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群列表，在 数仓版（3.0）页签，单击目标集群ID。在左侧导航栏，单击 诊断优化。单击 连接信息 页签。您可以查看连接 ...
表结构设计
本文介绍如何设计 AnalyticDB for MySQL 的表结构（包括选择表类型、分布键、分区键、主键和聚集索引键等），从而实现表性能的优化。选择表类型 AnalyticDB for MySQL 支持复制表和普通表两种类型。在选择表类型时，需要注意如下几点：复制...
访问Hive数据源
spark.sql.hive.metastore.jars":"path","spark.sql.hive.metastore.version":"<实际的Hive版本>","spark.sql.hive.metastore.jars.path":"/tmp/*/*.jar"} } 说明 表格中的参数是否必填仅针对本文档的操作场景。参数 是否必填 说明 args ...
性能调优
本文介绍 AnalyticDB MySQL 中性能调优的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 为什么写入峰值下降了，但是CPU没有降下来？在哪些场景下，...
元数据库数据字典
云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库，并和MySQL的元数据库有一定的兼容性，但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...
使用XIHE BSP SQL进行作业开发
步骤四：查询ADS层表数据 AnalyticDB MySQL 湖仓版（3.0）支持通过Spark SQL或XIHE BSP SQL离线方式查询数据，也支持通过XIHE MPP SQL在线实时查询数据。为保证数据的实时性，本教程以XIHE MPP SQL在线方式查询ADS层表数据为例。在 ...
通过数据同步功能同步Kafka至湖仓版（推荐）
目标库表配置 参数说明如下：参数名称 参数说明 库名 同步到 AnalyticDB MySQL 的数据库名称。如果不存在同名数据库，将新建库；如果已存在同名数据库，数据会同步到已存在的数据库中。库名命名规则，详见 使用限制。表名 同步到 ...
羲和分析计算引擎
极致性能是 AnalyticDB MySQL版 的核心竞争力之一。自2019年4月开始至今，AnalyticDB MySQL版 在世界权威机构测评的TPC-DS榜单中位居第一名，性价比是第二名的4倍，并且运行速度每年仍在提高。这都归功于自研羲和分析计算引擎技术的不断...
- 产品推荐
- 这些文档可能帮助您