通过数据同步功能同步SLS数据至湖仓版
目标库表配置 的参数说明如下：参数名称 参数说明 库名 AnalyticDB for MySQL 集群 的数据库名称。表名 AnalyticDB for MySQL 集群的数据表名称。源端数据预览 单击 点击查看最近10条LogStore数据，可以查看源端SLS的10条数据。Schema字段...
通过数据同步功能同步SLS数据至数仓版
目标库表配置 的参数说明如下：参数名称 参数说明 库名 AnalyticDB for MySQL 集群 的数据库名称。表名 AnalyticDB for MySQL 集群的数据表名称。源端数据预览 单击 点击查看最近10条LogStore数据，可以查看源端SLS的10条数据。Schema字段...
概述
TPC-H由TPC委员会制定发布，用于评测数据库的分析查询能力。TPC-H查询包含八张数据表和二十二条复杂SQL查询，大多数查询包含多表Join、子查询和Group By等。更多信息，请参见 TPC-H测试集。说明 本文的TPC-H的实现基于TPC-H的基准测试，并...
常见问题
通过 云原生数据仓库AnalyticDB MySQL控制台 湖仓版集群的数据同步和数据迁移功能实现数据入湖，会产生以下费用：AnalyticDB for MySQL 的ACU弹性资源费用，计费项详情，请参见 湖仓版（3.0）计费项。OSS 的存储费用、GET类请求次数以及PUT...
设置可维护时间段
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。根据您的集群类型，选择 湖仓版（3.0）或 数仓版（3.0）。单击目标 集群ID。在 集群信息 页面的 配置信息 区域，单击...
服务关联角色
本文为您介绍 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）（简称 AnalyticDB for MySQL）服务关联角色（AliyunServiceRoleForAnalyticDBForMySQL）的应用场景以及如何删除服务关联角色。背景信息 云原生数据仓库...
Spark应用性能诊断
AnalyticDB for MySQL 湖仓版（3.0）推出Spark应用诊断功能，若您提交的Spark应用存在性能问题，您可以根据诊断信息快速定位和分析性能瓶颈问题，优化Spark应用，提高问题解决效率。本文主要介绍如何进行Spark应用性能诊断以及性能诊断的...
存储空间分析
指标 说明 数据库 数据库名称。表名 表名称。空间占比 表数据量占集群总数据量的比例。计算方法：空间占比=(表的总数据量/集群总数据量)*100%。总数据量 表的总数据量。计算方法如下：方法一：总数据量=热数据量+冷数据量。方法二：总数据...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
通过Spark SQL读写Hudi外表
创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录，且外表的路径需在数据库路径下。建表时必须定义primaryKey主键。preCombineField预聚合字段为可选，如未定义preCombineField在UPDATE场景会报错。步骤三：写入Hudi...
有数BI
您可以在 云原生数据仓库AnalyticDB MySQL控制台 的 集群管理 页面，复制公网地址。端口 3306 用户名 AnalyticDB MySQL版 集群中创建的账号：高权限账号 普通账号 您可以在 云原生数据仓库AnalyticDB MySQL控制台 的 账号管理 页面，查看...
SQL诊断功能介绍
其中用户名、数据库名、资源组的可选取值是整体检索结果中已有的取值，而不是当前 AnalyticDB MySQL版 集群中的所有取值。例如，AnalyticDB MySQL版 集群中有3个数据库：db1、db2、db3，而符合整体检索条件的查询仅涉及 db1 和 db2。此时...
Spark开发编辑器
前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，详情请参见 创建集群。已创建Job型资源组，且计算预留资源需大于等于8 ACU。创建资源组，详情请参见 新建资源组。已为RAM用户授权。具体操作，请参见 为RAM用户授权。已将RAM用户（子...
访问OSS数据源
云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的Python程序名为 example.py，用于读取文本文件readme.txt的第一行内容。import sys from pyspark.sql import SparkSession#初始Spark ...
通过Spark SQL读写OSS外表
创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录，且外表的路径需在数据库路径下。可以在tblproperties中配置 'auto.create.location'='true' 自动创建OSS路径。如果未指定该参数并且OSS中不存在该路径，请先创建对应...
删除标签
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）页签下，单击目标 集群ID。在 集群信息 页面的 集群属性 区域，单击 编辑标签。单击要删除的标签后...
通过Spark SQL读写Delta外表
如果已有数据库，可跳过本步骤。CREATE DATABASE if not exists external_delta_db location"oss:/<bucket_name>/test/;用于在该路径中创建表，请替换为自己的OSS路径。执行以下语句，创建Delta外表。CREATE TABLE if not exists external_...
自动同步PolarDB-X元数据
数据准备 本示例的PolarDB-X 2.0数据库名为 test_adb，并在该库中创建了一张名为 person 的表，示例如下：CREATE DATABASE test_adb MODE='AUTO' CREATE TABLE person(`id` bigint NOT NULL AUTO_INCREMENT,`age` int(11)NOT NULL DEFAULT ...
表格存储（Tablestore）数据导入
数据类型映射关系 Tablestore支持的数据类型与 AnalyticDB MySQL 数据类型的映射关系如下：Tablestore支持的数据类型 映射到 AnalyticDB MySQL 的数据类型 INTEGER（8字节）BIGINT（8字节）STRING VARCHAR BINARY BINARY DOUBLE DOUBLE ...
权限管理
权限模型 HybridDB for MySQL的权限管理是参照MySQL的权限实现，控制登录的用户具备哪些数据库操作权限。具体用法请参见 MySQL官方文档 支持的权限粒度 HybridDB for MySQL支持下面四种级别的权限控制，细化数据库权限控制的粒度。例如，...
续费说明
AnalyticDB MySQL版 控制台手动续费 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 湖仓版（3.0）或 数仓版（3.0）页签中，单击目标集群右侧的 续费。选择购买时长，阅读...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
数据建模诊断
在倾斜表中，您可以查看某个数据库中已经存在倾斜的表，重新进行分布字段的选择。具体方法，请参见 表结构设计。复制表合理性诊断 AnalyticDB MySQL版 在创建表时可以指定数据的分布方式为复制方式（DISTRIBUTED BY BROADCAST），复制表会...
网络类型
数据库之间不通过网络进行隔离，只能依靠数据库自身的安全策略来阻挡非法访问。VPC：是逻辑隔离的私有网络，用户可以自定义网络拓扑和IP地址，支持通过专线连接。相对经典网络而言，VPC具有更高的安全性和灵活性。新建专有网络 登录 分析型...
Tableau
本文测试了Tableau与 AnalyticDB MySQL 在列举数据库、查看表表等方面的兼容性，并给出测试结果图。测试环境 MySQL Tableau mysql Ver5.6.46 for osx10.13 on x86_64(Homebrew)Tableau Desktop 2019.4 测试范围 列举数据库 列举所有表 查看...
创建资源组
AnalyticDB MySQL 湖仓版（3.0）支持使用XIHE BSP SQL、XIHE MPP SQL、Spark SQL等不同方式进行作业开发。Job型资源组运行XIHE BSP SQL和Spark SQL，Interactive型资源组运行XIHE MPP SQL。开始作业开发前，需要先创建一个Job型和...
测试过程
本文介绍性能测试包含的主要步骤。构建数据结构 AnalyticDB MySQL Presto 数据初始化 构建数据 导入数据 TPC-H测试集 有关测试过程的更多信息可参见 附录：测试过程详解。
身份管理
最小授权可以避免用户操作权限过大，提高数据安全性，减少因权限滥用导致的安全风险。不要把RAM用户的AccessKey ID和AccessKey Secret保存在工程代码中，否则可能导致AK泄露，威胁您账号下所有资源的安全。建议您使用STS或环境变量等方式...
访问OSS-HDFS数据源
AnalyticDB for MySQL 湖仓版（3.0）Spark支持访问OSS-HDFS数据源，本文介绍如何使用Spark来操作OSS-HDFS数据。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已在湖仓版（3.0）集群中创建Job型资源组。具体操作...
设置白名单
为保障 云原生数据仓库 AnalyticDB MySQL 版 集群的安全稳定，系统默认禁止所有地址访问 AnalyticDB for MySQL 集群，因此，在使用 AnalyticDB for MySQL 集群前，需为集群设置白名单，以允许外部设备访问该集群。背景信息 集群默认的白...
基本概念
一个 AnalyticDB for MySQL 集群最多可创建256个逻辑数据库。AnalyticDB for MySQL 文档中提到的数据库，都是指逻辑库。分片（Shard）根据分布键，将表数据水平分割后得到的子表，称为分片，英文名称为Shard。这些分片分散在若干个存储节点...
删除或退订集群
删除按量付费集群 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。根据需要删除的集群版本，选择 数仓版（3.0）或 湖仓版（3.0）页签。单击目标集群右侧的 更多>删除。在 删除...
作业投递
AnalyticDB MySQL 数仓版（3.0）的作业投递功能支持将资源组中满足一定条件的查询作业（通常为资源消耗大、耗时久的大查询）投递至指定一资源组中，避免影响资源组中其他查询作业。本文介绍如何开启并使用作业投递功能。前提条件 ...
创建湖仓版集群
重要 如果您同时在使用阿里云上的其他云服务，例如云服务器ECS、云数据库RDS等，请确保AnalyticDB MySQL与其他云服务位于同一个VPC，否则它们无法通过内网互通，无法发挥最佳性能。计算预留资源 计算预留资源用于数据计算。增加计算资源...
设置白名单
为保障 云原生数据仓库 AnalyticDB MySQL 版 集群的安全稳定，系统默认禁止所有地址访问 AnalyticDB for MySQL 集群，因此，在使用 AnalyticDB for MySQL 集群前，需为集群设置白名单，以允许外部设备访问该集群。背景信息 集群默认的白...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
通过Spark SQL访问MySQL数据
AnalyticDB MySQL 湖仓版（3.0）支持提交Spark SQL作业，您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例，介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...
DML差异
MySQL 云原生数据仓库AnalyticDB MySQL 定义 CALL 不支持 调用存储过程。DELETE 支持，详情请参见 DELETE。从表中删除行。DO 不支持 执行表达式，但不返回任何结果。HANDLER 不支持 直接访问表存储引擎接口。INSERT 支持，详情请参见 ...
导入数据
说明 当选择导入数据表到RDS MySQL云计算资源时，才需要选择导入方式。导入方式包括：Insert：在主键相同的情况下，后导入的数据会被忽略。Replace：在主键相同的情况下，后导入的数据会覆盖前面导入的数据。Update：在主键相同的情况下，...
查看资源弹性计划执行日志
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）或 湖仓版（3.0）页签下，单击目标集群ID。数仓版（3.0）集群，在左侧导航栏，单击 资源弹性扩容。...
- 产品推荐
- 这些文档可能帮助您