通过Spark SQL读写Hudi外表
创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录，且外表的路径需在数据库路径下。建表时必须定义primaryKey主键。preCombineField预聚合字段为可选，如未定义preCombineField在UPDATE场景会报错。步骤三：写入Hudi...
存储空间分析
指标 说明 数据库 数据库名称。表名 表名称。空间占比 表数据量占集群总数据量的比例。计算方法：空间占比=(表的总数据量/集群总数据量)*100%。总数据量 表的总数据量。计算方法如下：方法一：总数据量=热数据量+冷数据量。方法二：总数据...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
有数BI
您可以在 云原生数据仓库AnalyticDB MySQL控制台 的 集群管理 页面，复制公网地址。端口 3306 用户名 AnalyticDB MySQL版 集群中创建的账号：高权限账号 普通账号 您可以在 云原生数据仓库AnalyticDB MySQL控制台 的 账号管理 页面，查看...
通过Spark SQL读写OSS外表
创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录，且外表的路径需在数据库路径下。可以在tblproperties中配置 'auto.create.location'='true' 自动创建OSS路径。如果未指定该参数并且OSS中不存在该路径，请先创建对应...
删除标签
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）页签下，单击目标 集群ID。在 集群信息 页面的 集群属性 区域，单击 编辑标签。单击要删除的标签后...
访问OSS数据源
云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的Python程序名为 example.py，用于读取文本文件readme.txt的第一行内容。import sys from pyspark.sql import SparkSession#初始Spark ...
Flink数据导入
步骤三：数据验证 登录 AnalyticDB MySQL 目标数据库，来查看并验证源数据是否成功导入。步骤一：数据准备 在其中一个Flink节点的root目录下，执行 vim/root/data.csv 命令来创建一个名为data.csv的CSV文件。文件中包含的数据如下（您可以...
QlikView
完成上述参数配置后，单击 Test 测试连通性，测试通过后，单击 OK 添加 AnalyticDB MySQL 数据源。打开QlikView，单击 文件>编辑j脚本，选择步骤1中设置的数据库名称，进行连通性测试。说明 您也可以通过 ODBC CONNECT TO DATABASE_NAME;...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
通过Spark SQL读写Delta外表
如果已有数据库，可跳过本步骤。CREATE DATABASE if not exists external_delta_db location"oss:/<bucket_name>/test/;用于在该路径中创建表，请替换为自己的OSS路径。执行以下语句，创建Delta外表。CREATE TABLE if not exists external_...
导入与导出
由于 AnalyticDB MySQL 中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据库名、表名或者列名造成的同步失败（例如表名中含有空格、中文等...
创建资源组
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群列表，在 湖仓版（3.0）页签，单击目标集群ID。在左侧导航栏，单击 集群管理>资源管理。单击 资源组管理，在资源组列表的右上角...
续费说明
AnalyticDB MySQL版 控制台手动续费 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 湖仓版（3.0）或 数仓版（3.0）页签中，单击目标集群右侧的 续费。选择购买时长，阅读...
Tableau
本文测试了Tableau与 AnalyticDB MySQL 在列举数据库、查看表表等方面的兼容性，并给出测试结果图。测试环境 MySQL Tableau mysql Ver5.6.46 for osx10.13 on x86_64(Homebrew)Tableau Desktop 2019.4 测试范围 列举数据库 列举所有表 查看...
数据同步过程中源实例的数据库名、表名、列名是否可以...
概述 本文主要介绍数据同步过程中源实例的数据库名、表名、列名是否可以包含横线（-）符号。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
网络类型
数据库之间不通过网络进行隔离，只能依靠数据库自身的安全策略来阻挡非法访问。VPC：是逻辑隔离的私有网络，用户可以自定义网络拓扑和IP地址，支持通过专线连接。相对经典网络而言，VPC具有更高的安全性和灵活性。新建专有网络 登录 分析型...
作业投递
AnalyticDB MySQL 数仓版（3.0）的作业投递功能支持将资源组中满足一定条件的查询作业（通常为资源消耗大、耗时久的大查询）投递至指定一资源组中，避免影响资源组中其他查询作业。本文介绍如何开启并使用作业投递功能。前提条件 ...
访问OSS-HDFS数据源
AnalyticDB for MySQL 湖仓版（3.0）Spark支持访问OSS-HDFS数据源，本文介绍如何使用Spark来操作OSS-HDFS数据。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已在湖仓版（3.0）集群中创建Job型资源组。具体操作...
自动同步PolarDB-X元数据
数据准备 本示例的PolarDB-X 2.0数据库名为 test_adb，并在该库中创建了一张名为 person 的表，示例如下：CREATE DATABASE test_adb MODE='AUTO' CREATE TABLE person(`id` bigint NOT NULL AUTO_INCREMENT,`age` int(11)NOT NULL DEFAULT ...
删除或退订集群
删除按量付费集群 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。根据需要删除的集群版本，选择 数仓版（3.0）或 湖仓版（3.0）页签。单击目标集群右侧的 更多>删除。在 删除...
数据迁移方案概览
“数据传输”导入 事务引擎/分析引擎 使用数据传输（Data Transmission Service）将自建MySQL数据库或者RDS for MySQL数据库迁移到HybridDB for MySQL中。从MySQL批量导入导出 分析引擎 HybridDB for MySQL支持从自建MySQL中全量导入和导出...
数据建模诊断
在倾斜表中，您可以查看某个数据库中已经存在倾斜的表，重新进行分布字段的选择。具体方法，请参见 表结构设计。复制表合理性诊断 AnalyticDB MySQL版 在创建表时可以指定数据的分布方式为复制方式（DISTRIBUTED BY BROADCAST），复制表会...
应用场景
在基于 MySQL 数据库的系统架构下，存放着设备信息的库表，往往需要使用分库分表和相应的数据分发技术才能承担业务流量。分库分表的设计不仅增加了数据库运维人员的管理难度，也让系统架构的扩展受到了很大的限制。HybridDB for MySQL的...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
查看资源弹性计划执行日志
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）或 湖仓版（3.0）页签下，单击目标集群ID。数仓版（3.0）集群，在左侧导航栏，单击 资源弹性扩容。...
DML差异
MySQL 云原生数据仓库AnalyticDB MySQL 定义 CALL 不支持 调用存储过程。DELETE 支持，详情请参见 DELETE。从表中删除行。DO 不支持 执行表达式，但不返回任何结果。HANDLER 不支持 直接访问表存储引擎接口。INSERT 支持，详情请参见 ...
创建湖仓版集群
重要 如果您同时在使用阿里云上的其他云服务，例如云服务器ECS、云数据库RDS等，请确保AnalyticDB MySQL与其他云服务位于同一个VPC，否则它们无法通过内网互通，无法发挥最佳性能。计算预留资源 计算预留资源用于数据计算。增加计算资源...
Hive数据导入
前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建Job型资源组。具体操作，请参见 新建资源组。已创建数据库账号。如果您是通过阿里云账号访问，只需创建高权限账号。具体操作，请参见...
DTS同步源库数据到MySQL分析实例是否支持不同类型的...
概述 本文主要介绍若源库中存在MySQL分析实例不支持的数据类型，DTS同步数据到MySQL分析实例是否支持不同类型的数据说明。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全...
管理资源弹性计划
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）或 湖仓版（3.0）页签下，单击目标集群ID。数仓版（3.0）集群，在左侧导航栏，单击 资源弹性扩容。...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
湖仓版扩缩容
扩容 登录 云原生数据仓库AnalyticDB MySQL控制台，在页面左上角选择集群所在地域。在左侧导航栏，单击 集群列表，在 湖仓版（3.0）页签下，单击目标集群右侧的 扩容。在 变配 页面，设置 计算预留资源 和 存储预留资源。扩容会增加剩余可...
查看当天资源弹性计划
操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）或 湖仓版（3.0）页签下，单击目标集群ID。数仓版（3.0）集群，在左侧导航栏，单击 资源弹性扩容。...
设置报警规则（2.0版）
产品类型 选择 分析型数据库。事件类型 选择 异常 或 维护。事件等级 仅支持 严重。事件名称 选择需要报警的事件。关键词过滤 报警规则的过滤关键词。取值：满足包含上面任何一个关键词：当事件内容中包含任何一个关键词时，云监控会发送...
XUANWU_V2引擎介绍（邀测中）
本文为您介绍 云原生数据仓库 AnalyticDB MySQL 版 表引擎（XUANWU_V2）和相关组件（Compaction Service）的使用方法。前提条件 满足以下两个条件的集群支持XUANWU_V2引擎：产品系列为 湖仓版（3.0）。内核为3.2.0及以上版本。说明 如何...
启停ThriftServer
AnalyticDB for MySQL 湖仓版（3.0）Job型资源组默认使用批处理方式执行Spark SQL，如果您想要使用Job型资源组执行交互式查询，则需要启动ThriftServer。启动ThriftServer后，可以在同一资源组内并发执行多个交互式查询，提升查询效率。...
AnalyticDB MySQL实例更新JDBC Batch时提示...
问题描述 在 JDBC中使用 executeBatch 命令...} 说明：[$IP]为数据库的IP地址。[$Port]为数据库的端口号。[$Database]为数据库的名称。[$User_Name]为数据库的用户名。[$Password]为数据库的密码。适用于 云原生数据仓库AnalyticDB MySQL版
通过PySpark开发Spark应用
本文介绍了如何开发 AnalyticDB MySQL Spark Python作业，以及如何通过VirtualEnv技术打包Python作业的运行环境。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）。具体操作，请参见 创建集群。已创建Job型资源组。具体操作，请参见 新建...
- 产品推荐
- 这些文档可能帮助您