通过Spark SQL访问MySQL数据

AnalyticDB MySQL 湖仓版(3.0)支持提交Spark SQL作业,您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例,介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...

MongoDB数据导入

返回结果:+-+-+-+|id|city|name|+-+-+-+|1|hangzhou|jack|+-+-+-+说明 如果要将MongoDB嵌套文档导入到 AnalyticDB MySQL 中,需要先创建用于存储MongoDB嵌套文档的数据库和数据表,具体操作,请参见 导入MongoDB非嵌套文档 中的步骤5~7。...

配置SQLServer数据

SQLServer数据源为您提供读取写入SQLServer双向通道的功能,您可以通过向导模式脚本模式配置同步任务。前提条件 在配置SQLServer数据源之前,您需要在RDS for SQLServer端做好以下准备工作。创建RDS for SQLServer实例,请参见 快速...

MySQL数据库对外键索引等名称的长度限制导致创建时...

问题描述 RDS产品的MySQL数据库创建索引报如下错误。Identifier name 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' is too long 问题原因 因为 MySQL数据库 对外键索引等名称的长度有限制,具体如下:Identifier...

创建数据库

您可以使用DMS(Data Management Service)、客户端(Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J)、业务系统中的程序代码或者MySQL命令行工具连接 云原生数据仓库AnalyticDB MySQL版...单击左上角的 执行,数据库创建成功。

通过联邦分析功能同步至湖仓版

联邦分析使用 AnalyticDB MySQL 的免费高速数据管道服务(APS)将 PolarDB MySQL中的 数据实时同步至 AnalyticDB MySQL 湖仓版(3.0)集群中,帮助您一站式完成数据同步与管理。本文介绍如何通过联邦分析将 PolarDB MySQL中的数据同步至 ...

数据传输”导入

源库与目标库 源库的实例类型可以是RDS实例,或者是您自建的MySQL数据库。以RDS实例为例,选择待迁移实例的ID,输入对应的数据库账号及密码。说明 DTS现已支持RDS/MySQL向HybridDB for MySQL的 全量及增量数据同步。目标库选择 PetaData,...

创建数据库账号

开放了更多权限,可满足个性化精细化的权限管理需求,例如可按用户分配不同表的查询权限等。AnalyticDB MySQL版 中的高权限账号相当于MySQL中的root账号。普通账号 数仓版(3.0)集群只能通过SQL语句进行创建创建方式,详情请参见 ...

限制说明

不支持存储过程和用户自定义函数;不支持触发器;不支持 event;不支持游标。不支持的约束:不支持唯一性约束,允许用户建立主键和唯一性索引,但是仅起提示作用,仅仅能保证自增主键的唯一性;不支持外键约束;不支持CHECK约束。

创建数据库账号

本文介绍如何在 AnalyticDB MySQL 湖仓版(3.0)集群中创建数据库账号以及高权限账号与普通账号的区别。数据库账号类型 AnalyticDB ...在页面左上角,选择集群所在地域。在左侧导航栏,单击 集群列表。在 湖仓版(3.0)页签,单击目标集群ID。...

自建MySQL数据导入

本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版(3.0)。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...

Spark开发编辑器

本文介绍如何在 云原生数据仓库AnalyticDB MySQL版 控制台创建和执行Spark应用。功能说明 通过Spark开发编辑器创建和执行Spark离线应用或流应用。查看当前Spark应用Driver的日志应用提交时的相关信息。查看SQL语句的执行日志。前提条件 ...

使用Spark SQL进行作业开发

已开通OSS服务并创建存储空间项目。具体操作,请参见 开通OSS服务、控制台创建存储空间 创建目录。步骤一:创建OSS Hudi外表 登录 云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击 集群列表,在...

访问Redis数据

具体操作,请参见 开通OSS服务 创建存储空间。操作步骤 下载AnalyticDB MySQL Spark访问Redis依赖的Jar包。下载链接,请参见 spark-redis、jedis commons-pool2。在pom.xml文件的dependencies中添加依赖项。groupId>...

通过Spark SQL读Lindorm数据

AnalyticDB MySQL 湖仓版(3.0)支持通过Spark SQL访问Lindorm数据库。本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作,请参见 创建实例。重要 Lindorm实例需开通宽表...

基础版Spark全密态计算引擎使用示例

数据准备 本文示例的RDS MySQL数据库名为 adb,并在该库中创建了一张名为 customer 的表,示例如下:CREATE DATABASE IF NOT EXIST adb;CREATE TABLE IF NOT EXISTS adb.customer(id int,name varchar(1023),address varchar(1023),age int...

产品业务限制

限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...

概述

创建PolarDB for MySQL数据库集群 设置集群白名单 创建数据库账号 创建数据库 连接数据库 创建数据表 本示例在-PolarDB中创建 test_ads 数据库 login_info 表,login_info 表存储5条数据。CREATE TABLE `login_info`(`id` int(11)NOT ...

访问Hive数据

具体操作,请参见 开通OSS服务 创建存储空间。操作步骤 下载AnalyticDB MySQL Spark访问Hive依赖的Jar包。下载链接,请参见 mysql-connector-java.jar。(条件必选)如果服务端Hive版本低于Hive 2.3,且出现Hive版本不兼容时,请登录...

基本概念

物理库 物理库,是数据库在物理存储设备上的物理表示和存储方式,包括数据文件、日志文件、索引文件等。创建 AnalyticDB for MySQL 集群时,会自动创建一个物理库。每一个物理库被切分为若干个分片(Shard)。这些分片分布到若干个节点组...

使用fcapp.run运行您的RESTful应用

关于RDS MySQL数据库白名单的配置,请参见 配置数据库访问IP地址白名单。容器镜像服务 已拉取WordPress镜像并推送到阿里云容器镜像仓库。具体操作,请参见 使用个人版实例推送拉取镜像。说明 支持个人版企业版实例推送拉取镜像,本文以...

导出至RDS MySQL

需在RDS MySQL实例上完成创建数据库和连接实例等操作,并准备好相关测试数据。详细操作步骤,请参见 创建数据库和账号 连接RDS MySQL实例。本文示例中,测试所用的RDS MySQL目标库名为 test_adb,并在该库中创建了一张名为 courses 的...

通过日志服务导入至数仓版

左边文本框为日志字段名称,右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145,投递到AnalyticDB MySQL后,投递结果为2022-01-05 10:12:13。投递开始时间 配置...

Tableau

Tableau是一款操作简单且功能强大的报表分析工具,支持连接 AnalyticDB MySQL 数据源。在Tableau中连接 AnalyticDB MySQL 后,可以通过拖放或单击的方式快速创建智能视图仪表板。前提条件 安装 Alibaba AnalyticDB for MySQL connector。...

事务引擎介绍

HTAP(事务与分析一体化)HybridDB for MySQL事务引擎为HTAP(Hybrid Transaction/Analytical Processing)关系型数据库,可以基于一份数据进行事务(OLTP)与分析(OLAP)混合处理,免去了以往在线数据库(Operational Database)数据...

使用限制

搭建数据库复制 HybridDB for MySQL本身提供主备复制架构的双节点集群,无需用户手动搭建。其中主备复制架构集群的备(slave)实例不对用户开放,用户应用不可直接访问。用户、密码和数据库管理 HybridDB for MySQL默认需要通过管理控制台...

DBeaver

背景信息 DBeaver是一款免费、开源(GPL)的专门为开发人员和数据库管理员提供的通用数据库工具。DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行...

应用场景

在基于 MySQL 数据库的系统架构下,存放着设备信息的库表,往往需要使用分库分表相应的数据分发技术才能承担业务流量。分库分表的设计不仅增加了数据库运维人员的管理难度,也让系统架构的扩展受到了很大的限制。HybridDB for MySQL的...

AnalyticDB MySQL助力Flowerplus业务高速发展

AnalyticDB MySQL版 2.0 AnalyticDB MySQL版 3.0 均兼容MySQL语法,其中 AnalyticDB MySQL版 3.0 的技术架构和MySQL数据库更贴合。通过增加节点提升 AnalyticDB MySQL 的并发能力并行计算能力,达到横向扩展的目的,保证在业务报表...

账号类型

您可以通过阿里云账号或者RAM用户创建管理 AnalyticDB MySQL 集群,通过数据库账号连接数据库创建数据库以及创建表等。账号类型 作用范围 可进行的操作 阿里云账号 AnalyticDB MySQL 集群 阿里云账号用于 创建 管理集群,例如登录...

DDL差异

MySQL 云原生数据仓库AnalyticDB MySQL 定义 ALTER DATABASE 不支持 修改数据库属性。ALTER EVENT 不支持 修改现有事件的一个或多个特征。ALTER FUNCTION 不支持 修改函数的定义。ALTER LOGFILE GROUP 不支持 修改日志文件组。ALTER ...

通过Spark SQL读写OSS外表

创建外表时选择的OSS路径需比创建数据库时选择的OSS路径至少多一层目录,且外表的路径需在数据库路径下。可以在tblproperties中配置 'auto.create.location'='true' 自动创建OSS路径。如果未指定该参数并且OSS中不存在该路径,请先创建对应...

通过一键建仓同步至数仓版

创建PolarDB MySQL数据库。更多信息,请参见 数据库管理。PolarDB MySQL数据库中已存在表数据。计费 一键创建PolarDB MySQL数据仓库时,系统自动通过DTS同步数据,DTS计费规则,请参见 计费概述。注意事项 数据同步过程中,若在源实例...

数据迁移方案概览

“数据传输”导入 事务引擎/分析引擎 使用数据传输(Data Transmission Service)将自建MySQL数据库或者RDS for MySQL数据库迁移到HybridDB for MySQL中。从MySQL批量导入导出 分析引擎 HybridDB for MySQL支持从自建MySQL中全量导入导出...

通过一键建仓同步至数仓版

创建RDS MySQL数据库。更多信息,请参见 创建数据库。RDS MySQL数据库中已存在表数据。计费 一键创建RDS MySQL数据仓库时,系统自动通过DTS同步数据。DTS计费规则,请参见 计费概述。注意事项 数据同步过程中,若在源实例RDS MySQL中新增...

自定义函数(邀测中)

AnalyticDB for MySQL 支持使用REMOTE_CALL函数远程调用函数计算服务(Function Compute,简称FC)中自定义的函数,以满足您在 AnalyticDB for MySQL 中使用UDF(用户自定义函数)的需求。前提条件 已提交Remote UDF功能的试用申请,并获得...

表格存储(Tablestore)数据导入

TableStore实例是您使用管理表格存储服务的实体,每个实例相当于一个数据库。Tablestore的实例对应 AnalyticDB MySQL 的Schema或Database。Tablestore实例如果没有绑定VPC网络,那么 AnalyticDB MySQL 可以直接访问。如果Tablestore实例...

访问RDS MySQL数据

具体操作,请参见 开通OSS服务 创建存储空间。已完成授权操作。具体操作,请参见 账号授权。重要 同账号访问时,需具备AliyunADBSparkProcessingDataRole权限;跨账号访问时,需要对其他阿里云账号授权。数据准备 在RDS MySQL中创建数据...

通过一键建仓同步至数仓版

数据库名称 从下拉列表中选择目标 AnalyticDB MySQL 数据库名。表名 从下拉列表中选择目标 AnalyticDB MySQL 表名。账号名称 目标 AnalyticDB MySQL 中创建的 数据库账号。账号密码 填写账号名称对应的密码。字段映射 系统自动提取日志服务...

功能特性

PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群,同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 云原生数据仓库AnalyticDB MySQL版 文件存储 CPFS 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用