通过元数据发现导入至湖仓版

目标元数据配置 Schema名称 设置Schema名称,映射到 AnalyticDB MySQL数据库名称(默认每个发现任务会创建一个新的Schema)。数据库名称填写,需要注意如下两点:不能是 AnalyticDB MySQL 中已有的库名。不能与其他元数据任务的库名相同...

新功能发布记录

Spark应用访问公网配置说明 通过Spark SQL访问MySQL数据 湖仓版(3.0)支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。通过Spark SQL访问MySQL数据 通过Spark SQL读Lindorm数据 湖仓版(3.0)支持通过Spark SQL访问...

使用Spark SQL进行作业开发

输入以下语句,并单击 执行SQL(F8),创建一个名为 spark_external_db 的外,用于存储Hudi数据。本文以 oss:/testBucketName/adb-test-1/路径为例。CREATE DATABASE spark_external_db LOCATION 'oss:/testBucketName/adb-test-1/';在弹...

使用HybridDB for MySQL需要有ECS吗?

初始默认状态下,HybridDB for MySQL仅...用户也可以在管理控制台上开通公网IP,就可以从公网访问HybridDB for MySQL数据库。但需注意,由于公网的网络情况较复杂且不属于阿里云的管理访问内,通过公网IP地址访问数据库的网络性能会有损失。

产品系列

云原生数据仓库AnalyticDB MySQL版 的产品系列分为 湖仓版(3.0)和 数仓版(3.0)。本文介绍 AnalyticDB MySQL版 产品系列的特点、功能对比及规格。产品系列 湖仓版(3.0)湖仓版(3.0)是基于计算存储分离架构打造的,同时具备低成本离线...

监控

AnalyticDB for MySQL 集群中包含多个存储节点,磁盘数据使用量是指单个读写节点的最大磁盘使用量,热数据使用量是指所有读写节点的磁盘数据使用量和。预留模式跨规格变配为弹性模式后,监控界面看到 CPU平均使用率增大,是什么原因?...

通过Spark SQL读写C-Store表数据

AnalyticDB MySQL 湖仓版(3.0)集群支持通过Spark SQL在线或离线读写C-Store表数据。本文主要介绍通过Spark SQL在线或离线读写C-Store表数据的具体方法。前提条件 湖仓版(3.0)集群的存储预留资源需大于0 ACU。详情请参见 创建湖仓版集群...

基础数据类型

本文介绍 云原生数据仓库AnalyticDB MySQL版 支持哪些数据类型以及与MySQL数据类型的差异对比。AnalyticDB MySQL支持的基础数据类型 类型 数据类型 说明 与MySQL数据类型差异 数值类型 boolean 布尔类型 值只能是 0 或 1,存储字节数1比特...

通过外表导入至数仓版

AnalyticDB for MySQL 支持通过外表读取并导入MaxCompute数据。通过外表导入数据可以最大限度地利用集群资源,实现高性能数据导入。您也可以进一步选择通过Tunnel方式和Storage API两种方式访问并导入MaxCompute数据,相较于Tunnel方式,...

概述

AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品,它可以加密敏感数据,避免数据泄露。您可以通过本文,了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...

MongoDB数据导入

返回结果:+-+-+-+|id|city|name|+-+-+-+|1|hangzhou|jack|+-+-+-+说明 如果要将MongoDB嵌套文档导入到 AnalyticDB for MySQL 中,需要先创建用于存储MongoDB嵌套文档的数据库和数据表,具体操作,请参见 导入MongoDB非嵌套文档 中的步骤5~...

通过Spark Distribution SQL Engine开发Spark SQL作业

} } } 重要 启动Spark Distribution SQL Engine时,若设置了 spark.sql.hive.metastore.version=adb,则连接地址中的数据库必须为 AnalyticDB for MySQL 中已存在的数据库,否则会默认使用 default 数据库,造成连接失败。ThriftServer ...

元数据库数据字典

云原生数据仓库AnalyticDB MySQL版 的元数据为INFORMATION_SCHEMA,兼容MySQL的元数据。查询元数据可以直接在JDBC连接中使用SQL语句进行查询。查询test下的所有表,示例如下:select*from TABLES where table_schema='test' ...

导出至MaxCompute

如果您的 AnalyticDB MySQL 集群是弹性模式,您需要在 集群信息 页面的 网络信息 区域,打开启用 ENI网络 的开关。导出到MaxCompute一级分区表 本示例将 AnalyticDB MySQL版 数仓版(3.0)的 adb_table 表中的数据导出到MaxCompute的 odps_...

使用数据集成迁移数据到AnalyticDB MySQL 2.0

支持的数据源类型 数据集成提供丰富的数据源支持,如下所示:文本存储(FTP/SFTP/OSS/多媒体文件等)数据库(RDS/DRDS/MySQL/PostgreSQL等)NoSQL(Memcache/Redis/MongoDB/HBase等)大数据(MaxCompute/云原生数据仓库AnalyticDB MySQL版 ...

DUMP TO OSS(2.0版)

本文介绍何如将AnalyticDB MySQL 2.0的数据导出到对象存储(OSS)。语法/*+dump-col-del=[,],dump-row-del=[],dump-oss-accesskey-id=ACCESS_KEY_ID,dump-oss-accesskey-secret=ACCESS_KEY_SECRET,engine=MPP,[return-dump-record-count=...

FineBI

配置外接数据库MySQL 说明 如果在此之前您已经安装并使用过FineBI,则可跳过如下步骤直接连接 AnalyticDB MySQL版 集群。详细步骤,请参见 连接AnalyticDB。打开FineBI。单击服务器地址,按照系统提示进行 账号设置。单击 下一步,选择数据...

通过日志服务导入至数仓版

左边文本框为日志字段名称,右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145,投递到AnalyticDB MySQL后,投递结果为2022-01-05 10:12:13。投递开始时间 配置...

聚合支付方案

阿里云从业务扩展性、数据流动性、服务高可用三方面入手,通过多款云数据库产品为利楚扫呗制定聚合支付方案,解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...

导入数据并查询

前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。创建存储空间。详情请参见 控制台创建存储空间。重要 OSS的存储空间与 AnalyticDB for MySQL 所属地域相同。创建目录。详情...

使用XIHE BSP SQL进行作业开发

示例数据文件内容如下:001,Anna,99,London 002,Bob,67,USA 003,Cindy,78,Spain 004,Dan,100,China 步骤一:创建OSS外表 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角,选择集群所在地域。在左侧导航栏,单击 集群列表。在 湖...

算子

AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑,合理地组合算子、优化算子的顺序和执行方式,可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...

不同编程语言中如何开启客户端的PrepareStatement

AnalyticDB MySQL 数据库自身具备强大的查询计算能力和计划缓存功能,无需依靠服务器端预处理语句获得大部分性能优势。AnalyticDB MySQL 数据库不建议使用服务器端预编译。大部分开发语言中支持通过配置开启客户端预编译(PrepareStatement...

概述

创建PolarDB for MySQL数据库集群 设置集群白名单 创建数据库账号 创建数据库 连接数据库 创建数据表 本示例在-PolarDB中创建 test_ads 数据库和 login_info 表,login_info 表存储5条数据。CREATE TABLE `login_info`(`id` int(11)NOT ...

通过Spark SQL访问MySQL数据

AnalyticDB MySQL 湖仓版(3.0)支持提交Spark SQL作业,您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例,介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...

兼容性概览

以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具,以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...

Notebook开发编辑器

AnalyticDB MySQL 湖仓版(3.0)集群中的Notebook开发是 基于控制台的交互式数据分析开发平台,提供了作业编辑、数据分析、数据可视化等功能。Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建...

查看资源组监控

云原生数据仓库 AnalyticDB MySQL 版 湖仓版(3.0)的资源管理既可以展示集群级别的计算和存储资源用量,也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量,包括预留资源用量和弹性...

使用XIHE BSP SQL进行作业开发

本文介绍如何使用XIHE BSP SQL作业开发方式,将ODS层表数据通过DWD层过滤后,写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版(3.0)集群,且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已...

全文检索语法

HybridDB for MySQL的分析引擎支持在SQL的全文检索语法。需要说明的是,HybridDB for MySQL的全文检索能力和SQL中的like是有区别的,这里的全文检索是指在SQL中需要分词的搜索需求,而SQL中的like是模糊匹配的需求,只需要字符串列建索引就...

Jupyter交互式作业开发

AnalyticDB for MySQL Spark支持使用Docker镜像快速启动Jupyter交互式开发环境,帮助您使用本地Jupyter Lab连接 AnalyticDB for MySQL Spark,从而利用 AnalyticDB for MySQL 的弹性资源进行交互测试和计算。前提条件 已创建 AnalyticDB ...

存储层弹性

AnalyticDB MySQL存储节点除了进行数据存储,还提供数据写入、数据查找和数据扫描等能力。如果读写性能出现瓶颈需要到控制台手动扩容弹性IO资源。弹性IO资源(Elastic IO Unit,简称EIU)是弹性模式集群版(新版)衡量实例存储性能的...

使用Spark SQL进行作业开发

本文介绍如何使用Spark SQL作业开发,将ODS层表数据通过DWD层过滤后,写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版(3.0)集群,且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...

通过一键建仓同步至数仓版

数据库名称 从下拉列表中选择目标 AnalyticDB MySQL 数据库名。表名 从下拉列表中选择目标 AnalyticDB MySQL 表名。账号名称 目标 AnalyticDB MySQL 中创建的 数据库账号。账号密码 填写账号名称对应的密码。字段映射 系统自动提取日志服务...

典型慢查询

消耗内存的慢查询 查询的峰值内存(Peak Memory)可以帮助您评估内存的消耗情况。通常来说,查询峰值内存越大,内存消耗越大。您可以通过SQL诊断功能来检索某个时间段内执行耗时较长的查询,然后在 查询属性 或不同级别的诊断结果中查看...

Java访问(2.0版)

不带重试的JDBC连接示例 您可以在业务系统的Java代码中添加以下代码,通过MySQL JDBC连接AnalyticDB for MySQL数据库。Connection connection=null;Statement statement=null;ResultSet rs=null;try { Class.forName(...

从RDS原生实时同步

HybridDB for MySQL原生支持直接从RDS实时同步数据,用户可以快速地构建起RDS到HybridDB for MySQL的同步关系,轻松实现数据流转和复杂查询加速。前提条件 必须使用阿里云主账户执行该操作。该操作只支持阿里云RDS for MySQL(5.6版本)...

访问RDS MySQL数据

已开通OSS服务,并创建与 AnalyticDB MySQL 湖仓版(3.0)集群位于相同地域的存储空间。具体操作,请参见 开通OSS服务 和 创建存储空间。已完成授权操作。具体操作,请参见 账号授权。重要 同账号访问时,需具备...

CREATE EXTERNAL DATABASE

AnalyticDB MySQL 湖仓版(3.0)和 数仓版(3.0)支持通过 CREATE EXTERNAL DATABASE 创建外部数据库。注意事项 湖仓版(3.0)Spark引擎不支持通过 CREATE EXTERNAL DATABASE 创建外部数据库,请使用XIHE引擎。外部数据库中只能创建外表。...

Spark应用配置参数说明

云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)Spark配置参数跟开源Spark中的配置参数基本一致。本文介绍 AnalyticDB for MySQL 与开源Spark用法不一致的配置参数。使用说明 Spark应用配置参数用于配置和调整Spark应用程序的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 文件存储 CPFS 云数据库 RDS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用