通过Logstash写入数据到AnalyticDB MySQL 2.0
以日志数据为例，可以通过开源logstash output插件 logstash-output-jdbc 将log数据导入分析型数据库MySQL版中进行进一步分析（分析型数据库MySQL版支持原生JDBC方式访问）。但经过测试发现，在日志量非常大的情况下，通过jdbc方式写入分析...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
工作负载管理介绍
AnalyticDB MySQL 集群在数据库系统中提供了工作负载管理模块，通过工作负载管对工作负载的控制，可以提高集群的整体运行状态，满足集群更精细化控制的目的。前提条件 AnalyticDB MySQL 集群需要同时满足以下条件：集群系列需为数仓版（3.0...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
数据库名称 目标AnalyticDB for MySQL数据库的名字。表组名 目标AnalyticDB for MySQL中的表组。表名 目标AnalyticDB for MySQL中的表名，投递过来的日志数据将存储在该表中。AccessKey ID 当前阿里云账号的AccessKey ID，请参见 获取阿里...
DMS调度XIHE SQL
说明 若首次通过DMS（新版）登录 AnalyticDB MySQL版 集群数据库来使用数据资产管理功能，您需要先完成数据库登录信息录入，登录数据库方法，请参见 登录数据库。若之前已登录过 AnalyticDB MySQL版 集群数据库且集群管控模式为 自由操作 ...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
数据导入方式介绍
离线数仓加速 离线数据运行在MaxCompute等离线数仓上，单天数据增量达到几十GB甚至TB级，需要每天导入数据到 AnalyticDB MySQL 进行数据加速分析。使用方法 数据导入方式分为常规导入（默认）和弹性导入。常规导入在计算节点中读取源数据，...
资源组介绍
通过将数据库账号绑定到不同的资源组，SQL任务或Spark任务根据绑定关系路由至对应的资源组进行执行，从而满足集群内部多租户、混合负载的需求。Interactive型资源组和Job型资源组 AnalyticDB for MySQL 资源组根据运行的任务类型不同，分为...
查询报错问题
errorCode=65541,errorName=NO_NODES_AVAILABLE,errorType=INTERNAL_ERROR,errorLocation=null,failureInfo=mpp.client.FailureInfo@13887b2e} 一般是数据库内部某个计算节点压力较大导致该节点暂时离线，系统能够自动修复。请用户过5~10...
导入与导出
本文介绍AnalyticDB MySQL中导入导出的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何停止异步导入导出任务？如何使用SQL查看当前库里RUNNING的导入...
Hudi存储
开通 AnalyticDB MySQL 服务后只需简单配置即可基于OSS存储和Hudi构建Lakehouse，如通过APS服务将Kafka/SLS日志型数据准实时入湖，或利用 AnalyticDB MySQL Serverless Spark引擎将RDS/Parquet离线数据批量入湖。方案架构图如下所示：...
绑定或解绑RAM用户与数据库账号
RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器：使用RAM用户登录SQL编辑器，需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式：使用 AnalyticDB MySQL 数据库普通账号登录，需要映射成RAM用户进行外表...
绑定或解绑RAM用户与数据库账号
RAM用户与AnalyticDB MySQL数据库普通账号映射场景 SQL编辑器：使用RAM用户登录SQL编辑器，需要映射成 AnalyticDB MySQL 数据库普通账号进行库表鉴权。JDBC连接方式：使用 AnalyticDB MySQL 数据库普通账号登录，需要映射成RAM用户进行外表...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
QlikView
完成上述参数配置后，单击 Test 测试连通性，测试通过后，单击 OK 添加 AnalyticDB MySQL 数据源。打开QlikView，单击 文件>编辑j脚本，选择步骤1中设置的数据库名称，进行连通性测试。说明 您也可以通过 ODBC CONNECT TO DATABASE_NAME;...
使用XIHE BSP SQL进行作业开发
步骤四：查询ADS层表数据 AnalyticDB MySQL 湖仓版（3.0）支持通过Spark SQL或XIHE BSP SQL离线方式查询数据，也支持通过XIHE MPP SQL在线实时查询数据。为保证数据的实时性，本教程以XIHE MPP SQL在线方式查询ADS层表数据为例。在 ...
存储空间分析
指标 说明 数据库 数据库名称。表名 表名称。空间占比 表数据量占集群总数据量的比例。计算方法：空间占比=(表的总数据量/集群总数据量)*100%。总数据量 表的总数据量。计算方法如下：方法一：总数据量=热数据量+冷数据量。方法二：总数据...
连接
本文介绍 AnalyticDB MySQL 中连接的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 如何解决白名单设置问题导致的连接失败？当查询过程中关闭了JDBC连接...
FineReport
如果您是第一次安装FineReport，需要安装MySQL服务器（例如阿里云RDS MySQL），用于导入FineReport的元数据，FineReport提供了两种数据链接方式：方式一：在数据决策系统中进行连接，请参见 JDBC连接数据库。方式二：在设计器中进行连接，...
使用Spark SQL进行作业开发
步骤四：查询ADS层表数据 AnalyticDB MySQL 湖仓版（3.0）既支持通过Spark SQL或XIHE BSP SQL离线方式查询数据，也支持通过XIHE MPP SQL在线实时查询数据。为保证数据的实时性，本教程以XIHE MPP SQL在线方式查询ADS层表数据为例。在 ...
产品系列
通过底层存储的一份全量数据，来支持离线和在线两种场景，避免因数据同步产生的数据一致性和时效性等问题。计算层支持标准接口的多语言可编程计算引擎Spark。同时 湖仓版（3.0）提供离线业务与在线业务的计算资源物理隔离的能力，能实现...
通过数据同步功能同步Kafka至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的数据入湖，以满足近实时产出、全量历史归档、弹性分析等需求。本文主要介绍如何添加Kafka数据源，新建Kafka同步链路并启动任务，...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
如何查看客户端的IP
问题描述 由于网络环境复杂多样，用户可能无法正确地找到客户端的IP地址来设置实例白名单。本文介绍如何查看客户端的IP。操作步骤 方法一：用户使用客户端访问数据库，如果没有正确地设置实例白名单，系统会返回类似 ip not in whitelist,...
新功能发布记录
Spark应用访问公网配置说明 通过Spark SQL访问MySQL数据 湖仓版（3.0）支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。通过Spark SQL访问MySQL数据 通过Spark SQL读Lindorm数据 湖仓版（3.0）支持通过Spark SQL访问...
AnalyticDB MySQL助力Flowerplus业务高速发展
复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂查询报表返回很慢或者根本无法返回，无法正常支撑报表和BI业务。数据实时性 部分报表对返回...
Jupyter交互式作业开发
AnalyticDB MySQL Spark支持使用Docker镜像快速启动Jupyter交互式开发环境，帮助您使用本地Jupyter Lab连接 AnalyticDB MySQL Spark，从而利用 AnalyticDB MySQL 的弹性资源进行交互测试和计算。前提条件 已创建 AnalyticDB MySQL 湖仓版...
设置事件报警
云原生数据仓库 AnalyticDB MySQL 版 数仓版（3.0）集群的运维事件和资源弹性计划接入了云监控系统，您可以为系统事件设置报警规则，通过短信、邮件接收通知或设置报警回调，使您及时收到报警通知，快速分析定位并处理问题，形成线上自动化...
QlikView（2.0版）
前提条件 安装ODBC MySQL Driver，推荐使用MySQL Connector/ODBC 3.5.1或5.3 版本。安装QlikView 11.20.x版本。通过QlikView连接AnalyticDB for MySQL 在安装QlikView的主机上，进入 控制面板>系统和安全>管理工具>数据源（ODBC）（操作...
通过DataWorks导入数据
本文介绍如何通过DataWorks将RDS MySQL数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的网络连通...
数据导入性能优化
判断索引合理性：离线导入场景通常已经通过离线计算进行去重，无需指定主键索引。在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列...
自建MySQL数据导入
本文介绍如何通过 AnalyticDB MySQL 的外表将ECS自建MySQL数据库的数据导入至 AnalyticDB MySQL 数仓版（3.0）。前提条件 已创建与 AnalyticDB MySQL 集群相同地域、相同VPC的ECS实例。已在ECS实例中安装自建MySQL。已在ECS实例的安全组中...
Hive数据导入
Spark开发的相关操作，请参见 Spark开发编辑器 和 Spark离线应用开发。操作步骤 在左侧导航栏，单击 作业开发>Spark Jar 开发。在默认模板中输入示例语句，并单击 立即执行。Here is just an example of SparkSQL.Modify the content and ...
通过spark-submit命令行工具开发Spark应用
本文以ECS连接 AnalyticDB MySQL 为例，介绍如何通过 AnalyticDB MySQL Spark-Submit命令行工具进行Spark作业开发。背景信息 当您使用客户端连接 湖仓版（3.0）集群时，在进行Spark开发时，需要通过 AnalyticDB MySQL Spark-Submit命令行...
DataV
域名 连接 AnalyticDB MySQL 数据库的URL地址。说明 此处的URL地址不是官网页面的URL，也不是本机的IP，是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的URL地址。例如使用外网环境下的阿里云 AnalyticDB MySQL，域名...
自定义Spark镜像
您可以通过 AnalyticDB for MySQL Spark提供的自定义镜像服务解决上述问题，将 AnalyticDB for MySQL Spark作业执行的默认镜像修改为您定制的环境镜像。前提条件 已经创建ECS实例，用于自定义镜像，本示例的ECS操作系统为Alibaba Cloud ...
数据导入性能优化
判断索引合理性：离线导入场景通常已经通过离线计算进行去重，无需指定主键索引。在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列...
管理备份
为确保数据误操作后，AnalyticDB MySQL版 具备数据快速恢复的能力，集群创建成功后，AnalyticDB MySQL版 会自动在后台开启数据备份功能，实现集群级别的数据备份。您可以在 AnalyticDB MySQL版 控制台查看集群的备份集或修改备份设置。注意...
通过PySpark开发Spark应用
本文介绍了如何开发 AnalyticDB MySQL Spark Python作业，以及如何通过VirtualEnv技术打包Python作业的运行环境。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）。具体操作，请参见 创建集群。已创建Job型资源组。具体操作，请参见 新建...
FineBI 6.0
本文测试了FineBI 6.0与 AnalyticDB MySQL 在连通性、列举表、查看表数据等方面的...测试范围 连接FineBI 说明 此处应填写MySQL数据库的连接信息，而不是AnalyticDB for MySQL数据库连接信息。新建数据库连接 列举表 查看表结构 查看表数据
- 产品推荐
- 这些文档可能帮助您