Spark常见报错

例如:同时访问Hive和RDS MySQL数据源,JAR包中应包含Hive数据源和RDS MySQL数据源的JDBC驱动。CommunicationsException.*Communications link failure 报错出现日志:Driver日志。报错原因:Spark作业中配置的弹性网卡无法访问指定的数据...

通过Kettle导入至数仓版

完成上述参数配置后,单击 测试 弹出 数据库连接测试 提示框,根据提示判断是否连接至 AnalyticDB MySQL版 数据库,测试通过后单击 确认。在Kettle左侧 核心对象 的 输入 中,找到 Excel输入,将其拖动入到工作区。双击工作区的 Excel输入...

创建数仓版集群

重要 如果您同时在使用阿里云上的其他云服务,例如云服务器ECS、云数据库RDS等,请确保AnalyticDB MySQL与其他云服务位于同一个VPC,否则它们无法通过内网互通,无法发挥最佳性能。选择产品系列,配置参数,在右下角单击 立即购买。快速...

准备工作

您可以在AnalyticDB MySQL中进行完整的TPC-DS基准测试,了解AnalyticDB MySQL的分析性能。说明 本文的TPC-DS的实现基于TPC-DS的基准测试,并不能与已发布的TPC-DS基准测试结果相比较,本文中的测试并不符合TPC-DS基准测试的所有要求。在云...

数据资产管理

说明 若首次通过DMS(新版)登录 AnalyticDB MySQL版 集群数据库来使用数据资产管理功能,您需要先完成数据库登录信息录入,登录数据库方法,请参见 登录数据库。若之前已登录过 AnalyticDB MySQL版 集群数据库且集群管控模式为 自由操作 ...

SQL开发编辑器

查看表结构 在 SQL开发 页面的 表 页签查看系统表INFORMATION_SCHEMA、自动创建的表(例如,通过实时数据接入同步到 AnalyticDB MySQL表)及手动创建的表,并可以通过下拉按钮切换。选择引擎和资源组 通过选择不同的引擎...

数据导入方式介绍

通过外表常规导入MaxCompute数据 通过外表常规导入HDFS数据 通过外表常规导入OSS数据 通过外表常规导入RDS MySQL数据 弹性导入 仅内核版本3.1.10.0及以上且已创建Job型资源组的 湖仓版(3.0)集群支持弹性导入数据。弹性导入可以大幅减少...

工作负载管理介绍

AnalyticDB MySQL 集群在数据库系统中提供了工作负载管理模块,通过工作负载管对工作负载的控制,可以提高集群的整体运行状态,满足集群更精细化控制的目的。前提条件 AnalyticDB MySQL 集群需要同时满足以下条件:集群系列需为数仓版(3.0...

导入与导出

若客户端存在瓶颈,将无法最大化压测数据库,您可以通过以下两种方法查看客户端或其所在服务器负载是否存在瓶颈:通过登录 云原生数据仓库AnalyticDB MySQL控制台,单击左侧导航的 监控信息 和 诊断与优化 来查验客户端自身以及所在服务器...

新建实例

HybridDB for MySQL数据库初始化需要一定时间,一般不超过20分钟,待管理控制台首页上实例运行状态显示为 运行中,即可进行后续操作。补充 如果新建实例长时间处于 创建中,一般是由于后端资源不足导致的,请您更换其他可用区尝试购买。

使用SQL开发编辑器执行内置测试脚本

通过 云原生数据仓库AnalyticDB MySQL版 湖仓版(3.0)的内置数据集可以快速体验或测试 AnalyticDB MySQL 集群。本文介绍如何使用内置数据集分析数据。前提条件 创建集群时已加载内置数据集。详情请参见 创建湖仓版集群。已创建数据库普通...

自动续费(2.0版)

续费是指延长包年包月集群的使用时间,续费的费用和新购集群费用相同。...云原生数据仓库...在 续费管理 页面,单击 自动续费 页签,找到目标数据库,单击右侧的 修改自动续费。在 修改自动续费 页面,设置自动续费时长,然后单击 确定。

应用场景

该场景可实现:在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化,实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响,保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构,计算资源和存储资源按...

AnalyticDB MySQL 是分布式数据库,数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理,会导致写入时存在热点,降低写入性能。分区字段合理性。AnalyticDB MySQL 后台以分区为粒度进行数据存储...

数据管理

数据库列表 展示了 所属库、表名、表类型、存储大小、描述、创建时间 和 更新时间,且支持根据 表名、存储大小、创建时间 或 更新时间 进行排序。单击目标 表名,还支持查看表的详细信息。序号 区域 说明 ① 表信息 展示了 所属库、表名...

创建实例

HybridDB for MySQL数据库初始化需要一定时间,一般不超过20分钟,待管理控制台首页上实例运行状态显示为 运行中,即可进行后续操作。补充 如果新建实例长时间处于 创建中,一般是由于后端资源不足导致的,请您更换其他可用区尝试购买。

转换计费方式

按量付费的 云原生数据仓库AnalyticDB MySQL版 3.0 集群可以转为包年包月集群。本文介绍按量付费转包年包月的操作说明。背景信息 按量付费变更为包年包月,需要支付包年包月费用,请确保余额充足。操作步骤 登录 云原生数据仓库AnalyticDB ...

写入与查询

AnalyticDB MySQL版 是分布式数据库,查询在多个节点多线程执行,如果某些线程返回了满足LIMIT的行数,查询即终止,所以没有排序的LIMIT的查询结果是一个随机的过程,内部无法保证固定的线程返回结果。带分组的聚合查询,如果SELECT字段中...

通过Spark SQL读写Delta外表

如果已有数据库,可跳过本步骤。CREATE DATABASE if not exists external_delta_db location"oss:/<bucket_name>/test/;用于在该路径中创建表,请替换为自己的OSS路径。执行以下语句,创建Delta外表。CREATE TABLE if not exists external_...

功能优势

分析型数据库MySQL版向量分析功能在通用性、性能优化和产品化上与普通向量检索系统相比有以下优势。高维向量数据的高准度和高性能 以典型的人脸512维向量为例,分析型数据库MySQL版向量分析提供百亿向量100 QPS、50毫秒响应时间(RT)约束...

根据标签筛选集群

操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角,选择集群所在地域。在左侧导航栏,单击 集群列表。单击 标签,选择标签的 标签键 和 标签值 筛选集群。说明 按标签筛选集群后,如果您需要取消筛选,可以 清除 筛选...

通过MySQL分析实例同步至数仓版

您可以登录 AnalyticDB MySQL版 控制台,查看实例的运行状态以及RDS MySQL数据的同步状态。登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角,选择集群所在地域。在左侧导航栏,单击 集群列表。在 数仓版(3.0)中,单击 集群类型...

通过LOAD DATA导入至数仓版

连接AnalyticDB for MySQL集群,通过 CREATE DATABASE 和 CREATE TABLE,在 adb_demo 数据库下创建表 test 表,从本地文件导入的数据将存储在 test 表中。CREATE TABLE test(a int NOT NULL DEFAULT '0',b varchar NOT NULL,PRIMARY KEY(a)...

数据库RDS MySQL版实例中实时查询慢日志slow_log的...

概述 本文主要介绍在使用云数据库RDS MySQL版实例时,实时查询慢日志slow_log的方法。用户告知 本文仅阐述实时查询slow_log的方法,文中的操作示例未通过where语句进行条件过滤,因此属于全表查询。建议您在操作时,通过where语句增加条件...

HybridDB for MySQL设计和实践优化建议

当用户在使用HybridDB for MySQL进行数据库设计和实践的过程中,我们有如下建议:分区键的选择 分区键是数据库控制数据分布的维度,以该条件进行等值查询,查询范围只会限制在一个存储分区上,通常选择查询最频繁的列,或数据分布最均匀的...

数据库权限模型

DB:数据库级别。TABLE:表级别。COLUMN:列(字段)级别。如果您希望某个用户只查询某一张表的某一列数据,可以将该列的SELECT权限授予该用户,例如 GRANT select(customer_id)ON customer TO 'test321'。操作和权限关系 操作 需要的权限 ...

表格存储(Tablestore)数据导入

数据类型映射关系 Tablestore支持的数据类型与 AnalyticDB MySQL 数据类型的映射关系如下:Tablestore支持的数据类型 映射到 AnalyticDB MySQL 的数据类型 INTEGER(8字节)BIGINT(8字节)STRING VARCHAR BINARY BINARY DOUBLE DOUBLE ...

自定义Spark镜像

当 AnalyticDB for MySQL Spark默认镜像无法满足您的需求时,您可以基于默认镜像,将Spark作业需要的软件包和依赖项打包到镜像中,生成自定义镜像并发布到容器镜像服务。在 AnalyticDB for MySQL 进行Spark作业开发时,指定自定义镜像作为...

导入/导出任务

数据库 提交导入或导出任务相关SQL的数据库用户名。任务状态 任务状态,取值说明:init:任务初始化。running:任务运行中。finish:任务执行成功。failed:任务执行失败。若任务执行失败,您可以在SQL诊断页面,通过任务ID查询该任务,并...

FineReport

方式二:在设计器中进行连接,mysql5.x版本可参考 MySQL数据连接,mysql8.x版本可参考 MySQL8数据连接插件。如果您需要通过外网连接 AnalyticDB MySQL版 集群,请参见 申请和释放公网地址。连接AnalyticDB 打开FineReport,在菜单栏中单击 ...

设置白名单

为保障 云原生数据仓库 AnalyticDB MySQL 版 集群的安全稳定,系统默认禁止所有地址访问 AnalyticDB for MySQL 集群,因此,在使用 AnalyticDB for MySQL 集群前,需为集群设置白名单,以允许外部设备访问该集群。背景信息 集群默认的白...

整体架构

AnalyticDB MySQL版 是基于数据库大数据一体化的理念和趋势,在工程上深度打磨出的云原生数据仓库。技术架构 AnalyticDB MySQL版 采用云原生架构,计算存储分离、冷热数据分离,支持高吞吐实时写入和数据强一致,兼顾高并发查询和大吞吐批...

设置可维护时间段

操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角,选择集群所在地域。在左侧导航栏,单击 集群列表。根据您的集群类型,选择 湖仓版(3.0)或 数仓版(3.0)。单击目标 集群ID。在 集群信息 页面的 配置信息 区域,单击...

Multi-Cluster弹性模型

云原生数据仓库 AnalyticDB MySQL 版 湖仓版(3.0)资源组支持Multi-Cluster弹性模型,您可在创建Interactive型资源组时,开启Multi-Cluster功能。Multi-Cluster弹性模型由一个或者多个Cluster组成,可根据业务负载自动对资源进行扩缩容,...

MongoDB数据导入

返回结果:+-+-+-+|id|name|age|+-+-+-+|1|james|10|2|bond|20|3|jack|30|4|lock|40|+-+-+-+4 rows in set(0.35 sec)在 AnalyticDB for MySQL 湖仓版(3.0)集群中创建数据库和表,用于存储从MongoDB中导入的数据。创建名为 adb_demo 的...

设置白名单

为保障 云原生数据仓库 AnalyticDB MySQL 版 集群的安全稳定,系统默认禁止所有地址访问 AnalyticDB for MySQL 集群,因此,在使用 AnalyticDB for MySQL 集群前,需为集群设置白名单,以允许外部设备访问该集群。背景信息 集群默认的白...

服务关联角色

本文为您介绍 云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)(简称 AnalyticDB for MySQL)服务关联角色(AliyunServiceRoleForAnalyticDBForMySQL)的应用场景以及如何删除服务关联角色。背景信息 云原生数据仓库...

概述

TPC-H由TPC委员会制定发布,用于评测数据库的分析查询能力。TPC-H查询包含八张数据表和二十二条复杂SQL查询,大多数查询包含多表Join、子查询和Group By等。更多信息,请参见 TPC-H测试集。说明 本文的TPC-H的实现基于TPC-H的基准测试,并...

按量付费转包年包月

购买按量计费的实例后,您可以根据需求将其改变成包年包月的计费方式。注意事项 包年包月的实例无法转成按量计费的实例,在您进行计费方式的转变前请...操作成功后,在 数据库管理 页面,对应数据库的付费类型显示上述操作所选择的计费类型。

访问MongoDB数据

本文介绍如何使用 AnalyticDB MySQL版 湖仓版(3.0)Spark访问云数据库MongoDB数据。前提条件 已创建AnalyticDB MySQL湖仓版(3.0)集群。具体操作,请参见 创建湖仓版(3.0)集群。已创建数据库账号。如果您是通过阿里云账号访问,只需...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 云数据库 RDS 云数据库 Redis 版 负载均衡 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用