应用场景

该场景可实现:在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化,实现大数据与数据库的融合。通过资源组隔离让在离线计算任务相互影响,保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构,计算资源和存储资源按...

DTS同步源库数据MySQL分析实例是否支持不同类型的...

概述 本文主要介绍若源中存在MySQL分析实例支持的数据类型,DTS同步数据MySQL分析实例是否支持不同类型的数据说明。详细信息 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全...

DMS调度XIHE SQL

背景信息 挑战和诉求:事件调度 传统的数据库事件调度(如MySQL的事件调度器Event Scheduler)虽然功能强大,但在使用过程中仍发现一些不足:门槛高:用户需要掌握事件定义的特殊SQL语法(CREATE EVENT、ALTER EVENT),无法通过简单的界面...

DTS同步数据到AnalyticDB MySQL时出现“modify ...

对于修改字段类型的报错提示,可以通过以下两种方式解决问题:如果同步任务是整个数据库的同步操作,可以在AnalyticDB MySQL中新建一张表,表名不同于报错的表,表结构和源表的表结构保持一致,通过使用 Insert Into Select SQL语句将报错...

实时存储引擎

Anti-Caching 与传统数据库的Caching机制不同,AnalyticDB MySQL版 基于Anti-Caching的设计,将内存作为主,仅将冷数据淘汰到磁盘,磁盘扮演着备份角色。Anti-Caching的实现上可以分为以下三类:User-Space:使用应用层的语义优化Ad-hoc...

Cache Table

功能介绍 Cache表提供类似传统数据库临时表(Temp Table)的功能。支持将某个查询结果临时存储,为结果集进一步分析和检索提供高效的支撑。不同于数据存储存储引擎(Worker)的表,Cache表的数据存储在前端接入节点上,AnalyticDB for ...

Smartbi

成功连接至 AnalyticDB MySQL版 集群后,您可以在Smartbi 数据连接 下拉列表中找到 AnalyticDB MySQL版 集群数据库,并通过 数据库管理(S)来添加数据库资源。具体操作步骤,请参见 数据库管理。使用Smartbi 完成上述操作后,您可以连接并...

从OSS批量导入导出

这里导入导出都是同步模式,发起导入的MySQL Client需要一直与数据库保持连接。如需要异步提交,请参见 异步提交导入任务。OSS数据文件无需文件头。如果HybridDB for MySQL存储表中有自增列,OSS外部表的DDL定义无需定义自增列,OSS数据...

CREATE EXTERNAL TABLE

如果您已配置了 auto.create.location=true,当创建分区外表所指定的 LOCATION 路径存在时,会自动创建OSS目录。type 否 Hudi外表的类型,取值:COW(默认值):适用于对读取效率要求高的场景。MOR:适用于对写入效率要求高的场景。重要 ...

湖仓版(3.0)计费项

计费公式:存储空间费用=热数据存储费用+冷数据存储费用 冷数据存储空间费用=冷数据存储空间单价×冷数据存储量×时长 热数据存储空间费用=热数据存储空间单价×热数据存储量×时长 查询用量:您可以在 云原生数据仓库AnalyticDB MySQL控制...

使用HybridDB for MySQL 是否还需要单独购买RDS才能...

需要。HybridDB for MySQL 开通之后即可直接作为数据库使用,需要再开通RDS实例。

通过Logstash写入数据到AnalyticDB MySQL 2.0

以日志数据为例,可以通过开源logstash output插件 logstash-output-jdbc 将log数据导入分析型数据库MySQL版中进行进一步分析(分析型数据库MySQL版支持原生JDBC方式访问)。但经过测试发现,在日志量非常大的情况下,通过jdbc方式写入分析...

数据库RDS MySQL版实例中实时查询慢日志slow_log的...

数据库RDS MySQL v5.5版实例支持直接查询慢日志slow_log。您可以通过管理控制台查询慢日志,详情请参见 查看慢日志明细 中通过控制台查询慢日志的章节。详细信息 云数据库RDS MySQL版实例的版本不同,对应的查询方式不同,详情如下。...

MongoDB数据导入

返回结果:+-+-+-+|id|city|name|+-+-+-+|1|hangzhou|jack|+-+-+-+说明 如果要将MongoDB嵌套文档导入到 AnalyticDB for MySQL 中,需要先创建用于存储MongoDB嵌套文档的数据库和数据表,具体操作,请参见 导入MongoDB非嵌套文档 中的步骤5~...

功能优势

分析型数据库MySQL版向量分析功能在通用性、性能优化和产品化上与普通向量检索系统相比有以下优势。高维向量数据的高准度和高性能 以典型的人脸512维向量为例,分析型数据库MySQL版向量分析提供百亿向量100 QPS、50毫秒响应时间(RT)约束...

整体架构

AnalyticDB MySQL版 是基于数据库大数据一体化的理念和趋势,在工程上深度打磨出的云原生数据仓库。技术架构 AnalyticDB MySQL版 采用云原生架构,计算存储分离、冷热数据分离,支持高吞吐实时写入和数据强一致,兼顾高并发查询和大吞吐批...

SQL审计

SQL审计功能可以实时记录数据库DML和DDL操作信息,并提供数据库操作信息的检索功能。使用限制 SQL审计日志记录以下操作:INSERT INTO VALUES REPLACE INTO VALUES UPSERT INTO VALUES 开启/关闭SQL审计 登录 云原生数据仓库AnalyticDB ...

Hive数据导入

E-MapReduce集群业务场景为 新版数据湖,元数据类型为 自建 RDS 或 内置 MySQL,具有Hive服务,且 Hive 存储模式 为HDFS(即去勾选 数据存储)。具体操作,请参见 创建集群。重要 元数据类型为 DLF 统一元数据 的E-MapReduce集群,暂...

Spark SQL创建C-Store表

AnalyticDB for MySQL 支持使用Spark SQL创建C-Store表,本文主要介绍使用Spark SQL创建C-Store表的语法、示例以及数据类型的映射关系。背景信息 AnalyticDB for MySQL Spark SQL创建C-Store表的语法与开源社区Spark SQL的建表语法存在差异...

查看监控信息

存储节点组健康状态 存储节点组即 AnalyticDB for MySQL存储引擎,基于Raft协议实现的分布式实时强一致高可用存储引擎,通过数据分片和Multi-Raft实现并行存储,利用分层存储实现冷热分离降低成本,通过行列存储和智能索引达到极高性能...

设置可维护时间段

为保障 云原生数据仓库AnalyticDB MySQL版 集群的稳定性,后端系统会定期对集群进行维护。您可以根据业务峰谷变化规律,将可维护时间段设置在业务低峰期,降低维护过程中对业务造成的影响。注意事项 在进行正式维护前,AnalyticDB ...

同步数据

分析型数据库MySQL版支持多种数据加载方式,包括但限于:通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版,其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...

数据导入优化建议

批量导入适合数据仓库语义,即导入过程中旧数据可查询,导入完成一键切换新数据。如果导入失败,新数据会回滚,影响旧数据的查询。从RDS、MySQL、HybridDB for MySQL等导入HybridDB for MySQL,需要根据导入的数据量选择不同的方法:数据...

使用HybridDB for MySQL需要有ECS吗?

初始默认状态下,HybridDB for MySQL仅...用户也可以在管理控制台上开通公网IP,就可以从公网访问HybridDB for MySQL数据库。但需注意,由于公网的网络情况较复杂且属于阿里云的管理访问之内,通过公网IP地址访问数据库的网络性能会有损失。

通过数据同步功能同步SLS数据至湖仓版

目标库表配置 的参数说明如下:参数名称 参数说明 库名 AnalyticDB for MySQL 集群 的数据库名称。表名 AnalyticDB for MySQL 集群的数据表名称。源端数据预览 单击 点击查看最近10条LogStore数据,可以查看源端SLS的10条数据。Schema字段...

云原生数据仓库AnalyticDB MySQL版系统权限策略参考

本策略定义了分析型数据库MySQL版(AnalyticDB for MySQL)V3.0 的开发者权限。查看策略详情 AliyunADBFullAccess 您可以将 AliyunADBFullAccess 策略授权给RAM身份。本策略定义了管理分析型数据库MySQL版(AnalyticDB for MySQL)V3.0 的...

Spark开发编辑器

在 创建应用模板 页面,按照页面提示进行参数配置。参数名称 参数说明 名称 设置应用和目录的名字。文件名称区分大小写。类型 选择应用时,模板类型为文件。选择目录时,模板类型为文件夹。父级 设置文件或者文件夹的上层目录。作业类型 ...

节点/数据库/表/分区/二级分区

数据库 在HybridDB for MySQL中,数据库是用户的逻辑概念,用户通过阿里云控制台购买实例后会自动建好指定名称的逻辑库(Database),该逻辑库在后端是会被切分成多个物理分库(Shard),这些物理分库对于用户是可见的。这就是通常说的分...

通过外表导入至数仓版

本文介绍如何通过外表将云数据库RDS MySQL中的数据导入至 AnalyticDB MySQL。前提条件 RDS MySQL实例需与 AnalyticDB MySQL 集群位于同一个VPC,即所在专有网络的VPC ID相同。说明 登录 RDS控制台,单击实例ID,在 数据库连接 页面的 网络...

账号与权限管理

登录分析型数据库MySQL版控制台。在集群列表页面,找到目标集群,单击右侧的登录数据库。在DMS for AnalyticDB中,单击主子账号授权,按照下图所示进行 analyticdb_support 账号授权。注意:授权 analyticdb_support 的只读(SELECT、SHOW...

通过Spark SQL访问MySQL数据

AnalyticDB MySQL 湖仓版(3.0)支持提交Spark SQL作业,您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例,介绍如何通过Spark SQL访问RDS MySQL数据。前提条件 ...

购买、变配与升级

本文介绍 AnalyticDB MySQL 中新购与升级的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版(3.0)。常见问题概览 AnalyticDB for MySQL数仓版(3.0)和湖仓版(3.0)的区别是...

基于向量分析的个性化推荐系统

个性化推荐系统中数据库表结构设计 上图是个性化新闻推荐系统中分析型数据库MySQL版数据库表结构设计,包含了三张表 news、person、browses_history,分别存储新闻信息、用户基本信息、用户浏览记录。news 表 news 表存储新闻信息,包含...

存储层弹性

AnalyticDB MySQL存储节点除了进行数据存储,还提供数据写入、数据查找和数据扫描等能力。如果读写性能出现瓶颈需要到控制台手动扩容弹性IO资源。弹性IO资源(Elastic IO Unit,简称EIU)是弹性模式集群版(新版)衡量实例存储性能的...

资源组介绍

云原生数据仓库AnalyticDB MySQL版 湖仓版(3.0)采用了存储计算分离架构,您可以对计算资源进行弹性扩缩容。资源组功能可以对计算资源进行按需划分,不同资源组间的计算资源在物理上完全隔离。通过将数据库账号绑定到不同的资源组,SQL...

访问OSS数据

前提条件 AnalyticDB MySQL 湖仓版(3.0)集群与OSS存储空间位于相同地域。已在湖仓版(3.0)集群中创建Job型资源组。具体操作,请参见 新建资源组。已创建湖仓版(3.0)集群的数据库账号。如果是通过阿里云账号访问,只需创建高权限账号。...

数据导出到MongoDB

数据从HybridDB for MySQL导出到MongoDB中需要如下三个步骤:在HybridDB for MySQL中建立导出数据的真实存储表 在HybridDB for MySQL中建立一张外表映射到MongoDB 调用 INSERT INTO SELECT 来完成数据导出 操作步骤 在HybridDB for MySQL...

使用限制

操作 使用约束 数据库权限管理 提供服务器范围的权限。数据库备份 可使用命令行或图形界面进行逻辑备份。只能通过 HybridDB for MySQL管理控制台 或OpenAPI进行物理备份。数据库还原 可使用命令行或图形界面进行逻辑数据还原。仅限通过...

计算层弹性

AnalyticDB MySQL存储计算分离架构,让计算节点与有状态的存储节点解耦,成为无状态的节点。从而计算节点的扩缩不再涉及数据状态的迁移,再结合阿里云IAAS层的弹性能力,AnalyticDB MySQL 的计算层扩缩容能获得非常好的弹性体验。分时...

访问Hive数据

spark.hadoop.javax.jdo.option.ConnectionUserName 是 自建RDS或内置MySQL数据库账号名称。登录EMR on ECS控制台,在 集群服务 页面的Hive配置中查看 hivemetastore-site.xml 中的 javax.jdo.option.ConnectionUserName 对应的配置值。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 文件存储NAS 云数据库 RDS 商标服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用