运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 Action 元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:操作:是指具体的权限点。访问...
通过外表常规导入MaxCompute数据 通过外表常规导入HDFS数据 通过外表常规导入OSS数据 通过外表常规导入RDS MySQL数据 弹性导入 仅内核版本3.1.10.0及以上且已创建Job型资源组的 湖仓版(3.0)集群支持弹性导入数据。弹性导入可以大幅减少...
然后,利用分析型数据库MySQL版向量内置的文本转换为向量函数,将从新闻标题和新闻内容中提取出的关键词转换为新闻向量导入分析型数据库MySQL版向量数据库中,用于用户新闻推荐,具体实现流程如下图所示。整个新闻推荐系统由以下两个步骤...
AnalyticDB for MySQL 湖仓版(3.0)Spark支持访问OSS-HDFS数据源,本文介绍如何使用Spark来操作OSS-HDFS数据。前提条件 AnalyticDB MySQL 湖仓版(3.0)集群与OSS存储空间位于相同地域。已在湖仓版(3.0)集群中创建Job型资源组。具体操作...
SQL审计功能可以实时记录数据库DML和DDL操作信息,并提供数据库操作信息的检索功能。使用限制 SQL审计日志不记录以下操作:INSERT INTO VALUES REPLACE INTO VALUES UPSERT INTO VALUES 开启/关闭SQL审计 登录 云原生数据仓库AnalyticDB ...
湖仓一体 对外开放存储,不锁定用户数据,提供统一存储接口层及数据访问格式,支持使用开源计算引擎(如Spark和Presto)访问 AnalyticDB MySQL 内部的数据。支持在 AnalyticDB MySQL 内部访问和管理开源数据格式(如Parquet和Hudi)。支持半...
要做好库表结构设计和优化,用户通常需要关注以下信息:数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点,才能结合业务的数据分布特征与业务场景特征,进行数据建模,从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
Spark应用访问公网配置说明 通过Spark SQL访问MySQL数据 湖仓版(3.0)支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。通过Spark SQL访问MySQL数据 通过Spark SQL读Lindorm数据 湖仓版(3.0)支持通过Spark SQL访问...
数据库和数据表的创建方法,请参见 CREATE DATABASE 和 CREATE TABLE。说明 本文示例中创建的数据库名称为 tpch,建库语句如下:CREATE DATABASE IF NOT EXISTS tpch;本文示例中创建的数据表名为 person,建表语句如下:CREATE TABLE IF ...
本文介绍 AnalyticDB MySQL 中连接的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版(3.0)。常见问题概览 如何解决白名单设置问题导致的连接失败?当查询过程中关闭了JDBC连接...
阿里云账号是阿里云资源的归属及使用计量计费的基本主体,负责生成本企业组织下的RAM用户,并对RAM用户进行管理、授权等操作。RAM用户从属于阿里云账号,由阿里云账号在RAM系统中创建并进行管理。这些RAM用户本身不拥有实际的任何资源,也...
Column DatabasePrivilegeObject string 否 根据给定的数据库名称进行筛选。database1 TablePrivilegeObject string 否 根据给定的表名称进行筛选。table1 PageNumber string 否 页号,从 1 开始,默认值 1。1 PageSize string 否 每页含有...
本文介绍如何添加Hive数据源,新建Hive迁移链路并启动任务,以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 湖仓版(3.0)支持新建Hive数据迁移任务,通过迁移任务将Hive元数据和数据一键迁移到OSS,或...
云原生数据仓库AnalyticDB MySQL版 数仓版(3.0)支持 Interactive 和 Batch 两种查询模式,结合资源组功能可实现混合负载。背景 云原生数据仓库AnalyticDB MySQL版(简称ADB MySQL版),是阿里巴巴自主研发的海量数据实时高并发在线分析云...
阿里云账号是阿里云资源的归属及使用计量计费的基本主体,负责生成本企业组织下的RAM用户,并对RAM用户进行管理、授权等操作。RAM用户从属于阿里云账号,由阿里云账号在RAM系统中创建并进行管理。这些RAM用户本身不拥有实际的任何资源,也...
数仓版快速入门:引导您完成创建数仓版集群、设置白名单、创建数据库账号、创建数据库、连接集群、创建表以及同步数据的操作。湖仓版快速入门:引导您完成创建湖仓版集群、创建数据库账号、绑定RAM用户与数据库账号、创建资源组、分析数据...
AnalyticDB MySQL版 是基于数据库大数据一体化的理念和趋势,在工程上深度打磨出的云原生数据仓库。技术架构 AnalyticDB MySQL版 采用云原生架构,计算存储分离、冷热数据分离,支持高吞吐实时写入和数据强一致,兼顾高并发查询和大吞吐批...
Quick BI是一款专为云上用户和企业量身打造的新一代自助式智能BI服务平台,其简单易用的可视化操作和灵活高效的多维分析能力,让精细化数据洞察为商业决策保驾护航。您可以在Quick BI中添加 AnalyticDB MySQL版 数据源并通过Quick BI构建BI...
下载Golang MySQL Driver,请参见 Golang MySQL Driver。使用Shell中的go工具将驱动包安装到$GOPATH 中。go get github.com/go-sql-driver/mysql 说明 要求在您的主机和系统的PATH中安装了Git。连接AnalyticDB MySQL 2.0 package main ...
完成上述参数配置后,单击 测试连接 进行连通性测试,系统提示测试成功后,即可连接至指定的 AnalyticDB MySQL 数据库。使用永洪BI 通过永洪BI连接 AnalyticDB MySQL 集群后,您就可以获取 AnalyticDB MySQL 中的数据,然后通过永洪BI制作...
AnalyticDB for MySQL 数仓版(3.0)支持通过Hint方式和绑定资源组的方式指定执行查询的资源组,若未指定,则默认使用user_default资源组执行。本文介绍提交SQL时,指定资源组的方法。通过JDBC提交SQL 通过以下三种方式指定执行查询的资源...
注意事项 同步数据时,会在 湖仓版(3.0)集群中创建与PolarDB-X 2.0实例中数据库和表同名的库表,因此在同步数据时需注意以下内容:若 湖仓版(3.0)集群中已经存在同名库和同名表,则会导致数据同步失败。若 湖仓版(3.0)集群仅存在同...
云原生数据仓库 AnalyticDB MySQL 版 的监控信息功能提供了丰富的监控指标,您可以通过集群的各项监控指标,掌握集群的性能和运行状况。当您发现监控指标存在异常时,可以参考本文排查出现异常的原因。查看集群监控指标的方法,请参见 查看...
AnalyticDB for MySQL 湖仓版(3.0)支持新建Kafka同步链路,通过同步链路从指定时间位点,实时同步Kafka中的数据入湖,以满足近实时产出、全量历史归档、弹性分析等需求。本文主要介绍如何添加Kafka数据源,新建Kafka同步链路并启动任务,...
Delta是一种可以基于OSS对象存储的数据湖表格式,支持UPDATE、DELETE和INSERT操作。AnalyticDB for MySQL 湖仓版(3.0)和Delta表格式进行了整合,您可以通过Spark SQL读写Delta外表。本文主要介绍如何通过Spark SQL读写Delta外表。前提...
为了解决这些问题,阿里云瑶池数据库提供了无感集成(Zero-ETL)功能,可以快速构建业务系统(OLTP)和数据仓库(OLAP)之间的数据同步链路,将业务系统(OLTP)的数据自动进行提取、转换清洗和加载到数据仓库(OLAP),从而一站式完成数据...
port=3306/database是 AnalyticDB MySQL版 集群中的数据库名称。database="database_name"/数据库连接的超时时间。connectTimeout="10s")func main(){/打开数据库连接。url:=fmt.Sprintf("%s:%s@tcp(%s:%d)/s?timeout=s",user,password,...
例如,配置数据库 adb_demo1 中表 test1 的BUILD调度优先级为30,数据库 adb_demo2 中表 test2 的BUILD调度优先级为10。SET ADB_CONFIG RC_BUILD_TASK_PRIORITY_LIST=`adb_demo1.test1.30;adb_demo2.test2.10`;配置同一数据库的所有表具有...
枚举实例下所有数据库列表、表列表和列列表。接口说明 地域的公网接入地址:adb.<region-id>.aliyuncs.com 。示例:adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址:adb-vpc.<region-id>.aliyuncs.com 。示例:adb-vpc....
调用用户自定义函数 FACE_FEATURE_EXTRACT_V1()从图片中抽取人脸特征向量,然后将结果写入分析型数据库MySQL版。INSERT INTO black_list(id,name,image_url,gender,feature)VALUES(10,'Zhang San','https://xxx/img.jpg' ,'male',FACE_...
云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库,并和MySQL的元数据库有一定的兼容性,但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...
val df=Seq(welcome).toDF("welcome_col")df.write.format("hive").mode("overwrite").saveAsTable(tableName)/从Hive中读取表tableName。val dfFromHive=sparkSession.sql(s"""|select*from$tableName|""".stripMargin)dfFromHive.show(10...
AnalyticDB for MySQL 湖仓版(3.0)支持新建SLS同步链路,通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版(3.0),以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源,新建SLS同步...
注意事项 在访问数据库前,您需要将访问数据库的IP地址或者IP段加入白名单,操作请参见 设置白名单。使用外网地址会降低实例的安全性,请谨慎选择。为了获得更快的传输速率和更高的安全级别,建议您将应用迁移到与您的HybridDB for MySQL在...
Database string 数据库名称。tdb1 Table string 表名称。table1 Column string 列名称。id Description string 对权限对象的描述。id of table Privileges array 权限列表。string 权限名称,与接口 DescribeEnabledPrivileges 返回的权限...
登录 云原生数据仓库AnalyticDB MySQL控制台,在 监控信息 页面查看 热数据使用量 和 冷数据使用量。如何检查表的大小等信息?登录 云原生数据仓库AnalyticDB MySQL控制台,在集群 监控信息 页的 表信息统计 页签下查看表大小等信息。监控...
AnalyticDB MySQL 湖仓版(3.0)支持通过Spark SQL访问Lindorm数据库。本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作,请参见 创建实例。重要 Lindorm实例需开通宽表...
AnalyticDB for MySQL 湖仓版(3.0)支持指定执行查询的资源组,未指定资源组时,则默认使用user_default资源组执行。提交SQL或Spark应用的方式不同,指定资源组的方式也不同。例如,通过JDBC提交XIHE SQL时,可以通过Hint或绑定资源组的...
高级查询改写 如果查询和物化视图结构不一致,AnalyticDB for MySQL 会运用改写规则,来检查能否从物化视图中找到查询所需的数据进行计算。AnalyticDB for MySQL 会尝试对查询及子查询的每个部分进行改写,且查询中的不同部分可能会使用...
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版(3.0)。常见问题概览 湖仓版(3.0)集群是否支持通过JDBC方式查询Hudi表的数据?湖仓...