访问MaxCompute数据源

本文介绍如何使用AnalyticDB MySQL湖仓版(3.0)Spark SQL读写MaxCompute数据。背景信息 大数据计算服务MaxCompute是一种快速、完全托管的TB/PB级数据仓库解决方案。您可以通过AnalyticDB MySQL湖仓版(3.0)Spark SQL读写MaxCompute数据。...

产品架构介绍

读写分离/读写不分离:读写分离,写主云读本地。读写不分离,读写均在主云。主备切换:单云故障,支持数据库跨云主备切换,MshaSDK能够将应用原本连接A云的数据源,切换为连接到B云的数据源。切换过程中还具备禁写保护能力,避免产生数据脏...

通过Spark SQL读写Hudi外表

AnalyticDB for MySQL 湖仓版(3.0)和Hudi做了深度整合,您可以通过Spark SQL读写Hudi外表。本文主要介绍如何通过Spark SQL读写Hudi外表。前提条件 湖仓版(3.0)集群的存储预留资源需大于0 ACU。详情请参见 创建湖仓版集群。已在湖仓版...

集群系列

SQL Server集群系列相关内容 类型 内容 集群系列配置 创建SQL Server只读实例 开通读写分离 修改读权重分配 备库可读 其他系列升级为集群系列 基础系列升级为集群系列、高可用系列升级为集群系列 购买实例 购买集群系列实例的方法,请参见 ...

ModifyDBClusterEndpoint

ReadWriteMode String 否 ReadWrite 读写模式,取值范围如下:ReadWrite:可读可写(自动读写分离)ReadOnly:只读 AutoAddNewNodes String 否 Enable 新节点是否自动加入本地址,取值范围如下:Enable:是 Disable:否(默认值)...

ModifyDBClusterEndpoint

ReadWriteMode String 否 ReadWrite 读写模式,取值范围如下:ReadWrite:可读可写(自动读写分离)ReadOnly:只读 AutoAddNewNodes String 否 Enable 新节点是否自动加入本地址,取值范围如下:Enable:是 Disable:否(默认值)...

通过Spark SQL读写Delta外表

AnalyticDB for MySQL 湖仓版(3.0)和Delta表格式进行了整合,您可以通过Spark SQL读写Delta外表。本文主要介绍如何通过Spark SQL读写Delta外表。前提条件 AnalyticDB MySQL 湖仓版(3.0)集群与OSS存储空间位于相同地域。已在湖仓版(3.0...

读写分离

说明 此读写分离自定义HINT仅仅针对非事务中的读SQL语句生效,如果SQL语句是写SQL或者SQL语句在事务中,那么还是会下发到RDS的主实例执行。PolarDB-X 1.0 针对/*+TDDL:slave()*/自定义HINT,会从只读实例中按照权重随机选取一个下发SQL语句...

OSS存储读写分离最佳实践

通过读写分离优化ossfs数据读取速度 下文以手写图像识别训练应用和OSS SDK为例,介绍如何改造应用实现读写分离。在容器环境中安装SDK,可在构建镜像时,增加以下内容。具体操作,请参见 Python安装。RUN pip install oss2 参考OSS的官方...

Flink Table Store与Spark集成

conf spark.sql.catalog.tablestore.metastore=dlf-conf spark.sql.catalog.tablestore.warehouse=oss:/oss-bucket/warehouse 步骤二:通过Spark SQL读写Flink Table Store中的数据 执行以下Spark SQL语句,在Catalog中创建一张表,并读写...

流式读写

tmp/delta_table_summary/_checkpoints").start("/tmp/delta_table_summary")Streaming SQL读写 create table targetTableName(key bigint,value bigint)using delta;create table sourceTableName(key bigint,value bigint)using delta;...

Paimon与Spark集成

步骤二:通过Spark SQL读写Paimon中的数据 执行以下Spark SQL语句,在Catalog中创建一张表,并读写表中的数据。在之前创建的paimon的Catalog中,创建并使用一个测试DATABASE。CREATE DATABASE paimon.test_db;USE paimon.test_db;创建...

查看和管理实例连接地址和端口

查看内外网地址和端口 修改内外网地址和端口 数据库代理连接地址 如果实例开通了数据库代理,推荐使用数据库代理连接地址连接实例,充分发挥读写分离性能,降低主实例负载。详情请参见 什么是数据库代理。配置数据库代理连接地址访问策略 ...

产品架构

读写分离 读写分离是 PolarDB 集群版 默认免费提供的一个透明、高可用、自适应的负载均衡能力。通过集群地址,SQL请求自动转发到 PolarDB 集群版 的各个节点,提供聚合、高吞吐的并发SQL处理能力。请参见 读写分离。高速链路互联 数据库的...

产品架构

读写分离 读写分离是 PolarDB 集群版 默认免费提供的一个透明、高可用、自适应的负载均衡能力。通过集群地址,SQL请求自动转发到 PolarDB 集群版 的各个节点,提供聚合、高吞吐的并发SQL处理能力。请参见 读写分离。高速链路互联 数据库的...

使用Notebook开发

更多信息,请参见 通过Spark SQL读写C-Store表数据%spark 提交python代码到ADB Spark。说明 新创建的session,ADB Spark会保留20分钟,超时后会被删除。您可通过重启kernel或执行%configure 重新创建新的session。文件的上传与下载 使用...

基础使用

执行以下命令,通过Spark SQL读写Iceberg配置。在Spark SQL中操作Iceberg,首先需要配置Catalog。Catalog的配置以 spark.sql.catalog.作为前缀。以下是在Spark SQL中使用数据湖元数据的配置,集群版本不同默认的Catalog名称不同,需要配置...

通过Spark SQL读写OSS外表

本文以OSS Parquet格式为例介绍如何通过Spark SQL读写OSS外表。前提条件 已创建 湖仓版(3.0)集群。详情请参见 创建湖仓版集群。已创建Job型资源组。详情请参见 新建资源组。已创建数据库普通账号,并将RAM用户(子账号)绑定到 ...

通过Spark SQL读写C-Store表数据

Spark配置项 通过Spark SQL读写C-Store表时,支持配置如下配置项:配置项 说明 默认值 spark.adb.write.batchSize 单批次写入数据的条数。取值范围为大于0的正整数。说明 仅在线写入数据时,支持配置该参数。600 spark.adb.write.arrow....

Spark SQL创建C-Store表

AnalyticDB MySQL 支持使用Spark SQL创建C-Store表,本文主要介绍使用Spark SQL创建C-Store表的语法、示例以及数据类型的映射关系。背景信息 AnalyticDB MySQL Spark SQL创建C-Store表的语法与开源社区Spark...通过Spark SQL读写C-Store表数据

读写分离

您可以通过Hint指定那些需要保证实时性和强一致性的读SQL到主实例上执行,详情请参见 读写分离读写分离对事务的支持 读写分离仅对显式事务(即需要显式提交或回滚的事务)以外的读请求(即查询请求)有效,写请求和显式事务中的读请求...

RDS(SQL Server)

本文介绍如何使用Databricks 读写阿里云RDS(SQL Server)数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 SQL Server实例,具体参见 创建 SQL Server实例。已创建DDI集群,具体请参见 DDI集群创建。创建集群并通过...

修改读权重分配

在业务高峰期或高并发读取场景下,您可以按需重新修改只读地址的读权重分配比例,只读地址会根据修改后的权重将读请求自动转发给备节点和所有配置的只读实例中,以适应不同的业务需求和负载情况,提供更好的读写分离服务。前提条件 已创建...

RDS SQL Server规格族支持的功能

✔️ ✔️ ✔️ 切换虚拟交换机 ✔️ ✔️ ✔️ 申请外网地址 ✔️ ✔️ ✔️ 监控报警 查看监控 ✔️ ✔️ ✔️ 设置监控频率 ✔️ ✔️ ✔️ 设置报警规则 ✔️ ✔️ ✔️ 只读实例与读写分离 说明 主实例版本为SQL Server 2017企业集群...

产品优势

简单易用:兼容 MySQL 协议和大部分 MySQL SQL 语法,无业务侵入式使用读写分离,支持全面的运维和监控能力。成熟度高:基于蚂蚁集团内部多年的金融级数据容灾场景,十年来专注于为海量数据访问提供低消耗、高性能、高可用的轻量级解决方案...

关闭读写分离(只读地址)

如果您暂时不再需要读写分离功能,可以将其关闭。关闭前建议先评估具体的业务需求,并确保关闭读写分离不会对系统的性能、可用性等产生影响。前提条件 SQL Server主实例满足以下条件:实例版本:2017 企业集群版、2019 企业集群版、2022 ...

如何使用HINT(5.2及以下版本适用)

注意 此读写分离自定义HINT仅仅针对非事务中的读SQL语句生效,如果SQL语句是写SQL或者SQL语句在事务中,那么还是会下发到RDS的主实例执行。PolarDB-X 1.0 针对/!TDDL:SLAVE*/自定义HINT,会从只读实例中按照权重随机选取一个下发SQL语句...

验证读写分离

根据只读实例和主实例的SQL命令执行记录判断读请求和写请求由哪个实例处理,是否实现了读写分离。操作步骤 在RDS控制台设置读写分离权重。访问 RDS实例列表,在上方选择地域,然后单击主实例ID。在左侧导航栏,单击 数据库代理,然后在 ...

概述

读写分离读写分离功能是在只读实例的基础上,额外提供了一个读写分离地址,联动主实例及其所有只读实例,创建自动的读写分离链路。应用程序只需连接读写分离地址进行数据读取及写入操作,读写分离程序会自动将写入请求发往主实例,而将...

什么是PolarDB MySQL企业版

读写分离 读写分离是 PolarDB 集群版 默认免费提供的一个透明、高可用、自适应的负载均衡能力。通过集群地址,SQL请求自动转发到 PolarDB 集群版 的各个节点,提供聚合、高吞吐的并发SQL处理能力。请参见 什么是读写分离。高速链路互联 ...

技术原理

示意图如下:读写分离对事务的支持 读写分离仅对显式事务(即需要显式提交或回滚的事务)以外的读请求(即查询请求)有效,写请求和显式事务中的读请求(包括只读事务)均在主实例中执行,不会被分流到只读实例。常见的读、写请求SQL语句...

升级数据库版本

集群系列 实例基于SQL Server源生AlwaysOn技术,实现计算与存储分离,并且支持创建一个或多个 只读实例 实现 读写分离,通过只读实例可解决大量的数据库读取需求。说明 不同版本的功能差异,请参见 各版本的功能差异。注意事项 大版本、...

企业版产品系列

读写分离 数据库代理的读写分离功能是 集群版 默认提供的一个透明、高可用、自适应的负载均衡能力。通过集群地址,SQL请求自动转发到 集群版 的各个数据库节点,提供聚合、高吞吐的并发SQL处理能力。具体请参见 什么是读写分离。高速链路...

什么是RDS MySQL

读写分离读写分离功能是在只读实例的基础上,额外提供了一个读写分离地址,联动主实例及其所有只读实例,创建自动的读写分离链路。应用程序只需连接读写分离地址进行数据读取及写入操作,读写分离程序会自动将写入请求发往主实例,而将...

读写分离

在金融级业务场景下,当需要实时、强一致读时,可以通过数据访问代理控制台的 数据库设置 页面来关闭读写分离功能,这时数据访问代理仅能通过强读的方式读取主 RDS 实例,保证访问该库的 SQL 语句只在主 RDS 实例上执行。

混合负载HTAP

您可以通过Hint指定哪些读SQL在主实例上执行,也可以预先设置读写比例,详情请参见 配置读写分离。智能读写分离 现阶段,HTAP数据库实际应用的一大障碍是AP类查询对TP类查询的影响。为了解决这一问题,PolarDB-X 建议您部署独立的只读实例...

释放读写分离地址

该接口用于释放读写分离地址。接口说明 适用引擎 RDS MySQL RDS SQL Server 前体条件 调用该接口时,实例必须满足以下条件,否则将操作失败:MySQL 实例使用的是共享代理。实例已开通读写分离。实例为如下版本:MySQL 5.7 高可用版(本地 ...

释放读写分离地址

该接口用于释放读写分离地址。接口说明 适用引擎 RDS MySQL RDS SQL Server 前体条件 调用该接口时,实例必须满足以下条件,否则将操作失败:MySQL 实例使用的是共享代理。实例已开通读写分离。实例为如下版本:MySQL 5.7 高可用版(本地 ...

配置数据库代理

本文将为您介绍如何配置数据库代理,包括如何开启读写分离、事务拆分和一致性级别等功能,您可以通过创建或修改集群地址进行配置。创建自定义集群地址 您可以在创建自定义集群地址时,选择开启读写分离、事务拆分和一致性级别。操作步骤 ...

PolarDB PostgreSQL版一致性级别

PolarDB读写分离的会话一致性 PolarDB是读写分离的架构,传统的读写分离都只提供最终一致性的保证,主从复制延迟会导致从不同节点查询到的结果不同,比如一个会话内连续执行以下QUERY:INSERT INTO t1(id,price)VALUES(111,96);UPDATE t1 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据仓库AnalyticDB MySQL版 云原生数据仓库 AnalyticDB PostgreSQL版 云数据库Cassandra版 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用