数据组织优化
另外，对于超过一定时间跨度的文件也不会进行合并，因为将时间跨度太大的数据合并在一起可能导致在进行Time travel或者增量查询时读取大量不属于此次查询时间范围的历史数据，进而造成不必要的读放大问题。由于数据是按照 BucketIndex 来...
方案分析
对比 读扩散（拉模式）写扩散（推模式）网络最大开销时刻 获取Feed流时 发布Feed时 读写放大 放大读 放大写 读写比例 99:1 1:99 用户读取延时 秒 毫秒 系统要求 读能力强 写能力强 架构复杂度 复杂 简单 拉模式和推模式在很多方面完全相反...
EMR Spark功能增强
调大Spark-Submit的stack深度。EMR-3.26.3 Spark 2.4.3 配置默认的committer为JindoOssCommitter。EMR-3.25.0 Spark 2.4.3 支持在控制台配置 spark.sql.extensions 等Delta相关参数。支持Hive读取Delta table，避免set inputformat。支持...
PolarDB PostgreSQL版架构介绍
HTAP架构概述 读写分离后，单个计算节点无法发挥出存储侧大IO带宽的优势，也无法通过增加计算资源来加速大的查询。PolarDB PostgreSQL版 推出了基于Shared-Storage的MPP分布式并行执行，来加速在OLTP场景下OLAP查询。PolarDB PostgreSQL版 ...
PolarDB PostgreSQL版架构介绍
HTAP架构概述 读写分离后，单个计算节点无法发挥出存储侧大IO带宽的优势，也无法通过增加计算资源来加速大的查询。PolarDB PostgreSQL版（兼容Oracle）推出了基于Shared-Storage的MPP分布式并行执行，来加速在OLTP场景下OLAP查询。PolarDB ...
分区（Shard）
当数据流量超出读写能力时，及时分裂Shard以增加Shard个数，从而达到更大的读写能力。当数据流量远未达到Shard的最大读写能力时，及时合并Shard以减少Shard个数，从而降低活跃Shard租用费用。例如您有两个readwrite状态的Shard，最大可提供...
管理Shard
您可以通过分裂、合并操作控制活跃的Shard数量来调整日志服务Logstore可以提供的最大读写能力。分裂Shard可以自动触发，但合并Shard必须手动执行。本文为您介绍如何分裂、合并、删除Shard以及设置自动分裂Shard。基本概念 日志服务中的数据...
数据读写
本文介绍日志服务读写数据的限制。类别 限制项 说明 备注 Project 写入流量 原始数据写入流量最大为100GB/min。超过限制时，返回状态码403，提示Inflow Quota Exceed。如果您有更大的使用需求，请提 工单 申请。写入次数 写入次数最大为...
性能说明FAQ
通用型NAS 单个文件系统的读写性能上限（峰值）与文件系统的当前使用容量线性相关且成正比例关系，即使用容量越大，吞吐性能上限（峰值）越高。更多信息，请参见 通用型NAS。极速型NAS 单个文件系统的读写性能随配置容量的增长呈阶梯式增长...
时序模型计量计费
时序线数据单次读写按照该请求所有数据累计后计算CU，其中写入1 KB数据计算为1 CU，读取4 KB数据计算为1 CU。重要 写入数据大小不足1 KB的部分向上取整为1 KB，读取数据大小不足4 KB的部分向上取整为4 KB。时间线元数据 数据存储 按量付费 ...
RDS实例读写频率满足最低要求
RDS实例的每秒读写次数大于等于您设置的期望值，视为“合规”。应用场景 确保RDS实例的每秒最大读写次数满足业务最低要求。风险等级 默认风险等级：低风险。当您使用该规则时，可以按照实际需求变更风险等级。检测逻辑 RDS实例的每秒读写...
Performance Insight
IO：数据文件读写时间、日志文件写入时间、逻辑读取、物理读取、物理异步读取等。Object statistics使用方法 确认参数 OPT_TABLESTAT 和 OPT_INDEXSTAT 的值为 ON。示例如下：mysql>show variables like"opt_%_stat;Variable_name|Value|+-...
SQL处理优化
在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除，详情可参见 TimeTravel 查询设计，从而极大影响读取效率，因此对于查询频率和效率要求比较高的业务场景，...
内存型
Tair 内存型（简称内存型）适合并发量大、读写热点多，对性能要求超过 Redis社区版 实例的场景。相比 Redis社区版，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 立即购买云原生版实例（推荐），具体操作请参见 创建...
主从版的应用场景
要求高可用，且读取流量较大的生产环境。不同可用区的三机房容灾场景。操作步骤 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在页面左侧单击 实例列表>MySQL。单击 创建实例，参考以下示例创建对应实例。创建 单节点 实例，...
局部事务
对局部事务中的数据进行读写操作后，可以根据实际提交或者丢弃局部事务。局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果需要使用该功能，请 提交工单 进行申请或者加入钉钉群23307953...
局部事务
对局部事务中的数据进行读写操作后，可以根据实际提交或者丢弃局部事务。局部事务通过悲观锁（Pessimistic Lock）实现并发控制。目前局部事务功能处于邀测中，默认关闭。如果需要使用该功能，请 提交工单 进行申请或者加入钉钉群23307953...
局部事务
为数据表开启局部事务后，使用局部事务功能，您可以创建数据范围在一个分区键值内的局部事务并对局部事务中的数据进行读写操作。通过使用局部事务您可以实现单行或多行读写的原子操作。目前局部事务功能处于邀测中，默认关闭。如果需要使用...
插件配置概述
logstash-input-datahub插件使用说明 logstash-input-maxcompute 从阿里云大数据计算服务MaxCompute读取数据。logstash-input-maxcompute插件使用说明 logstash-input-oss 从阿里云对象存储服务OSS读取数据。logstash-input-oss插件使用...
IO加速
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
PHP运行环境说明
开启静态资源缓存：适用于在线服务、大量媒体文件站点等场景，提升带宽吞吐能力、降低IOPS读取压力。关闭静态资源缓存：适用于远程调试、上传下载等场景，可实时访问文件。nginx/default.conf 配置如下：#静态资源缓存 location~\.?jpg|...
RDS通用云盘IO加速（BPE）性能&价格力观测
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型—— 通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并引入了...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
通用云盘IO加速功能技术介绍
当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品推出新的存储类型——通用云盘。在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
Postgres CDC（公测中）
Postgres CDC可用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。本文为您介绍如何使用Postgres CDC连接器。背景信息 Postgres CDC连接器支持的信息...
概述
应用程序只需连接读写分离地址进行数据读取及写入操作，读写分离程序会自动将写入请求发往主实例，而将读取请求按照权重发往各个只读实例。用户只需通过添加只读实例的个数，即可不断扩展系统的处理能力，应用程序上无需做任何修改。什么是...
读写分离
PolarDB PostgreSQL版 集群自带读写分离功能，通过一个集群地址（读写分离地址）实现读写请求的自动转发。背景信息 在对数据库有少量写请求，但有大量读请求的应用场景下，单个节点可能无法承受读取压力，甚至对业务产生影响。使用集群地址...
读写分离简介
为了实现弹性扩展的读取能力，并分担数据库压力，RDS SQL Server支持通过创建一个或多个只读实例来实现读写分离，通过只读实例满足大量的数据库读取需求，可以增加应用程序的吞吐量。简介 RDS SQL Server基于源生AlwaysOn技术，通过物理...
什么是RDS MySQL
应用程序只需连接读写分离地址进行数据读取及写入操作，读写分离程序会自动将写入请求发往主实例，而将读取请求按照权重发往各个只读实例。用户只需通过添加只读实例的个数，即可不断扩展系统的处理能力，应用程序上无需做任何修改。数据库...
PostgreSQL只读实例简介
在对数据库有少量写请求，但有大量读请求的应用场景下，单个实例可能无法承受读取压力，甚至对业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用...
JSON与XML解析库
property_parse JSON 与 XML 解析函数，主要用来解析 JSON 格式。函数原型 property_parse(string property_value,int property_type)returns(uint result);请求参数 参数 必选 类型 说明 property_value 是 string JSON 格式数据 property...
GetStreamRecord
调用GetStreamRecord接口读取当前Shard的增量内容。请求消息结构 message GetStreamRecordRequest { required string shard_iterator=1;optional int32 limit=2;} 名称 类型 是否必选 描述 shard_iterator string 是 当前Shard读取的...
重要组件
Primary即为拥有读写权限的读写库，Replica即为只读实例，仅仅拥有读取数据的权限（后台线程也不能修改数据），Primary和Replica采用Shared Everything架构，即底层共享同一份数据文件和日志文件。StandBy节点拥有一份独立的数据和日志文件...
资源包介绍
新版 资源包-预付计划 2.0（推荐）资源包可用于抵扣日志服务所有的计费项，规格越大、包年期时长越长，价格优惠力度越大。系统每天会统计您使用的日志服务用量，在资源包额度范围内直接抵扣。在有效期内，每月有相同的资源额度。当月额度被...
RDS MySQL I/O高问题
高吞吐导致实例I/O高 现象 如果表上有很多索引或大字段，频繁地更新、删除、插入，读取数据和刷新脏页时会有大量的I/O。您可以在控制台的 自治服务>性能趋势 页面，单击 性能趋势 页签，查看读写负载情况。解决方案 建议降低读写频率或升级...
DML差异
LOAD XML 不支持 将数据从XML文件读取到表中。REPLACE 支持，详情请参见 REPLACE INTO。REPLACE的运行与INSERT完全相同，不同之处在于，如果表中的旧行与PRIMARY KEY或UNIQUE索引的新行具有相同的值，则在插入新行之前删除该旧行。SELECT，...
读写分离
当 PolarDB-X 1.0 存储资源MySQL主实例的读请求较多、读压力比较大时，您可以通过读写分离功能对读流量进行分流，减轻存储层的读压力。PolarDB-X 1.0 读写分离功能采用了对应用透明的设计。在不修改应用程序任何代码的情况下，只需在控制台...
使用数据库实现读写流量路由
MSE提供一种数据库访问的读写流量路由的方案，您可以在不需要修改业务代码的情况下，基于此功能实现数据库读写分离。本文介绍如何开启数据库读写流量路由和配置读写流量路由规则。前提条件 将ACK微服务应用接入MSE治理中心。背景信息 读写...
- 产品推荐
- 这些文档可能帮助您