离线同步并发和限流之间的关系
小数据量的数据表建议配置小并发，小并发需要的执行资源比较少，有利于任务快速抢占碎片资源得到运行。由于数据量比较小执行耗时可以控制在合理的范围内。同一个数据源上同步任务，建议错峰运行，一方面可以均衡资源组的使用水位，另外也...
OSS数据安全防护最佳实践
智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，诸如数据异常访问和潜在的泄漏风险进行有效识别和监控，并提供修复建议。提供定制化的敏感数据识别能力，便于客户自定义识别标准，实现精准识别和高效防护。...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
整库离线同步至Elasticsearch
您可以根据实际网络情况及数据量大小进行合理配置，减少不必要的网络开销。增量同步 仅当 方案选择 配置为 只增量一次性同步、周期性增量同步 或 全量一次性同步后周期增量 时，需要配置该参数。说明 您可以使用调度参数来指定同步源表及...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
查询优化（Query Optimizer)
优化器的功能是否强大是决定数据库性能是否高效稳定的核心因素，尤其在具有混合负载的场景下（包括一定复杂分析查询），优化器对于大数据量复杂查询的执行效率至关重要。本章节将介绍 PolarDB MySQL版 查询优化器组件在多个方面的功能，...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
离线同步任务调优
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
Tair小版本发布日志
6.2.4.7 HIGH 2023-03-03 缺陷修复 优化了在Pipeline大量请求下极端情况会导致HA的问题。6.2.4.6 LOW 2023-03-02 功能优化 读写分离架构支持在从节点执行只读请求（EVAL、EVALSHA 等），您可以通过 readonly_lua_route_ronode_enable 参数...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
ODS层设计规范
日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天，...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
查看与减少数据备份
说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度，则不额外收取备份费用，否则超出部分按量付费。更多信息，请参见 备份费用。如果使用了DBS内置存储，还将收取存储费用，更多信息，请参见 存储费用。备份...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
通过 HyperLoglog 实现高性能多维数据透视
结合以上优化，不管数据量多大，单次透视请求的响应速度都可以控制在100毫秒以内。通过预计算优化，希望得到以下结果：t_result(day,-日期 brand,-品牌 ID groupid,-渠道、地区、门店 ID tag1,-标签类型1 tag2,-标签类型2 tag3,-标签类型3....
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 重要 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 注意 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
恢复数据库
规格越高恢复速度越快，数据量越大恢复所需的时间也就越长。更多信息，请参见 备份恢复性能说明。操作步骤 说明 本示例仅介绍通用配置流程，不同数据库引擎的恢复配置略有不同。关于各类数据库引擎的详细配置案例，请参见 备份与恢复概览。...
功能特性
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。创建虚拟集群 元数据管理 可视化全局管理视图，可以进行元数据的操作，例如创建Schema、查看库表信息、查询数据等。查询Schema详情 元信息发现...
使用流程
操作流程概览如下：开通云原生数据湖分析服务 可选：创建虚拟集群：CU版适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。推荐您使用CU版本来进行数据分析与计算。说明 如果您使用系统默认的...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
功能特性
此外，OceanBase 数据库支持超大规模集群（节点超过 1500 台，最大单集群数据量超过 3 PB，单表数量达到万亿行级别）动态扩展，在 TPC-C 场景中，系统扩展比可以达到 1:0.9，使用户投资的硬件成本被最大化的利用。高可用 OceanBase 数据库...
MongoDB逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
SQL Server逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
数据传输服务（上传）场景与工具
当上传的数据量较大时，建议配置Tunnel Endpoint为经典网络或VPC网络相应的Tunnel Endpoint。经典网络或VPC网络需要通过阿里云ECS连通或者通过网络专线开通。如果上传数据速度太慢，可以考虑使用多线程上传方式。更多Tunnel Endpoint信息，...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
恢复全量数据
影响速度的主要因素如下：全量备份数据大小：数据量越大恢复速度越慢。增量备份数据大小：数据量越大恢复速度越慢。是否存在大事务：Binlog中存在大事务会拖慢恢复速度。是否存在热点更新：Binlog中存在热点更新会拖慢恢复速度。是否存在外...
数据归档
云盘版本的RDS PostgreSQL实例数据表文件都存储在云盘（ESSD）中，在数据量较大时，可能会面临较高的存储成本。通常，RDS PostgreSQL实例的数据包含冷数据和热数据。通过数据归档功能，可以将对象存储（OSS）用作归档冷数据的存储介质，...
数据归档概述
DMS会在DBS中创建一个备份计划，DBS会根据备份的数据量收取备份、存储等费用。费用请参见 DBS费用概述。说明 数据归档创建的DBS备份计划规格为xlarge。如果您想要查看归档后的数据，需要开通云原生数据湖分析DLA服务。费用请参见 计费概述...
配置备份计划
否则恢复时需要回放大量binlog，会有很大几率出现恢复异常，恢复RTO（Recovery Time Objective）长，恢复失败的情况。全量备份周期 全量备份频率 为 周期备份 时必选。勾选备份数据的周期，每周最少选择一天进行数据备份。全量备份开始时间...
数据归档OSS
云盘版本的RDS SQL Server实例数据文件通常存储在ESSD云盘中，在数据量较大时，会面临较高的存储成本。为了帮助用户实现降本增效，RDS SQL Server提供了数据库级别的数据归档至对象存储OSS的功能。该功能允许用户在控制台数据库管理页面或...
RDS MySQL或自建MySQL逻辑备份
当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣DBS内置存储费用。相比按量付费，DBS存储包更加优惠。存储方式 请选择存储方式，当前支持：内置加密存储（推荐）：使用行业标准的AES256算法（即256位高级加密标准）进行加密...
- 产品推荐
- 这些文档可能帮助您