一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
部署高可用架构应用集群
本示例中将创建两台轻量应用服务器作为应用服务器（本文中简称 服务器A 和 服务器B），创建一台轻量应用服务器作为数据库服务器（本文中简称 服务器C）。轻量应用负载均衡：默认采用HTTP协议（目前不支持HTTPS协议），监听80端口，且转发...
离线同步提速或限速
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
MongoDB实例空间使用率高问题
执行compact指令导致数据量过大 compact期间对实例的影响 由于compact执⾏的时间与集合的数据量相关，如果数据量过大，则会使compact的执行时间很长，所以为避免影响业务的读写，建议在业务低峰期执⾏compact。compact⽅法 首先在备库上...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
什么是备份数据量
本文介绍 数据库备份DBS 中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份...当您的存储数据量较大时，推荐您购买 DBS存储包（包年包月）抵扣备份存储费用。相比按量付费，DBS存储包更加优惠。
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
数据传输费用（公网下载）
承载数据的HTTP Body使用ProtoBuffer编码，因此一般比数据原始容量要小，但是比压缩后存储在MaxCompute上的数据量要大。说明 跨云通过专线接入阿里云VPC网络，下载时不收取费用。各地域及不同网络连接方式下的Endpoint信息，详情请参见 ...
购买方式2：按量付费
由于存储空间是根据数据量和存储时长收费的，若您需要的数据量较大（如1000 GB或以上），我们推荐配合存储包一起使用，能够享受一定的折扣优惠，且购买的存储包容量越大，折扣越多。说明 存储包分为 中国内地通用 和 中国香港及海外通用 两...
如何支持超大事务
场景一 在该场景下，执行SQL语句数量中等，每条语句携带数据量较大，事务写入数据量较大。执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：...
扫描量版本与CU版本的差异
CU版本 适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。当您使用CU版本时，您可以设置需要的CU个数的MIN（长期保有资源）和MAX（弹性资源）的值，MIN部分可以按量或者包年包月付费，超出MIN的...
购买方式2：按量付费
由于存储空间是根据数据量和存储时长收费的，若您需要的数据量较大（如1000 GB或以上），我们推荐配合存储包一起使用，能够享受一定的折扣优惠，且购买的存储包容量越大，折扣越多。说明 存储包分为 中国内地通用 和 中国香港及海外通用 两...
升级步骤
本章节介绍了 PolarDB MySQL版 集群之间升级的操作步骤。前置检查 说明 若您已完成 升级评估 并且无相关异常，可跳过该前置检查。...升级回滚完成后，如果需要继续执行大版本升级操作，您可以直接从 步骤二：升级切换 操作开始执行。登录...
使用执行计划分析查询
诊断结果 单击执行计划树中某个Stage（如 Stage[1]），即可在右侧查看对应Stage的 诊断结果 详情，包括如下两类诊断：Stage诊断：这类诊断结果包含了对目标Stage诊断结果的详细说明，包括诊断出的问题（如存在较大的数据量被广播或数据倾斜...
如何恢复误删除的数据
详细信息 恢复大量数据方法 恢复MySQL数据 恢复SQL Server数据 恢复PostgreSQL数据 恢复MariaDB数据 恢复少量数据方法 阿里云的 数据管理（DMS）提供的数据追踪功能可以逐条恢复数据，且会自动生成回滚语句，便于少量数据的恢复。...
查看存储包抵扣量
当您的数据量较大时，推荐使用 PolarDB 存储包以降低存储成本。本文将介绍如何查看存储包抵扣量。注意事项 仅支持查看当前有效资源包及失效时间未超一年的资源包。若您需要查看当前集群的数据库存储用量，请参见 查看数据库存储用量。查看...
查看存储包抵扣量
当您的数据量较大时，推荐使用 PolarDB 存储包以降低存储成本。本文将介绍如何查看存储包抵扣量。注意事项 仅支持查看当前有效资源包及失效时间未超一年的资源包。若您需要查看当前集群的数据库存储用量，请参见 查看数据库存储用量。查看...
使用DMS数据追踪进行恢复
数据追踪功能可以快速按需找到目标时间段内的相关更新信息，并生成逆向回滚语句。本文介绍如何使用数据追踪功能。背景信息 在日常访问数据库时，可能由于误更新、误删除、误写入等原因导致数据不符合预期，需要将数据库恢复至正常状态。...
数据服务系统配置
应用内存：缓存数据量较大时不建议使用，占用内存会影响系统的响应速率。适用于个别API需要开启缓存且数据量很少的场景 说明 数据缓存时间将统一获取Dataphin应用部署时设置的内存数据缓存时间，创建API时定义的缓存时间将不生效。指定...
数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
表设计最佳实践
拉链表的设计 在数据仓库的数据模型设计过程中，经常会遇到如下需求：数据量较大。表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
计费常见问题
SQL作业的费用计算方式为 输入数据量×复杂度×单价，因此在复杂度和单价不变情况下，输入数据量越大费用越高。MaxCompute作业跑失败了会收费吗？MaxCompute有两种计费模式：按量计费：如果作业是按照按量计费进行运行的，当运行失败后，...
低成本RDS历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
应用场景：低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过APP写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
简介
当历史数据量较大时，可通过冷数据自动转储功能，将数据存放到OSS中，减少70%以上的成本。百亿量级的轨迹查询（比如查询某段时间、某空间范围内经过的轨迹）只需亚秒级。与spark平台无缝衔接，可以提供类似轨迹相似度、OD分析等强大功能。...
ODS层设计规范
日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天，...
验证数据压缩能力
说明 由于条件限制，本教程仅 20,000 行数据为例，如您时间充裕，可尝试插入 10,000,000 数据，数据量越大压缩效果越明显。概念介绍 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作...
全增量同步任务运维
同步数据量：显示当前同步任务中的已同步数据量，包含已运行成功任务同步的数据量及运行中任务已同步的数据量。同步记录数：显示当前同步任务中的已同步数据的条数记录。说明 离线同步子任务 的统计情况每小时更新一次。实时同步子任务 ...
RDS MySQL修改字符集（平滑方案）
更多选项 单击 大数据导出选项 或 SQL脚本拓展选项，然后选中对应的导出选项。单击 提交申请，等待审批完成。审批通过后，在 下载 区域框，单击 下载导出文件。解压下载的文件，然后修改表结构脚本，调整字符集配置信息，将其更换为需要...
数据库变更管理
单击 回滚，回滚数据。任务流程 在任务详情面板中，单击 任务流程 页签查看发起任务状态、审批状态、执行状态和执行结果等信息。执行结果 在任务详情面板中，单击 执行结果 页签查看执行成功和执行失败记录。回滚工单 在任务详情面板中，...
避免下盘
算子下盘常见原因 在数据量较大的表上执行SORT、JOIN、HASH等操作时，可能由于内存不足导致临时结果落盘。您通过观察执行计划（explain analyze）可以辨认发生了算子下盘：上图是一个发生了算子落盘的查询计划例子，执行计划中Workfile这一...
注意事项
回滚覆盖 由于 PolarDB-X 1.0 柔性事务使用异步方式回滚，在回滚成功前，脏数据可能被同时执行的业务提前修改，产生回滚覆盖问题。避免回滚覆盖的方法与脏读类似，可以采用调整事务SQL顺序，或后置执行的方式解决。另外对于金额、积分、...
实例迁移操作步骤
具体操作，请参见：步骤三：全量迁移 可选：回滚迁移任务 步骤三：全量迁移 灰度迁移完成后，开始全量迁移指定产品的设备数据。重要 请确保系统改造已完成，并发布上线。例如云端API调用必须传入企业版实例ID、AMQP客户端SDK中消费组ID需要...
数据追踪
若影响较大，您可提交普通数据变更工单将此回滚脚本作为附件上传至工单中，执行至目标数据库中。具体操作，请查看 普通数据变更。使用API进行数据追踪。CreateDataTrackOrder-创建数据追踪工单 GetDataTrackJobDegree-获取数据追踪任务进度...
创建备份计划
说明 数据量较大时，建议您购买DBS提供的 备份实例存储包，用于抵扣后续备份计划的 存储费用，该费用仅在数据存储在 DBS内置存储 时收取。更多存储包的选购建议，请参见本文 常见问题。如需了解备份计划后续可能产生的费用问题等，请参见 ...
- 产品推荐
- 这些文档可能帮助您