DataCheckConfigure参数说明
fullCheckMaxReadBps Integer 每秒读取的最大数据量（Byte），取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。dataCheckNoticePhone String 全量或增量数据校验任务告警联系人的手机号。当校验任务触发告警时，将以短信的...
功能特性
通过DataX导入数据 OSS Load 云数据库 SelectDB 版结合OSS对象存储提供了内网高速导入功能，且单次导入数据量可达百GB级别。本文介绍如何通过OSS Load导入数据至云数据库 SelectDB 版实例中。OSS Load Stream Load 本文介绍如何通过Stream ...
升级数据库版本
元数据修改操作包括但不限于添加数据库、删除数据库、修改数据库的恢复模式等。限制条件 符合以下情况的实例暂不支持升级数据库版本：加入 AD域 的实例。BYOL实例。Serverless 实例。开启了 TDE、SSL、云盘加密 功能的实例。经典网络 类型...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
监控
本文汇总了 AnalyticDB for MySQL 中监控的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 ...查询结束后，如果返回结果数据量大，会在前端节点缓存返回结果，产生结果集缓存耗时。SQL耗时如下图所示：
使用方法
您可以使用数据过滤器，自定义数据过滤代码，实现数据结构...注意 测试代码功能需要 开启过滤调试，数据量大时建议关闭。测试成功后，单击 数据响应结果 右侧的 图标，在可视化应用上查看资产的展示效果。更多操作功能请参见 详细功能介绍。
资源组说明
资源组网络拓扑 系统资源组部署在数据资源平台VPC，需要使用公网地址连接用户云资源（部分云资源支持VPC打通），即云资源注册时需要填写公网地址，云资源白名单需要添加数据资源平台的公网出口IP。独享资源组部署在数据资源平台VPC，通过...
离线同步并发和限流之间的关系
小数据量的数据表建议配置小并发，小并发需要的执行资源比较少，有利于任务快速抢占碎片资源得到运行。由于数据量比较小执行耗时可以控制在合理的范围内。同一个数据源上同步任务，建议错峰运行，一方面可以均衡资源组的使用水位，另外也...
备份SQL Server数据
快照备份 快照备份在指定的备份周期中循环执行全量快照备份，相对于常规的物理备份方式，快照备份具有备份速度快、可支持的最大备份数据量大等优点。说明 快照备份是在云盘上对数据的快照进行定期备份，利用快照的特性可以快速地还原数据到...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
应用场景
根据数据量和网络条件，迁移过程可能需要几个小时甚至几天的时间。这个漫长的过程可能会对您的业务产生很大的影响。DTS则可以帮助您以最小化的停机时间迁移您的数据。在数据迁移期间，您的应用程序仍可以保持运行状态。唯一的停机时间是当...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
RDS SQL Server I/O高问题
实例I/O过高时，容易影响查询性能。本文介绍查看I/O吞吐情况的方式以及如何排查I/O高...如果调整备份时间无法避免全量备份操作和业务的冲突，建议升级实例的磁盘性能等级，或者拆分数据，减少单个实例上的数据量，缩短全量备份所需的时间。
PolarDB PostgreSQL版（兼容Oracle）间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
我是管理员
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
部署高可用架构应用集群
基于轻量应用负载均衡，您可以部署高可用架构应用集群。相较于使用单台轻量应用服务器搭建的应用，高可用架构应用集群可以提供业务分发、弹性扩展等能力，以保证应用的稳定性和可用性。本文介绍如何部署轻量应用服务器高可用架构。前提条件...
恢复SQL Server数据
为了获得更准确的备份和恢复性能，请参考最近一次全量备份的数据量和备份时间。在目标实例恢复全量备份 必须 200 GB/小时 无 在源实例进行增量事务日志备份 必须 200 GB/小时 进行增量日志备份前后，可能存在2分钟的额外损耗（例如备份准备...
MongoDB 4.2
迁移所需时间和网络、任务队列、数据量大小等多种因素有关，请在业务低峰期执行迁移可用区操作。迁移可用区过程中会有30秒闪断，请确保应用程序具有重连机制。迁移可用区会造成虚拟IP（VIP，如172.16.88.60）的变更。如果应用连接的是数据...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
大数据用户画像解决方案
用户画像数据具有如下特征：数据量大、高并发读写、明细数据需要归档、大数据量回流、有动态列需求、查询种类多而且复杂。方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
如何支持超大事务
场景一 在该场景下，执行SQL语句数量中等，每条语句携带数据量较大，事务写入数据量较大。执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：...
操作指南
DataV可视分析地图 管理数据树 添加PolarDB PostgreSQL数据库 添加RDS PostgreSQL数据库 管理项目 数据源管理 图层管理 图层交互管理 其他更多操作请参见 操作指南。DataV可视分析创作间 创建数据集 可视分析数据集 自定义编辑卡片 分享...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 重要 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 注意 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
数据导入性能优化
如果单条数据量过大达到数百KB，建议攒批数据大小不超过8 MB，可通过8 MB/单条数据量得到攒批条数。否则单批过大容易占用过多前端节点内存，影响导入性能。应用端并发配置 应用端导入数据时，建议多个并发同时导入数据。单进程无法完全利用...
表设计最佳实践
拉链表的设计 在数据仓库的数据模型设计过程中，经常会遇到如下需求：数据量较大。表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单...
ODS层设计规范
日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天，...
计费常见问题
SQL作业的费用计算方式为 输入数据量×复杂度×单价，因此在复杂度和单价不变情况下，输入数据量越大费用越高。MaxCompute作业跑失败了会收费吗？MaxCompute有两种计费模式：按量计费：如果作业是按照按量计费进行运行的，当运行失败后，...
管理过滤器
重要 过滤器调试功能可确保过滤代码的正确性，但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错：在组件数据面板添加完数据过滤器后，如果将当前数据源切换成其他类型的数据源，会在数据面板展示下面两个错误，提示用户数据源...
详细功能介绍
重要 过滤器调试功能可确保过滤代码的正确性，但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错：在资产数据面板添加完数据过滤器后，如果将当前数据源切换成其他类型的数据源，会在数据面板展示下面两个错误，提示用户数据源...
管理过滤器
重要 过滤器调试功能可确保过滤代码的正确性，但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错：在组件数据面板添加完过滤器后，如果将当前数据源切换成其他类型的数据源，会在错误信息处展示下面两个错误，提示用户数据接口有...
- 产品推荐
- 这些文档可能帮助您