入湖基础操作

关系数据库全量入湖:可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖,选择在数据源管理中配置好的数据源,将数据源对应数据库中选定表的数据全量同步到OSS中,如果待同步表中数据量大,则所消耗的资源也会比较大,建议在业务...

RDS SQL Server I/O高问题

实例I/O过高时,容易影响查询性能。本文介绍查看I/O吞吐情况的方式以及如何排查I/O高...如果调整备份时间无法避免全量备份操作和业务的冲突,建议升级实例的磁盘性能等级,或者拆分数据,减少单个实例上的数据量,缩短全量备份所需的时间。

表设计规范

单个分区中数据量的情况下,MaxCompute执行任务时会进行分片处理而不影响分区裁剪的优势。单个分区中文件数较多时,会影响MaxCompute Instance数量,造成资源浪费和SQL性能的下降。采用多级分区时,建议先按日期分区,然后按交易类型...

调优集群性能

如下图所示,某个表分布不均,存储节点0上的Shard_0和Shard_1中数据量,而在存储节点1上的Shard_2和Shard_3中数据量较小,那么当您查询这个表时,较概率会出现存储节点0需要处理的数据多,存储节点1上需要处理的数据少的情况,...

功能特性

通过DataX导入数据 OSS Load 云数据库 SelectDB 版结合OSS对象存储提供了内网高速导入功能,且单次导入数据量可达百GB级别。本文介绍如何通过OSS Load导入数据至云数据库 SelectDB 版实例。OSS Load Stream Load 本文介绍如何通过Stream ...

数据校验计费方式

本文介绍DTS数据校验任务的计费方式和计费标准。计费方式 全量数据校验任务当前仅支持按量付费(后付费)的计费方式。说明 按表行数进行校验 的校验模式不收费,按抽样比例进行HASH校验 的校验...校验的数据量源库待校验数据的大小。

ECS实例说明

数据型 使用本地SATA盘作存储数据,存储性价比高,是大数据量(TB级别的数据量)场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点;Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...

索引优化

数据集场景下优先考虑稀疏索引:如果您的数据量非常地大,并且您的查询限定条件为<、、=、>=、>,需要从大数据量的表取出少于50%的数据,那么使用稀疏索引(BRIN Index或者AOCS表的metascan)可以极地减少无效数据的加载。...

OSS数据安全防护最佳实践

扫描时长将由您所需扫描的数据量决定。更多信息,请参见 数据源授权完成后需要多长时间完成扫描。在 DSC 扫描数据的过程,已经完成扫描的阶段性结果,会展现在 数据安全中心控制台 概览 页面。更多信息,请参见 控制台概览。在 敏感数据...

元数据抽取

在业务运行,经常会沉淀到大量数据数据这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据特定格式的数据,并自动生成元数据信息,通过周期性或手动执行,实现数据...

自媒体:易撰

业务端数据存储量大,TB级数据存储诉求,且数据量持续高速增长。业务端数据有更新诉求,对事务有强一致性要求。解决方案 通过 PolarDB-X+RDS的分布式数据库架构承载数据获取端高并发写。通过 PolarDB-X+PolarDB承载大范围时间查询业务场景...

内置检测模型说明

数据安全中心DSC(Data Security Center)通过内置的行为异常自学习模型和流转异常自学习模型,能够高效地分析审计日志,以识别与敏感数据相关的异常行为及攻击行为。当这些模型检测到潜在的风险活动时,会自动触发告警。支持的数据库 RDS...

什么是云数据库HBase

云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析(参见 云原生多模数据库Lindorm)、全文检索(参见Lindorm产品)等能力,结合完备的工具服务,丰富的生态融合,一站式高效满足企业在大数据量场景下的...

数据倾斜诊断

复制分布方式通常只会用在数据量小的表,如果数据量大的表使用复制分布方式,会导致数据急剧膨胀。哈希(HASH)分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上,该方式的关键在于如何选择分布键,分布键选择不正确时,...

新零售:杭州数云信息技术有限公司

单机存储瓶颈,传统数据库单个实例只能存3T数据,单实例业务数据量大,维护成本高,代码配置复杂。高并发写诉求,对高并发状态下的写能力有较高要求。解决方案 PolarDB 在大促期间可以在20分钟内完成10TB级数据的集群升配,快速弹升IOPS的...

SLS的OSS投递数据

业务场景 企业会把服务日志、行为日志等数据存储在日志服务SLS,当数据量时,可以通过投递的方式把全量数据归档到OSS。以前这些数据不可进行分析计算,使用DLA的元信息发现功能,能够一键构建数据湖的元数据,接入DLA的统一数据分析...

同数据库归档

当数据库表的数据量时,可能会影响查询数据速率,在不考虑将数据迁移到其他数据库的情况下,您可以将数据库的历史数据或使用频率低的冷数据归档在当前数据库下的其他表。同时,结合DMS提供的归档时清理源表功能,帮助您提升数据...

表设计最佳实践

拉链表的设计 在数据仓库的数据模型设计过程,经常会遇到如下需求:数据量。表的部分字段被更新。例如,用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如,查看某一个订单...

高压缩引擎(X-Engine)介绍

数据量导致数据备份时间过长甚至备份失败;同时如何存放备份数据也是一个问题。针对如上问题,一种做法是对历史数据做归档,将长期不使用的数据迁移至以文件形式存储的廉价存储设备上,如阿里云OSS或者阿里云数据库DBS服务。然而,在...

风险识别管理(新版)

规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五:22:00~24:00。周六至周日:00:00~24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...

什么是DataWorks

从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。产品架构 DataWorks十多年...

数据重排

在MaxCompute的使用过程,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。...

监控

本文汇总了 AnalyticDB for MySQL 监控的常见问题及解决方法。说明 当常见问题场景未明确产品系列时,表明该问题仅适用于 ...查询结束后,如果返回结果数据量大,会在前端节点缓存返回结果,产生结果集缓存耗时。SQL耗时如下图所示:

Iceberg概述

在Iceberg数据湖中,您可以直接通过执行类似命令 DELETE FROM test_table WHERE id>10,来完成表中数据的变更。数据质量控制 借助于Iceberg Schema的校验功能,在数据导入时剔除异常数据,或者对异常数据做进一步处理。数据Schema变更 数据...

应用场景

互联网类应用 Cassandra能够支持并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用性和容灾能力。云...

数据归档概述

DMS会在DBS创建一个备份计划,DBS会根据备份的数据量收取备份、存储等费用。费用请参见 DBS费用概述。说明 数据归档创建的DBS备份计划规格为xlarge。如果您想要查看归档后的数据,需要开通云原生数据湖分析DLA服务。费用请参见 计费概述...

ODS层设计规范

日志(数据量非常,例如一天数据量大于100 GB)数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天,...

恢复库表

如果恢复过程涉及的库表数据过多、数据量或者用户指定时间点内的binlog数量过多,可能会导致恢复时间过长。费用说明 常规库表恢复 本地盘 本地盘实例常规的库表恢复功能默认开启,不会产生费用。若使用常规库表恢复功能恢复到新实例...

计费概述

适用于查询频率高、查询数据量的场景,同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较且频繁,每个月甚至每周都可能要变更集群配置,推荐您购买按量付费集群并搭配资源包使用。按计算资源付费(CU版计费...

数据变更最佳实践

批量和实时导入数据 批量导入:适用于大数据量导入的场景,导入过程可以查询旧数据,导入操作完成后一键切换新数据。导入失败时,支持回滚新数据,不影响查询旧数据。例如,从MaxCompute、OSS导入数据到 AnalyticDB MySQL版 时,推荐...

分区表常见问题

如:租户的数据量多,但租户少;小租户多但数据量少;或者随时会新增小租户,无法在建表时全部枚举出来。在这种场景下,您可以在一张分区表同时使用两种分区:租户单独使用LIST分区,或多个租户组合使用一个LIST分区。分区个数...

典型慢查询

如果Join后产生的数据量,过滤操作就会消耗较的CPU资源。Join时没有指定Join条件。如果没有指定Join条件,AnalyticDB MySQL 会对左右两表执行笛卡尔积运算,产生的数据量行数是左右两表数据行数的乘积,该类操作会导致消耗较的CPU...

DML操作常见问题

如果表数据量,如何删除非分区表的重复数据?执行INSERT操作过程出现错误,会损坏原有数据吗?不会损坏原有数据。MaxCompute满足原子性,INSERT操作执行成功则更新数据,INSERT操作执行失败则回滚数据。执行INSERT INTO或INSERT ...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

配置同步任务

出错限制 指数据同步过程,出错的记录数超过多少条则任务中止。默认为0条,即不允许出错。配置同步任务的调度参数,详情请参见 调度配置。保存、提交和发布同步任务:单击页面上方的 图标,保存代码任务。单击页面上方的 图标,提交代码...

混合存储型(已停售)

场景分类 混合存储型实例 社区版实例 数据量与预算 数据量大,有降低成本需求。正在使用Pika、SSDB或者ARDB等。正在使用大容量的主备或者集群Redis。数据量小,或者预算充足且暂时无需降低存储成本。冷热数据分布 业务冷热数据区分明显。...

RDS SQL Server空间不足问题

数据空间的回收通常有如下几种方式:归档数据 删除数据库不常用的数据(例如早期的历史数据),或者根据需要迁移到其他数据库实例,或者以其他形式归档保存,通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...

ListDoctorHDFSDirectories-批量获取HDFS目录分析结果

Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...

ListDoctorHiveTables-批量获取Hive表分析结果

Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...

混合存储型(已停售)

使用混合存储型,将所有课程信息存储到磁盘,访问量大的课程和题库数据存储到内存并常驻内存,保证高频访问数据的读写性能,实现高性能与高性价比的有机结合。典型业务场景的示例如下:场景1:使用开源Redis集群存储了100GB的数据,但高峰...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用