常见问题

查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息,如果比其他的Task处理数据量大很多,则说明出现了倾斜问题。如何预估Hive作业并发量的上限值?Hive作业并发量与HiveServer2的内存以及master实例个数有关系。您...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...

调优集群性能

如下图所示,某个表分布不均,存储节点0上的Shard_0和Shard_1中数据量,而在存储节点1上的Shard_2和Shard_3中数据量较小,那么当您查询这个表时,较概率会出现存储节点0需要处理的数据多,存储节点1上需要处理的数据少的情况,...

应用场景

根据数据量和网络条件,迁移过程可能需要几个小时甚至几天的时间。这个漫长的过程可能会对您的业务产生很大的影响。DTS则可以帮助您以最小化的停机时间迁移您的数据。在数据迁移期间,您的应用程序仍可以保持运行状态。唯一的停机时间是当...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模,但物理建模仅支持MaxCompute和Hive两种大数据引擎,不支持自定义数据源类型。

影响查询性能的因素

此外,如果 AnalyticDB MySQL版 中表存储的数据量,那么在执行索引过滤、明细数据读取等操作时也会出现相互争抢磁盘I/O资源的情况,导致查询变慢。查询并发度 由于集群规格和规模的限制,AnalyticDB MySQL版 能同时处理的查询数量也会...

应用场景

处理意味着每一次处理数据量,而且有很多张大表要做关联,经常要做一些比较复杂的查询,并且更新量也比较,使得传统的集中式数据库,出现了单点瓶颈,垂直扩容成本非常高,几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...

Broker Load

如果需要导入更大数据量,则需要适当调整 max_bytes_per_broker_scanner 参数的大小。默认参数值如下:min_bytes_per_broker_scanner:默认64 MB,单位bytes。max_bytes_per_broker_scanner:默认3 GB,单位bytes。max_broker_concurrency...

Delta Lake概述

背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖(例如,阿里云对象存储OSS产品或云下HDFS),然后将产生的各种类型数据存储在该存储引擎中。在使用数据时,通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...

何时选择LIST DEFAULT HASH分区

例如,对于多租户的业务系统,每个租户产生的用户数据量不均衡,您可以把大数据量的租户按照LIST规则分区,然后中小数据量的租户按照HASH规则分成多个分区,如下:租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万 ...

应用场景

互联网类应用 Cassandra能够支持大并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用性和容灾能力。云...

topRegion分析

上图是查询每秒内读请求数据量最大的五个分片,再将属于同一张表的分片聚合在一起,并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...

流量诊断

上图是查询每秒内读请求数据量最大的五个分片,再将属于同一张表的分片聚合在一起,并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中,选择 流量诊断>topregion/key实时查询。设置筛选条件,包括排序维度、...

流量诊断

上图是查询每秒内读请求数据量最大的五个分片,再将属于同一张表的分片聚合在一起,并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中,选择 流量诊断>topregion/key实时查询。设置筛选条件,包括排序维度、...

MySQL 5.6测试结果

磁盘I/O型:适用于数据量大的场景,只将最常访问的数据放入Buffer Pool进行存取,压测时会读写磁盘以及更新Buffer Pool。场景一:内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取(单位:次)SysBench写入...

MySQL 5.7测试结果

磁盘I/O型:适用于数据量大的场景,只将最常访问的数据放入Buffer Pool进行存取,压测时会读写磁盘以及更新Buffer Pool。场景一:内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取(单位:次)SysBench写入...

MySQL 8.0测试结果

磁盘I/O型:适用于数据量大的场景,只将最常访问的数据放入Buffer Pool进行存取,压测时会读写磁盘以及更新Buffer Pool。场景一:内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取(单位:次)SysBench写入...

ListDoctorHiveTables-批量获取Hive表分析结果

Day growth count of empty files HotDataDayGrowthSize object 热数据的数据量日增量大小。热数据指的是 7 日内有访问的数据。Name string 指标名称。hotDataDayGrowthSize Value long 指标值。203431 Unit string 指标单位。MB ...

技术面临的挑战与革新

新增加的节点,直接访问共享的数据副本,不需要做任何数据拷贝,所以扩充节点的耗时可以达到1分钟内,而与数据量无关。PolarDB同时内置Proxy能力,可以将负载均衡到各个节点,使得加减节点操作对业务透明。在存储层,所有用户共享一个规模...

ListDoctorHDFSDirectories-批量获取HDFS目录分析结果

Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...

配置DataHub输出组件

配置DataHub输出组件,可以将外部数据库中读取数据写入到DataHub,或从大数据平台对接的存储系统中将数据复制推送至DataHub,进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作,请参见...

数据归档

如下所示:对于数据量最大的冷数据,时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时,用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...

GetDoctorHiveTable-获取Hive表分析结果

TextInputFormat FormatSize long 格式数据量。506930200 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.23 FormatDayGrowthSize long 格式数据量日增量。1232124 FormatSizeDayGrowthRatio float 格式数据量日...

GetDoctorHiveDatabase-获取Hive库信息

TextInputFormat FormatSize long 格式数据量。1000 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.5 FormatDayGrowthSize long 格式数据量日增量。1000 FormatSizeDayGrowthRatio float 格式数据量日环比。0.5...

混合存储型(已停售)

场景分类 混合存储型实例 社区版实例 数据量与预算 数据量大,有降低成本需求。正在使用Pika、SSDB或者ARDB等。正在使用容量的主备或者集群Redis。数据量小,或者预算充足且暂时无需降低存储成本。冷热数据分布 业务中冷热数据区分明显。...

ListDoctorHiveDatabases-批量获取 Hive 库信息

TextInputFormat FormatSize long 格式数据量。1000 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.5 FormatDayGrowthSize long 格式数据量日增量。1000 FormatSizeDayGrowthRatio float 格式数据量日环比。0.5...

GetDoctorHDFSCluster-获取HDFS分析结果

Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...

混合存储型(已停售)

在保证常用数据访问性能不下降的基础上,混合存储型能够幅度降低用户成本,实现性能与成本的平衡,同时使单个Redis实例的数据量不再受内存大小的限制。内存数据:内存中存放了热数据的Key和Value,同时为快速确认要操作的Key是否存在,...

数据倾斜诊断

复制分布方式通常只会用在数据量小的表中,如果数据量大的表使用复制分布方式,会导致数据急剧膨胀。哈希(HASH)分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上,该方式的关键在于如何选择分布键,分布键选择不正确时,...

DataCheckConfigure参数说明

fullCheckMaxReadBps Integer 每秒读取的最大数据量(Byte),取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。dataCheckNoticePhone String 全量或增量数据校验任务告警联系人的手机号。当校验任务触发告警时,将以短信的...

升级数据库版本

网络切换等待、网络连接迁移 必须 10分钟 无 预估示例 测试实例:实例规格为4核8 GB,数据量大小为600 GB。创建与配置新实例:预计耗时12分钟。全量备份(非必须):预计耗时3小时。(600 GB/200 GB每小时)恢复全量备份至目标实例:预计...

Transaction Table2.0概述

现状分析 当前典型的数据处理业务场景中,对于时效性要求低的大规模数据处理的单一场景,直接使用MaxCompute足以很好的满足业务需求,对于时效性要求很高的秒级实时数据处理或者流处理,则需要使用实时系统或流系统来满足需求。...

导入概述

异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理,提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式,需要通过MySQL协议创建导入作业,并通过 SHOW LOAD 查看导入结果。...

性能调优

AnalyticDB MySQL版 做为分布式系统,其优势在于利用多机并行的能力,提升海量数据的处理速度,适合大数据量的分析。在某些场景中,查询计算量不是特别大,AnalyticDB MySQL具备分布式开销,反而查询较慢。也有某些场景下,AnalyticDB ...

PolarDB PostgreSQL版(兼容Oracle)间的迁移

目标已存在表的处理模式 预检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在预检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

OSS Foreign Table功能概览

与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table,具体信息如下:功能 OSS Foreign Table OSS External Table 导入OSS数据或导出数据到OSS 支持 支持 OSS数据分析(大数据量场景)大数据量...

查看与减少数据备份

说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度,则不额外收取备份费用,否则超出部分按量付费。更多信息,请参见 备份费用。如果使用了DBS内置存储,还将收取存储费用,更多信息,请参见 存储费用。备份...

MaxFrame概述

基于MaxFrame,用户可以通过统一的交互式开发环境,MaxCompute统一数据管理能力以及分布式数据开发接口,高效、一站式地完成数据分析、处理以及数据挖掘、建模全生命周期,打破大数据及AI开发使用边界,大大提高开发效率,加速AI创新应用...

计费概述

适用于查询频率高、查询数据量大的场景,同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁,每个月甚至每周都可能要变更集群配置,推荐您购买按量付费集群并搭配资源包使用。按计算资源付费(CU版计费...

购买方式2:按量付费

由于存储空间是根据数据量和存储时长收费的,若您需要的数据量(如1000 GB或以上),我们推荐配合存储包一起使用,能够享受一定的折扣优惠,且购买的存储包容量越,折扣越多。说明 存储包分为 中国内地通用 和 中国香港及海外通用 两...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 数据库备份 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用