数据引入层（ODS）
当遇到大数据量情况下，这项工作就会更加复杂，且没有必要。使用代理键会增加ETL的复杂性，从而增加ETL任务的开发和维护成本。在不使用代理键的情况下，缓慢变化维度可以通过快照方式处理。快照方式下数据的计算周期通常为每天一次。基于该...
2021年
并且因为大数据系统保证任务级别的ACID，当作业并发运行且操作的目标表相同时，可能会出现作业冲突。需要注意的是目前UPDATE/DELETE/MERGE INTO处于公测阶段，不收取计算费用，但公测期间也暂时不对您使用此功能用于生产的作业和数据提供...
数据组织优化
Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发Meta更新以及分析执行慢，数据读写I/O效率低下等问题，因此需要设计合理的小...
Join优化
本文介绍 云数据库 SelectDB 版 中针对Join操作所设计的一系列优化方案，以及基于此给出的 Join优化参考，帮助您提升查询速度。物理算子支持 SelectDB支持如下两种物理Join算子，用于实现单机引擎中数据进行Join的处理过程。Hash Join：在...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
发现并处理Redis的大Key和热Key
优化大Key与热Key 类别 处理方法 大Key 对大Key进行拆分 例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员数量在合理范围。在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。对大Key进行清理 ...
文档修订记录
配置消息通知 2023.2.26 更新功能 数据开发 优化周期调度任务的下线流程、恢复流程、任务下线后对于已生成实例及正在运行实例平台侧的处理方案。下线任务 2023.2.25 新增功能 数据开发 为您介绍参数配置相关的典型场景及最佳实践汇总。调度...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
常见问题
假设test表的主键由p1，p2，p3三个列组成，p1列是主键的第一列，根据最左匹配原则，查询数据时系统将从p1列开始匹配。如果查询条件中未包含p1列，例如 SELECT*FROM test WHERE p2;此时无法匹配到主键第一列p1，系统不会命中主键进而查询全...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
如何优化数据全量抽取
关系型数据库没有直接提供分段返回表中数据的能力，高效的实现分页查询，还需要结合数据库本身的特点来设计查询语句。以MySQL为例，分页查询最直观的实现方法，是使用limit offset，pageSize来实现，例如如下查询：select*from t_order ...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
Cost-based SQL诊断引擎
在阿里巴巴集团内部，我们已经对数据库实例上全部SQL进行实时采集和存储，借助阿里巴巴这个大平台业务的丰富性和SQL场景的丰富性，以特征化形式描述为抓手对线上海量全量SQL资源分析搜寻符合指定特征的真实案例，抽取测试案例所需的信息，...
Tair Proxy特性说明
云原生内存数据库Tair 的集群架构和读写分离架构中，代理服务器（Proxy）承担着路由转发、负载均衡与故障转移等职责，可以帮助您简化客户端的逻辑，同时支持多数据库（DB）、缓存热点数据等高级功能。通过了解Proxy的路由转发规则和特定...
Redis Proxy特性说明
在 云数据库 Redis 版 集群架构和读写分离架构中，代理服务器（Proxy）承担着路由转发、负载均衡和故障转移等职责，可以帮助您简化客户端的逻辑，同时支持多数据库（DB）、缓存热点数据等高级功能。通过了解Proxy的路由转发规则和特定命令...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户...，赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...
大数据上云及巡检服务内容说明
与方案设计、数据迁移、任务迁移等保持一致 技术答疑 仅对应一种大数据产品的Landing使用，包括资源评估、用户权限设计、网络分配等 Dataworks/Maxcompute/Hologress，EMR（Spark、Hadoop、Hive）EMR-Flink 技术培训 仅对应一种大数据产品...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
公交出行：启迪公交
解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时...
IO加速
当您需要应对数据库磁盘IO性能瓶颈时，云数据库RDS PostgreSQL的通用云盘IO加速功能为您提供了一个高效的解决方案。本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 ...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
DataV数字大屏设计介绍
常见问题 问题一：数字大屏中数据少导致内容较空显得不够饱满 解决方法：在设计中将同一个数据用不同的形式来展示。例如一个数据指标，在使用饼图展示占比时，同时配合一些翻牌器展示具体数值，通过多维度展开同一个数据丰富该区块面板。除...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
云原生可观测服务内容说明
1.服务概述 1.1 服务说明 云原生可观测服务是在客户系统上云、用云过程中，提供以阿里云产品体系为主，开源生态组件为辅的统一可观测方案设计、验证与落地的专家服务。该服务基于客户现实情况，以及可观测治理目标，为客户提供统一可观测...
聚合支付方案
借助PolarDB和 AnalyticDB MySQL 的大数据处理能力，决策报表的生成时间从分钟级别降低至秒级，大部分报表可以在10秒内生成，部分特别复杂的报表生成时间为1分钟。业务行为和业务决策平滑对接，决策者可以通过报表数据快速进行业务决策，...
发展历程
2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到18176.71 QPM（Queries Per Minute）。此外，在超小型10 TB规模...
迁云服务内容说明
迁移技术方案设计不包含Oracle上云方案设计、微服务设计方案、应用容器化方案、大数据上云方案内容，如有需求请购买对应单独服务。迁云咨询服务是以客户当前待迁移系统上云为基础的迁移技术方案设计和云上架构设计服务，不负责客户全局的云...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
上海新能源汽车车辆基础数据
客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
Spark计算引擎
Apache Spark是一个通用的开源的分布式处理系统，通常用于大数据工作负载。Spark既支持使用SQL，又支持编写多种语言的DataFrame代码，兼具易用性和灵活性。Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力...
方案设计
本章节主要为您介绍基于表格存储的海量气象格点数据解决方案的模型及方案设计。标准化格点数据模型 一个规整的五维网格数据为一个网格的数据集（GridDataSet），按照维度顺序五维分别为：维度 说明 variable 变量，例如各种物理量 time ...
图扑案例
解决方案 厦门图扑软件致力于解决工业物联网全链路数据处理最后一公里的数据可视化环节技术难点。面向工业物联网IIoT场景，图扑软件提供监控系统监控可视化解决方案，其产品可用于快速创建和部署，高度可定制化，并具有强大交互功能的拓扑...
产品计费
服务类型 单价（元）计费单位 购买数量 备注 大数据技术架构方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据搬站迁云方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据解决方案POC 30,000 每人日 1~20 每日8小时工作制 跨地域迁移...
数据湖管理FAQ
“Lakehouse”是基于数据湖的数仓，一种新的大数据范式，最根本出发点就是为了解决单纯Data Lake应用下的各种问题，例如不支持UPSERT，不支持多版本，不支持增量ETL，小文件太多，格式不是分析型的，元信息不统一，Schema没有约束，缺乏...
二维码
在 逻辑节点 页签下，添加一个串行数据处理节点到主画布中。连接组件。配置串行数据处理节点处理方法。return[{"text":data.name}];单击页面右上角的 预览，预览展示结果。（可选）如果需要扫描二维码的同时，展示网页内容。可设置 数据源 ...
- 产品推荐
- 这些文档可能帮助您