应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
互联网、电商及游戏行业实时BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据同步到AnalyticDB，并通过Quick BI实时可视化分析数据。相对于传统的关系型数据库，阿里云分析型数据库MySQL版只需要几毫秒的时间，即可查询PB级数据并从中找到匹配信息。解决问题 ...
功能特性
实例会话 查询治理 通过离线数据分析技术，每天对所有数据库实例的慢SQL进行统计和打标，帮助您对慢SQL进行自动分类和划分治理优先级，同时提供治理建议。查询治理 慢日志分析 统计并分析数据库实例中执行时间超过阈值的SQL语句，并提供...
非结构化分析
AnalyticDB PostgreSQL版 的向量分析旨在帮助您实现非结构化数据的近似检索和分析，具备丰富功能和优异性能。功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量...
应用场景：低成本历史库
能够满足数据分析需求，历史数据访问频度低，但是在某些业务场景下需要对全量数据进行挖掘分析，比如支付宝年账单。云原生多模数据库 Lindorm 能够同时满足存储成本低廉、运维简单、弹性伸缩、性能稳定等需求可以和关系型数据库完美组合，...
版本发布记录
发布在线日志投递分析功能 企业用户只需要在 云数据库ClickHouse 中创建投递任务，将SLS中的用户行为日志数据在线投递到ClickHouse，即可基于 云数据库ClickHouse 在线进行多维日志数据分析。从SLS同步 2020年05月 功能名称 描述 相关文档 ...
上海新能源汽车车辆基础数据
方案亮点：PB级新能源车辆基础数据、高性能采集入库、高效数据分析、低成本运营。客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，...
方案背景
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
产品优势
Hologres兼容PostgreSQL生态，支持快速查询分析MaxCompute的数据、实时查询实时写入的数据、联邦分析实时数据与离线数据，帮助您快速搭建企业实时数据仓库。Hologres专注实时数仓需求，从以下几个方面创新，提高数仓开发效率，降低应用门槛...
分析外部OSS上的数据
技术原理 列存索引（IMCI）是一个高性能的列存分析引擎，相关文档请参见 PolarDB HTAP实时数据分析技术解密，ORC和Parquet也是列存格式，OSS支持高并发读取，在高并发时可以获取更高的网络吞吐。因此，IMCI的并行扫描功能可以充分利用OSS的...
功能特性
实时性能 全量KEY离线分析 支持对全量数据进行离线分析，能够发现所有存在的大Key，分析过程不会对实例带来任何额外负担。离线全量Key分析 大、热Key分析 实时跟踪请求并分析其中涉及的大、热Key，帮助快速定位问题。实时Top Key统计 ...
客户案例
同时，构建自助数据分析平台，快速满足各类人员不同数据分析需求。数据体系整体上云，使用少量组件即可实现流批一体、湖仓一体，完成从数据驱动到数智驱动，极大发挥数据价值。视频介绍 社交媒体行业：欢聚时代大规模数据湖建设 客户简介 ...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
互联网行业实时BI分析
本文以某互联网公司为例，介绍如何将DB...客户价值 1小时短平快即可实现实时数据分析平台建设，无需掌握Hadoop\Spark\Flink\Presto\Impala等复杂的大数据技术。操作简单快捷，全程拖拽式配置，无需编码。业务实时指标数据延时在1分钟以内。
实时物化视图
半结构化数据分析。需要很长时间才能计算完成的聚合操作。视图的基表中包含很大的全量数据，增量数据的更新量远小于全量数据。实时物化视图适用于所有适合使用物化视图的场景。与普通物化视图相比，实时物化视图具有高度的数据一致性，当...
一键建仓
背景信息 传统创建数据仓库的方法为：通过离线脚本将数据周期性地从源数据库采集至数据仓库，再进行ETL开发，这种方法的时间性较差，通常需要T+1天才能看到数据分析报表，且技术成本较高。数据管理DMS提供的一键建仓功能结合DTS同步链路和...
低成本历史库
能够满足数据分析需求，历史数据访问频度低，但是在某些业务场景下需要对全量数据进行挖掘分析，比如支付宝年账单。云原生多模数据库Lindorm（HBase增强版）能够同时满足存储成本低廉、运维简单、弹性伸缩、性能稳定等需求可以和关系型数据...
功能特性
基于DLA+DTS同步RDS数据来构建实时数据湖 DLA Serverless Presto DLA Serverless Presto是云原生数据湖团队基于Presto打造的交互式分析引擎，Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
产品优势
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。弹性能力和扩展性 AnalyticDB MySQL版 采用云原生技术...
功能简介
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
产品概述
既提供高性能离线数据处理，也支持高并发在线分析查询，是各行业有竞争力的PB级实时数据仓库方案。主要功能 易适配，免调优 支持SQL 2003，部分兼容Oracle语法，支持PL/SQL存储过程。新一代SQL优化器，实现复杂分析语句免调优。PB级数据秒...
联系我们
Quick BI可以提供海量数据实时在线分析服务，支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。如果您想进一步了解Quick BI，请搜索微信公众号 Ali_DMO 加入微信进行交流。专属钉钉群VIP...
数据同步
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
使用场景
实时数据处理 DMS任务编排可以设置定时任务，实现对实时数据的处理和分析。业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了...
功能简介
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
DataWorks快速入门指引
15分钟 Github实时数据同步与分析 DataWorks、Hologres、DataV 基于GitHub Archive公开数据集实时采集并分析展示数据。30分钟 简单用户画像分析（MaxCompute版）DataWorks、MaxCompute、RDS、OSS 以用户画像分析为例，进行数据采集、清洗...
Iceberg概述
为了便于理解数仓和Iceberg数据湖在系统架构、业务价值和成本方面的差异，选择了业界流行的Clickhouse实时数仓、Hive离线数仓和Iceberg数据湖三种具体的技术架构，为您进行了对比，详细信息如下表。对比项 子项目 开源Clickhouse实时数仓 ...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
应用场景
大数据分析：可对接Storm、Spark等实时数据处理引擎，亦可对接Hadoop等离线数据仓库系统。日志聚合 许多公司，例如淘宝、天猫等，每天都会产生大量的日志（一般为流式数据，例如搜索引擎PV、查询等）。相较于以日志为中心的系统，例如...
如何对JSON类型进行高效分析
实时分析 针对半结构化数据分析，PolarDB IMCI实现列式JSON与列存虚拟列等技术，本小节将以GitHub实时事件数据（2023年7月份）来验证 PolarDB IMCI JSON实时数据分析能力。GitHub实时事件JSON数据可以从 GH Archive 获取，如wget，下载2023...
某新能源汽车造车新势力
为了能及时响应车辆告警信息，排查车辆故障，需要实时能下载、存储车辆信号数据并进行技术分析。业务挑战 当前新能源汽车得到国家政策支持，处于高速发展时期，车辆交付数量快速增长。同时，数据采集的需求不断增长，近半年来集群写入流量...
什么是DataV-Atlas可视分析地图
适用角色 数据分析科学家 地理信息系统专家 市场营销专家 城市规划专家 产品价值 专业的时空分析工具 提供一系列强大的空间查询和分析功能，可以根据时间维度对地理空间数据进行分析。帮助用户在地图上进行可视化分析时间序列数据的变化...
车联网数据存储处理方案
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
未来规划
数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠...
DataWorks on EMR Serverless StarRocks最佳实践
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。更多关于StarRocks、EMR Serverless StarRocks的介绍请参见 什么是EMR Serverless ...
- 产品推荐
- 这些文档可能帮助您