实时大盘
数据库自治服务DAS提供了全局的 实时性能大盘，可以查看所有接入实例的实时性能情况。如果您的业务正在大促、或者正在进行重大变更，可以通过该功能实时确认数据库健康情况。前提条件 在DAS中接入对应的数据库实例，并且接入状态显示为 接...
HoloWeb简介
背景信息 Hologres是为大数据设计的一站式实时数仓，支持数据实时写入、PB级数据高并发低延时的分析处理和超高QPS点查。与MaxCompute无缝打通，支持数据加速查询，兼容PostgreSQL生态，可以使用最熟悉的BI工具对海量数据进行自助的多维分析...
Hologres推荐的数仓分层
不同的应用场景对处理的数据量、数据复杂度、数据来源、数据实时性等会有不一样的要求。传统数仓的开发按照经典的方法论，采用 ODS（Operational Data Store）>DWD（Data Warehouse Detail）>DWS（Data WareHouse Summary）>ADS...
什么是实时日志
通过日志的实时分析，您可以快速发现和定位问题，通过对日志数据的挖掘，提高数据的决策能力，将您的业务推向一个新的高度。功能介绍 您的业务在使用 CDN 服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时采集节点产生的...
互联网教育：尚学博志（上海）教育科技有限公司
内置的同步机制在提升实时性的同时消除了数据同步的额外成本。原生数据分析能力避免了专用OLAP系统需求，降低整体系统成本。数据在同一个 PolarDB 集群内进行计算，提供了完整的MySQL兼容性。客户价值 尚学数字化教学平台选用阿里云云原生...
新用户免费试用
计算巢 Hologres PAI RDS实时同步至Hologres 了解使用DataWorks数据集成+Hologres构建实时数仓的思路，学习实时数仓中Hologres的加速查询功能和大屏展示效果。Hologres DataWorks（可选）DataV Flink+Hologres实时数据大屏 了解搭建实时数...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
实时物化视图
table_name：表示需要刷新的实时物化视图的名称（可以被模式限定）通过 BUILD IMMEDIATE/WITH DATA 方式创建的实时物化视图通常不需要手动执行刷新来确保视图和基表的一致性。通过 BUILD DEFERRED/WITH NO DATA 方式创建的实时物化视图执行...
实时物化视图
table_name：表示需要刷新的实时物化视图的名称（可以被模式限定）通过 BUILD IMMEDIATE/WITH DATA 方式创建的实时物化视图通常不需要手动执行刷新来确保视图和基表的一致性。通过 BUILD DEFERRED/WITH NO DATA 方式创建的实时物化视图执行...
实时物化视图
table_name：表示需要刷新的实时物化视图的名称（可以被模式限定）通过 WITH DATA 方式创建的实时物化视图通常不需要手动执行刷新来确保视图和基表的一致性。通过 WITH NO DATA 方式创建的实时物化视图执行刷新后，会通过视图定义生成实时...
实时物化视图
table_name：表示需要刷新的实时物化视图的名称（可以被模式限定）通过 BUILD IMMEDIATE/WITH DATA 方式创建的实时物化视图通常不需要手动执行刷新来确保视图和基表的一致性。通过 BUILD DEFERRED/WITH NO DATA 方式创建的实时物化视图执行...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
图扑案例
阿里 云原生多模数据库 Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大幅度降低了...
Transaction Table2.0概述
但如果使用单一的实时系统，资源消耗的成本比较高，性价比也较低，并且大规模数据批处理的稳定性也不足。因此当前比较典型的解决方案是Lambda架构，全量批处理使用MaxCompute链路，时效性要求比较高的增量处理使用实时系统链路，但该架构也...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
金融大数据
业务架构 架构说明：大数据仓库调用外部数据和数据集市的信息，通过数据获取层、数据模型层、数据加工层、数据应用层和分析集市的层层筛选、分析、加工，由大数据服务接口向内部源数据输出适用于多种用户场景的有效数据。大数据仓库功能...
数据质量评估标准
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...
应用场景
数据处理 在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。与传统架构不同，云消息队列 Kafka ...
什么是实时日志
使用实时日志的优势 时效性高：开通服务后，日志数据自动投递到日志服务，可查看实时日志分析结果，日志时效性在3分钟以内。字段丰富：实时日志提供更加丰富的日志字段，详见 实时日志采集字段说明。业务合规：实时日志采集投递具备合规性...
Iceberg概述
场景 描述 实时数据导入和查询 数据实时从上游流入Iceberg数据湖，查询侧即可查询该数据。例如，在日志场景中，启动 Iceberg 或 Spark 流作业，实时地将日志数据导入Iceberg表中，然后可以使用Hive、Spark、Iceberg 或Presto进行实时查询。...
实时数据API
在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。实时数据业务痛点。处理实时数据业务的整个链路中，要求数据库提供高...
阿里云实时数仓产品Hologres的应用场景
Hologres兼容PostgreSQL生态，是新一代的 阿里云实时数仓产品，与大数据生态无缝连接，支持实时与离线数据，对接第三方BI工具，实现可视化分析业务。本文为您介绍基于Hologres核心功能的典型应用场景。Hologres的典型应用场景如下：搭建...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
MySQL数据源
针对已经XA PREPARE的事务数据，实时同步会将其同步到目标端，如果XA ROLLBACK，实时同步不会针对XA PREPARE的数据做回滚写入的操作。若要处理XA ROLLBACK场景，需要手动将XA ROLLBACK的表从实时同步任务中移除，再添加表后重新进行同步。...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
构建数据仓库
适用行业：适用于电商、游戏、社交等互联网行业大规模数据实时查询场景。方案优势：阿里云实时数仓全套链路与离线数仓无缝打通。满足一套存储，两种计算（实时计算和离线计算）的高性价比组合。产品组合：DataHub+实时计算Flink+交互式分析...
新零售：特步
从数据的实时性和计算量来看，特步的门店、采购、销售订单、库存、调拨、进销存、财务等业务模块的报表主要分为两大类：一类是实时性要求高，计算量相对小。特步使用了一个单独的 PolarDB-X 来满足这类报表需求，数据通过DTS同步到报表 ...
数据分析整体趋势
该方案带来的问题是部署复杂，实时性低，数据冗余和高成本。理想情况是一套HTAP系统同时提供计算和分析。大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在...
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
用户行为分析（UV）概述
解决方案与优势 Hologres是基于分析服务一体化理念（Hybrid Serving&Analytical Processing，HSAP）设计的实时数仓产品，采用分布式架构，支持数据实时写入，高并发、低延时的分析处理PB级数据，兼容PostgreSQL协议，使用最熟悉的工具就能...
基于GitHub公开事件数据集的离线实时一体化实践
Flink是强大的流式计算引擎，Hologres支持数据实时写入与更新、写入即可查，二者原生集成，支持高吞吐、低延时、有模型、高质量的实时数仓开发，最终满足业务洞察实时性需求，如最新事件提取、热点事件分析等场景。离线链路：通过...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
质量规则模板类型
数据源模板类型 模板分类 模板说明 稳定性 数据源连通性监测 用于对数据源的连通性进行监控。表结构异动监测 用于对表的元数据变动进行监控。实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计...
质量规则模板类型
数据源模板类型 模板分类 模板说明 稳定性 数据源连通性监测 用于对数据源的连通性进行监控。表结构异动监测 用于对表的元数据变动进行监控。实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计...
数据备份
前提条件 数据备份为高级版工作区功能，请确认您的工作区已开通高级版。您可以在 可观测可视化 Grafana 版 控制台开通或升级工作区版本，更多信息，请参见 Grafana计费规则。重要 该功能在Grafana专家版、高级版中可用，若您为Grafana开发...
- 产品推荐
- 这些文档可能帮助您