构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
Hologres结果表
实时数据API的描述，详情请参见 实时数据API。使用限制如下：Hologres当前版本仅支持List分区。创建分区表时，需要显示指定的分区列，分区列的类型仅支持 text 和 int4。如果设置了主键，分区列必须为主键的一部分。创建分区子表时，子表...
Flink+Hologres实时数据大屏
查询实时数据 在Hologres中通过内部表查询今日最活跃项目。SELECT repo_name,COUNT(*)AS events FROM hologres_dataset_github_event.hologres_github_event WHERE created_at>=CURRENT_DATE GROUP BY repo_name ORDER BY events DESC ...
实时Top Key统计
根据业务需求，选择查询实时数据或历史数据。图 1.Key分析 说明 如果实例为集群架构或读写分离架构，您还可以在 当前节点 下拉框中选择要展示数据的节点。当Key的访问频次非常高时，该Key已被认定为热Key，无需再继续统计精确的频次信息，...
实时Top Key统计
根据业务需求，选择查询实时数据或历史数据。图 1.Key分析 说明 如果实例为集群架构或读写分离架构，您还可以在 当前节点 下拉框中选择要展示数据的节点。当Key的访问频次非常高时，该Key已被认定为热Key，无需再继续统计精确的频次信息，...
使用XIHE BSP SQL进行作业开发
步骤四：查询ADS层表数据 AnalyticDB MySQL 湖仓版（3.0）支持通过Spark SQL或XIHE BSP SQL离线方式查询数据，也支持通过XIHE MPP SQL在线实时查询数据。为保证数据的实时性，本教程以XIHE MPP SQL在线方式查询ADS层表数据为例。在 ...
使用Spark SQL进行作业开发
步骤四：查询ADS层表数据 AnalyticDB MySQL 湖仓版（3.0）既支持通过Spark SQL或XIHE BSP SQL离线方式查询数据，也支持通过XIHE MPP SQL在线实时查询数据。为保证数据的实时性，本教程以XIHE MPP SQL在线方式查询ADS层表数据为例。在 ...
INTO子句
通过连续查询（CQ），可以使 INTO 子句自动查询实时数据。连续查询其中一个用途就是使降采样的过程自动化。InfluxDB® is a trademark registered by InfluxData,which is not affiliated with,and does not endorse,TSDB for InfluxDB®.
基本操作
Transaction Table2.0 支持更多能力，同时在DDL，DML和DQL以及数据管理上都...DDL操作 表操作 分区和列操作 CLONE TABLE 数据写入 SQL写入 Flink近实时写入 数据查询：Time travel查询与Incremental查询 数据合并：COMPACTION 数据备份与恢复
产品优势
Hologres兼容PostgreSQL生态，支持快速查询分析MaxCompute的数据、实时查询实时写入的数据、联邦分析实时数据与离线数据，帮助您快速搭建企业实时数据仓库。Hologres专注实时数仓需求，从以下几个方面创新，提高数仓开发效率，降低应用门槛...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
日志服务数据同步至Hologres
Hologres致力于高性能、高可靠、低成本、可扩展的实时计算引擎研发，为用户提供海量数据的实时数据仓库解决方案和亚秒级交互式查询服务，广泛应用在实时数据中台建设、精细化分析、自助式分析、营销画像、人群圈选、实时风控等场景。...
查询数据
IGNORE_INC 数据写入流量非常大时，为保证检索响应时间，您可以选择不查询部分实时数据（一般指数据写入时间小于24小时的数据）。IGNORE_INC=true PREFER_INDEX 在同一个向量列上定义多个索引时，您可以使用 PREFER_INDEX 参数建议系统采用...
创建Hologres计算源
如果数据服务中的Dataphin数据源对数据查询速度有要求，但当Dataphin的计算引擎为MaxCompute时，任务运行速度比较慢，不能很好地满足对查询速度有要求的业务场景。因此，您可以创建计算源并添加至已绑定MaxCompute计算源的项目中，后续就...
某健康体检公司迁移SQL Server到Lindorm
通过专利内存管理技术CCSMap和BucketCache，结合AliJDK深度定制ZGC算法，实现GC停顿小于5ms，更好的满足实时在线查询。开启 云原生多模数据库 Lindorm 压缩优化特性，显著减少存储空间开销。借助 云原生多模数据库 Lindorm 集群冷热分离...
基于Hadoop集群支持Delta Lake或Hudi存储机制
您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 MaxCompute基于开源的Hadoop集群和阿里云EMR（E-MapReduce）提供了支持Delta Lake或Hudi存储机制的湖仓一体架构，架构图如下。涉及模块 对应阿里云产品 说明 开源...
阿里云实时数仓产品Hologres的应用场景
Hologres兼容PostgreSQL生态，是新一代的 阿里云实时数仓产品，与大数据生态无缝连接，支持实时与离线数据，对接第三方BI工具，实现可视...Hologres可以联邦分析实时数据和离线数据，对接BI分析工具，快速响应简单查询与复杂查询的业务需求。
实时监控
实时监控数据支持7天内的数据查询，最长时间跨度为24小时。1分钟的实时监控数据能够帮助您快速发现 CDN 流量异常，进而快速定位问题。功能介绍 实时监控和资源监控相比，实时监控的单次查询最大时间和可查询历史数据时间范围更小，详情请...
数据查询
本文介绍时序数据查询的方法。标准SQL查询 Lindorm时序引擎推荐使用标准SQL进行数据查询。Lindorm时序引擎针对SQL查询做了许多查询优化，提升大多数场景的查询性能、减少服务端的资源占用、提高服务端的稳定性。特性 支持降采样查询、聚合...
Iceberg概述
场景 描述 实时数据导入和查询 数据实时从上游流入Iceberg数据湖，查询侧即可查询该数据。例如，在日志场景中，启动 Iceberg 或 Spark 流作业，实时地将日志数据导入Iceberg表中，然后可以使用Hive、Spark、Iceberg 或Presto进行实时查询。...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
Hologres推荐的数仓分层
场景选择原则 当数据写入Hologres之后，Hologres里定义了三种实现实时数仓的方式：实时要求非常高，要求写入即可查，更新即反馈，有即席查询需求，且资源较为充足，查询复杂度较低，适合 实时数仓场景一：即席查询。有实时需求，以分析为主...
什么是实时数仓Hologres
Hologres致力于高性能、高可靠、低成本、可扩展的实时数仓引擎研发，为用户提供海量数据的实时数据仓库解决方案和亚秒级交互式查询服务，广泛应用在实时数据中台建设、精细化分析、自助式分析、营销画像、人群圈选、实时风控等场景。...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
常见问题
性能调优 如果有分页的需求，怎么做比较好？如果有导出的需求，怎么做比较好？如何优化数据同步速度？如何通过调整数据类型来提升查询性能？性能分析和资源评估 分区索引是如何提升查询RT和QPS的？如何评估查询性能？分片数量对查询和写入...
Navicat
Navicat可以在一个应用程序中连接多个数据库，帮助您轻松创建、管理和维护数据库。本文以Navicat for PostgreSQL为例，为您介绍Navicat如何连接Hologres并进行数据开发。...实时写入实时数据，详情请参见 Hologres结果表。
资源监控
在实时监控下，当数据查询粒度为1分钟时，数据延迟约为5分钟；而资源监控只能在数据查询粒度为5分钟的情况下，将数据延迟控制在约15分钟左右。最小数据粒度：实时监控可以查询到更小颗粒度的数据。实时监控可以查询的最小数据颗粒度为1分钟...
基本概念
MySQL Binlog：实时数据同步模式，通过同步并解析记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志，实现数据的秒级同步。SQLServer CDC：实时数据同步模式，开启CDC的源表...
如何对JSON类型进行高效分析
实时分析 针对半结构化数据分析，PolarDB IMCI实现列式JSON与列存虚拟列等技术，本小节将以GitHub实时事件数据（2023年7月份）来验证 PolarDB IMCI JSON实时数据分析能力。GitHub实时事件JSON数据可以从 GH Archive 获取，如wget，下载2023...
MySQL分库分表实践
业务上游有实时数据也会启动实时任务，如上游增加数据下游将会自动触发实时任务写入至Hologres中。本示例仅展示如何通过一键同步解决方案实现MySQL分库分表写入至Hologres一张表中，实现更多功能请根据业务逻辑自行配置任务。MySQL分库分表...
表引擎
查询性能极好，适合于对于数据持久性没有要求的1亿以下的小表。在 云数据库ClickHouse 中，通常用来做临时表。Buffer 为目标表设置一个内存Buffer，当Buffer达到了一定条件之后会写入到磁盘。说明 表引擎的更多信息，具体请参见 表引擎介绍...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
GetAutoIncrementUsageStatistic-获取表自增ID使用数据
0.9 RealTime boolean 是 是否获取实时数据：true：实时查询实例上数据并计算。最小查询时间粒度为 10 分钟，即有 10 分钟内的数据时，即使传递 true 也不进行实时查询。false：当有近两小时的数据时，返回该数据，否则查询实例上最新数据...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
实时同步常见问题
实时同步不支持在DataWorks的界面上直接运行，您需要在配置好实时同步任务后，提交并发布实时同步节点后，进入生产环境运行该节点。详情请参见 实时同步任务运维。实时同步任务DDL策略都有哪些？处理方式如下：正常处理 忽略 报警 出错 此...
- 产品推荐
- 这些文档可能帮助您