画像分析-RoaringBitmap优化方案
行为标签：主要描述用户行为特征，描述用户在某个时间做了一件什么事，比如用户店铺浏览购买行为、用户登录活跃行为等，数据变更频率高，通常需要进行范围扫描，聚合过滤。这类数据不适合进行Bitmap压缩，压缩比会很差，运算模式不适合...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
用户行为分析（UV）概述
例如大促时，电商商家需要实时计算店铺的实时UV，并根据UV情况及时调整运营策略，从而达成销售目标。在计算用户UV时，由于业务需求不同，计算的维度和数据量也不同，通常来讲会有以下诉求。用户数据量大，每天几亿条，维度多（10+以上），...
Flink+Hologres实时数据大屏
本文以GitHub公开事件数据为例，为您介绍使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例），实现海量数据实时分析的通用架构与核心步骤。示例架构 搭建实时数仓时，Flink可对待处理数据进行实时清洗，...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
实时数仓Hologres
背景信息 实时数仓Hologres 是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
RDS实时同步至Hologres
本文以GitHub公开事件数据为例，为您介绍使用Hologres+DataWorks数据集成构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例）的基本步骤，实现海量数据的实时分析。示例架构 其中：待处理数据：本实践使用GitHub公开事件作为...
数仓加速查询
本文以GitHub公开事件数据为例，为您介绍使用Hologres加速查询MaxCompute，并对接BI分析工具（本文以DataV为例），实现实时分析离线数据的通用架构与核心步骤。示例架构 搭建离线数仓时，Hologres可直接读取离线数仓MaxCompute中的数据，并...
实时分析海量MaxCompute数据
本文为您介绍交互式分析Hologres如何实时查询海量MaxCompute数据，并以可视化方式分析和展现查询结果的最佳实践。前提条件 开通MaxCompute，详情请参见 开通MaxCompute。说明 请确保MaxCompute和Hologres的地域相同。开通Hologres并连接至...
Hologres推荐的数仓分层
有实时需求，以分析为主，实时性满足分析时数据在业务场景具备实时含义，不追求数据产生到分析的秒级绝对值，但开发效率优先，推荐分钟级准实时方案，这个方案适合80%以上的实时数仓场景，平衡了时效性与开发效率，适合 实时数仓场景二：...
阿里云实时数仓产品Hologres的应用场景
Hologres兼容PostgreSQL生态，是新一代的 阿里云实时数仓产品，与大数据生态无缝连接，支持实时与离线数据，对接第三方BI工具，实现可视化分析业务。本文为您介绍基于Hologres核心功能的典型应用场景。Hologres的典型应用场景如下：搭建...
通过Holo Client读写数据
Holo Client是Hologres在JDBC的基础上自研的一款开发接口，适用于大批量数据写入（批量、实时同步至Hologres）和高QPS点查（维表关联）场景。本文将为您介绍Holo Client的使用。Holo Client优势介绍 Holo Client优势以及使用场景如下。自动...
概览
Roaring Bitmap函数 高效Bitmap压缩算法，常用于去重（UV计算）、标签筛选、近实时用户画像等场景。是 否 V0.9及以上版本。账号转换函数 USER_DISPLAY_NAME 将账号ID转换为用户名。不涉及 不涉及 所有版本。HG_DISPLAY_NAME_TO_ID 将用户名...
Arthas诊断
实时看板：常见组件的实时看板，例如，Druid连接池的实时看板可以看到连接池的配置、使用情况以及SQL执行耗时情况。Arthas Shell：通过命令行方式使用Arthas诊断。说明 Arthas性能分析已经全面升级为持续剖析功能，使用更加便捷，功能更加...
Arthas诊断
实时看板：常见组件的实时看板，例如，Druid连接池的实时看板可以看到连接池的配置、使用情况以及SQL执行耗时情况。Arthas Shell：通过命令行方式使用Arthas诊断。说明 Arthas性能分析已经全面升级为持续剖析功能，使用更加便捷，功能更加...
如何DING手机通讯录的人？
概述 本文介绍如何给手机通讯录里的人发DING。详细信息 若你想给手机通讯录里的人发DING，首先你需要允许钉钉访问手机通讯录。1、如果你是【认证企业用户】，只要对方没有把你拉黑或者是对方没有设置高管模式，即使对方没有激活钉钉，你都...
实时物化视图
对于这种情况，PolarDB推出了实时物化视图的功能，实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化...
Kafka实时同步
本文为您介绍如何将Kafka数据实时同步至Hologres。背景信息 Kafka 是一款高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。Hologres与大数据生态无缝打通，您可以通过...
DataV
本文为您介绍DataV如何连接实时数仓Hologres。背景信息 DataV是数据可视化分析BI产品，支持使用拖拽的方式在图形化编辑界面配置样式和数据，搭建数据可视化应用，满足多种业务的展示需求。Hologres独立数据源与DataV深度合作，您可以将...
基于Paimon的数据库实时入湖快速入门
目前阿里云实时计算Flink版，以及开源大数据平台E-MapReduce上常见的计算引擎（例如Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务，并接入计算引擎实现数据...
个人通讯录如何批量导入/导出？
2）导入联系人组：选择已有的个人通讯录分组，或新建一个通讯录分组。3）编码：单选项，选择一个与您文件批评的编码。如不清楚您的文件编码可以选择自动选择。4）地址重复：如果您导入的文件和已有通讯录内容有相同的信息，您需要对此做出...
网络连通性
如果源端或目标端任意一个与阿里云实时计算Flink版不在同一VPC下，会导致源端和目标端网络不通，数据无法读写。因此，如果您遇到数据无法读写的情况时，可以按照以下步骤排查是否为网络问题：检查上游存储和Flink全托管之间网络是否连通。...
实时数仓Hologres使用流程
Hologres是一款企业级分析和服务一体化的实时数仓，支持数据实时写入实时更新，PB级数据多维查询。如果您是首次使用Hologres的用户，建议您先阅读以下内容。产品简介：本内容概述了Hologres产品介绍、产品优势及应用场景等内容。计费概述：...
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
自监控Targets查询
前提条件 已开通 应用实时监控服务。具体操作，请参见 开通ARMS。操作说明 基础操作 登录 ARMS控制台。在左侧导航栏单击 接入管理，单击目标环境名称进入环境详情页面。在 已接入环境 页签下选择目标环境，单击目标环境名称进入环境详情...
概览
实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通，支持实时写入Flink的数据，可以实时查询写入的...
实时物化视图（Beta）
实时物化视图将对明细表的数据进行预先聚合，存储为物化视图，通过查询物化视图，减少计算量，显著提升查询性能。本文为您介绍在Hologres中如何使用物化视图。背景信息 Hologres实时物化视图不需要手动刷新物化数据，明细表实时写入，会...
应用内部通讯
本章将为您介绍如何在一个应用中实现多个节点间的通讯 服务名称的定义 在应用配置中每个节点都有一个配置项 服务名称，服务名称是您对一个节点的名称描述，也是内部节点路由的一个名称。能力说明 这里通过一个具体case来阐述内部通讯的机制...
DataV-Card
本文为您介绍DataV-Card如何连接实时数仓Hologres。背景信息 DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、...
Flink全托管
Flink全托管产品（Flink Serverless）是基于Apache Flink构建的全托管产品，为您提供全托管的实时计算服务。Hologres与Flink全托管高度兼容，支持Hologres源表、维表和结果表，以及Catalog等功能，满足一站式实时数仓建设。本文为您介绍...
社区版CDC
本文为您介绍如何在阿里云实时计算Flink版中使用社区版CDC（Change Data Capture）连接器，以及更改连接器名称。重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目，与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及...
2024-04-01版本
本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次升级计划在全网逐步进行灰度，预计3-4周完成全部升级，具体计划请关注 实时计算控制台 页面右侧的最新公告。如果您不能使用相关新功能，说明您的...
事件分析
告警事件分析功能是基于已产生的告警事件明细数据，自由组合筛选条件进行实时分析，可以满足不同场景的自定义分析诊断需求。前提条件 已创建告警规则，具体操作，请参见 创建告警规则。查看告警事件 登录 ARMS控制台，在左侧导航栏选择 ...
- 产品推荐
- 这些文档可能帮助您