实时消费概述
日志服务提供数据实时消费功能，支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
计算设置概述
租户开启 实时研发 模块后，系统将根据 离线计算引擎 选择进行推荐设置，您可以自行修改。开启实时研发，请参见 租户设置。Apache Flink Apache Flink是一个分布式处理引擎，用于对无界和有界数据流进行有状态计算。Fusioninsight Flink ...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，...相关背景知识 什么是实时计算？什么是流数据？实时计算与批量计算相比存在哪些差异？
Hologres推荐的数仓分层
有实时需求，以分析为主，实时性满足分析时数据在业务场景具备实时含义，不追求数据产生到分析的秒级绝对值，但开发效率优先，推荐分钟级准实时方案，这个方案适合80%以上的实时数仓场景，平衡了时效性与开发效率，适合 实时数仓场景二：...
应用场景
这些系统是为单一的目标而产生的，因其简单性使得在商业硬件上构建分布式系统变得更加容易且性价比更高。通常，同一份数据集需要被注入到多个专用系统内。例如，当应用日志用于离线日志分析时，搜索单个日志记录同样不可或缺，而构建各自...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
基本概念
Hologres是一款高性能的、计算存储分离的分布式一站式实时数仓引擎，数据存储在位于底层存储系统的数据分片（又称Shard）上。本文为您介绍Hologres中Table Group和Shard Count的概念。Table Group和Shard 在Hologres中数据存储在Pangu系统...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
Arthas诊断
ARMS 的Arthas诊断功能包括以下几种类型：JVM概览：查看当前JVM进程实时的内存使用情况、系统信息、系统变量和环境变量。线程耗时分析：查看当前JVM进程的线程耗时情况以及指定线程的实时方法栈。方法执行分析：抓取任意方法（非JDK方法）...
Arthas诊断
ARMS 的Arthas诊断功能包括以下几种类型：JVM概览：查看当前JVM进程实时的内存使用情况、系统信息、系统变量和环境变量。线程耗时分析：查看当前JVM进程的线程耗时情况以及指定线程的实时方法栈。方法执行分析：抓取任意方法（非JDK方法）...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
公交出行：启迪公交
智能的实时客流系统自动化分析客流情况，实时监控北京公交2万多辆公交车的运行状态，结合车辆和机具运行状态生成调度方案，助力场站调度人员实现更加合理的调度排班方案。实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
访问控制概述
权限策略 类型 说明 AliyunARMSFullAccess 系统 应用实时监控服务ARMS的完整权限 AliyunARMSReadOnlyAccess 系统 应用实时监控服务ARMS的只读权限 重要 为了实现对ARMS所有功能的只读权限，添加 AliyunARMSReadOnlyAccess 权限策略外，还...
用户行为分析（UV）概述
例如大促时，电商商家需要实时计算店铺的实时UV，并根据UV情况及时调整运营策略，从而达成销售目标。在计算用户UV时，由于业务需求不同，计算的维度和数据量也不同，通常来讲会有以下诉求。用户数据量大，每天几亿条，维度多（10+以上），...
概述
JDBC Holo Client Holo Client是Hologres在JDBC的基础上自研的一款开发接口，适用于大批量数据写入（批量、实时同步至Hologres）和高QPS点查（维表关联）场景。通过Holo Client读写数据 Python Python是一种高级编程语言，由于其简洁易读的...
用户画像分析概述
Hologres解决方案 针对上述两方面问题，基于新一代实时数仓产品Hologres的系统能力，通过配置数据链路、选择插件库、根据系统规模选择方案步骤快速构建高性能、可扩展的系统方案。数据链路 依托Hologres通常只需要维护一套数据链路即可实现...
监控分析平台对比
Kafka+Flink 对于数据清洗、风控等需求，需要构建一套实时数据通道和流式系统，支撑数据的全量实时消费，一般使用Kafka和Flink组合。ClickHouse、Presto、Druid 在运营分析、报表等场景中，为了追求更高的实时响应性，通常还会将数据导入...
查看并管理实时任务
③ 实时任务列表区 实时任务页面以列表形式为您展示系统已生成的实时任务。实时任务列表信息，请参见 实时任务列表支持的操作。列表操作栏为您展示实时任务支持的运维管理操作。实时任务支持的运维操作，请参见 实时任务列表支持的操作。④...
查看并管理实时任务
③ 实时任务列表区 实时任务页面以列表形式为您展示系统已生成的实时任务。实时任务列表信息，请参见 实时任务列表支持的操作。列表操作栏为您展示实时任务支持的运维管理操作。实时任务支持的运维操作，请参见 实时任务列表支持的操作。④...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
实时物化视图（Beta）
实时物化视图将对明细表的数据进行预先聚合，存储为物化视图，通过查询物化视图，减少计算量，显著提升查询性能。本文为您介绍在Hologres中如何使用物化视图。背景信息 Hologres实时物化视图不需要手动刷新物化数据，明细表实时写入，会...
文档修订记录
新说明 存储抵扣包是实时数仓Hologres推出的存储资源抵扣包，支持按包年包月的方式购买存储容量，用于抵扣实例产生的按量付费支付的存储资源，比按量付费方式优惠。本文为您介绍存储抵扣包的抵扣说明、抵扣示例、计费说明、购买存储抵扣包...
作业状态集管理
说明 当配置为定时生成或清理时，系统是根据用户配置的规则进行，因此也属于用户管理。针对系统检查点和作业快照，支持您进行以下操作，具体的使用场景和文档链接如下表所示。操作 使用场景 文档链接 手动创建作业快照 如果您需要在某个...
应用场景
历史订单数据场景 订单系统是一个非常通用的系统，存在于各行各业，例如电商订单、银行流水、运营商话费账单等。随着互联网的发展以及各企业对数据的重视，需要存储和持久化的订单量越来越大。传统关系型数据能够解决需要支持强一致的事务...
迁移方案
数据正确性验证 数据质量是实时计算数据产出对业务的重要保障，和实时计算任务日常变更一样，迁移工作也需要对新任务产出的数据质量进行验证。通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行一段时间，满足数据对比条件后...
什么是实时数仓Hologres
本文为您介绍什么是实时数仓Hologres以及Hologres的功能。Hologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-Time Data Warehouse），支持海量数据实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议和语法，...
创建实时日志投递任务
通过实时日志功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定的日志分析服务上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。不同套餐的支持情况 每种日志类型下可创建的推送任务数量...
通过Holo Client读写数据
Holo Client是Hologres在JDBC的基础上自研的一款开发接口，适用于大批量数据写入（批量、实时同步至Hologres）和高QPS点查（维表关联）场景。本文将为您介绍Holo Client的使用。Holo Client优势介绍 Holo Client优势以及使用场景如下。自动...
Arthas诊断（新版）
EDAS 的Arthas诊断功能包括以下几种类型：JVM概览：查看当前JVM进程实时的内存使用情况、系统信息、系统变量和环境变量。线程分析：查看当前JVM进程的线程耗时情况以及指定线程的实时方法栈。方法执行分析：抓取任意方法（非JDK方法）满足...
- 产品推荐
- 这些文档可能帮助您