事件流概述
应用场景 流式ETL处理 事件流作为更轻量、实时（real-time）端到端的流式事件通道，提供轻量流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步，连接不同的系统与服务。...
产品架构
流计算负责消息日志的实时处理，兼容Flink SQL语法，计算结果数据可以同步至Lindorm宽表引擎、时序引擎等。计算引擎 计算引擎 是基于云原生架构提供的分布式计算服务，计算节点运行在阿里云Serverless Kubernetes（简称ASK）容器服务中。...
应用场景
秒杀处理系统按照秒杀处理逻辑将满足秒杀条件的请求发送至 云消息队列 RocketMQ 版。下游的通知系统订阅 云消息队列 RocketMQ 版 的秒杀相关消息，再将秒杀成功的消息发送到相应用户。用户收到秒杀成功的通知。大规模机器的缓存同步 双十一...
使用实时性能功能
实时性能可以采集 CPU、内存、内存详情、流量、FPS 等指标，单击主功能下的 实时性能 跳转到 实时性能 界面。查看进程的实时性能数据 在 实时性能 界面可以查看进程的性能数据，操作步骤如下：在 选择进程 下拉框中选择进程。重要 当前下拉...
画像分析-RoaringBitmap优化方案
对于数值类型，如果较为稀疏也可以考虑编码，但是进行编码有利有弊，例如在广告DMP系统中除了需要高性能的画像能力，也需要实时输出人群明细的能力；而一旦需要输出人群明细，就需要Join用户ID表进行还原，这一部分的性能开销，也应当纳入...
用户画像分析概述
Hologres解决方案 针对上述两方面问题，基于新一代实时数仓产品Hologres的系统能力，通过配置数据链路、选择插件库、根据系统规模选择方案步骤快速构建高性能、可扩展的系统方案。数据链路 依托Hologres通常只需要维护一套数据链路即可实现...
功能特性
直播水印 直播延播 支持配置直播延时播放，直播流开始后经过云端处理，在播放端进行延时播放 直播延播 直播监播 广目系统为各类直播项目提供实时监播功能，并对帧率码率变化、音视频同步、延迟和卡顿等异常情况时进行告警，为各类专业直播...
监控与日志
您可以通过VPN网关的系统事件和监控指标信息来判断系统是否按照预期运行，同时您也可以对系统事件和监控指标设置报警规则，以便在系统运行异常时，您可以收到报警通知，及时处理问题。系统事件监控 阿里云云监控服务的事件监控功能自动汇集...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
基于Flink的资讯场景实时数仓
在PB级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处理流程和行业解决方案；支持Datastream API作业开发，提供了批流统一的Flink SQL，简化BI场景下的开发；可与用户已使用的大数据组件无缝对接，更多增值特性助力企业...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统...通过该部署，您的分析系统可以处理一天前的数据。
如何使用Prometheus监控Windows
软页面错误的代价较小，操作系统可以容忍较多的软页面错误。但硬页面错误的代价较大，通常会导致延迟。如果发现硬页面错误激增，则建议增加系统内存。在重负载情况下，操作系统将不断调整进程的工作内存，导致频繁的页面错误。从磁盘读取的...
概述
除了报警给报警信息接收人外，您可以在告警中心集中查看、处理告警事件，查看告警事件的推送记录、管理告警系统的值班表。功能 功能介绍 告警事件 集中为您展示数据研发（离线计算、实时计算）、资产质量、数据服务模块的告警事件。您可以...
告警中心概述
除了报警给报警信息接收人外，您可以在告警中心集中查看、处理告警事件，查看告警事件的推送记录、管理告警系统的值班表。功能 功能介绍 告警事件 集中为您展示数据研发（离线计算、实时计算）、资产质量、数据服务模块的告警事件。您可以...
实时UV精确去重（Flink+Hologres）
Hologres对Flink实时写入的数据实时处理。最终查询的数据对接上层数据应用，如数据服务、Quick BI等。实时UV计算方案流程 Flink与Hologres有着非常强的融合性，再结合Hologres天然支持的RoaringBitmap，完成实时UV计算，实时对用户标签去重...
智能媒体生产的审计事件
智能媒体生产已与操作审计服务集成，您可以在操作审计中查询用户操作智能媒体生产产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
监控与日志
日志服务 文件存储NAS集成了阿里云日志服务SLS，您可在您可以在 审计日志 页面开通审计日志功能，通过日志服务收集和处理云产品的操作信息、运行状态、业务动态等日志数据，并进行实时分析和投递，实现对日志的实时监控和审计。关于如何在...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
召回引擎版介绍
增量流程是一个常驻任务，每一个索引表都会对应一个增量流程，可以通过控制增量流程各个节点的并发度来提高实时数据的处理能力。Processor Processor处理原始文档，主要包括分词或者根据业务逻辑对字段内容进行改写。Processor在增量流程中...
实时消费概述
QRadar QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议实时消费日志服务的数据。具体操作，请参见 通过HTTPS投递日志到SIEM 和 通过Syslog投递日志到SIEM。多语言应用 多语言应用（SLS消费协议）Java、Python、Go等语言的...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
实时请求trace
实时请求trace功能支持实时追踪、监控某个请求的执行过程，并滚动展示请求的详细信息。当业务请求耗时较长时，您可以通过该功能定位问题所在，方便进一步进行故障诊断和问题分析并及时发现安全漏洞。前提条件 已登录目标实例的集群管理系统...
概述
本文为您介绍适用于连接和操作Hologres的常见开发工具及其使用场景，您可以选择熟悉的开发工具连接Hologres进行数据开发。工具介绍 说明 Hologres兼容PostgreSQL协议，提供JDBC/ODBC Drive：您可以从 JDBC官网 下载JDBC，使用JDBC连接时，...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
监控分析平台对比
需求多样 对于各类数据，运维和SRE团队不仅需要保障业务稳定，还需要支持其他业务团队进行数据的使用，对于数据的使用也是多样的，常见需求如下：监控、报警：实时处理（流式，小批量），秒级~分钟级延时。客服、问题排查：快速检索，例如...
执行引擎
全异步执行 端到端的全异步处理框架，可以避免高并发系统的瓶颈，充分利用资源，并且最大可能地避免存储计算分离系统带来的读数据延迟的影响。向量化和列处理 算子内部处理数据时最大可能地使用向量化执行，与存储引擎深度集成，通过灵活的...
智能媒体服务的审计事件
智能媒体服务已与操作审计服务集成，您可以在操作审计中查询用户操作智能媒体服务产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
向量检索版介绍
系统架构 在线系统 在用户视角中在线系统是按表维度进行划分，用户可以通过接口单独查询每张向量表的数据，也可以对每张表进行单独管理，比如设置表字段、设置向量索引，配置数据源，控制每张表的实时数据并发等等。后端的在线系统架构则是...
工作队列
其次，当某些实时性要求较高的任务中，需要进行较繁重钩子处理时，可以将其处理函数挂在workqueue中，其执行过程将位于workqueue的上下文，而不会占用原有任务的处理资源。另外，workqueue还提供了work的延时处理机制，用户可以选择立即...
API概览
实时处理 API 标题 API概述 实时媒体转码 实时媒体转码 CreateLiveTranscodeTemplate 创建实时媒体转码模版 调用CreateLiveTranscodeTemplate创建实时转码模板，便于提交实时转码任务。GetLiveTranscodeTemplate 获取单个实时媒体转码模版 ...
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
媒体处理常见问题
媒体处理可以同时处理几个作业？每个用户都有默认的转码资源限制，转码资源分配给管道使用，各管道相互独立。每个管道同时处理的作业数量最多不超过分配给该管道的资源限额。详细说明请参见 使用限制。什么是转码资源？转码资源是媒体处理...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数...
Hologres结果表
Hologres与实时计算Blink独享模式（原产品线）深度融合，支持使用Connector的方式写入数据至Hologres结果表，您可以立即查询写入的数据。本文为您介绍实时计算Blink独享模式（原产品线）如何写入数据至Hologres结果表。使用限制 不同Blink...
LogHub（SLS）实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON 解析）生成动态列的处理方式，如果在 JSON 解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。...
实时分析链路数据
如果您的应用遇到流量不均、单机故障、慢接口治理、业务流量统计、灰度发布监控等问题，可以通过应用监控的调用链分析快速定位问题代码。本文介绍如何通过调用链分析快速定位五种经典线上问题，更直观地了解调用链分析的用法与价值。背景...
- 产品推荐
- 这些文档可能帮助您