产品简介
管理系统历史所有（系统自动触发和手动新增的）事件任务，事件任务及时分派给所属人员，支持转交、响应、处理完结、升级故障等操作；管理系统历史所有升级的故障（人为手动升级或系统自动触发）；支持故障全生命周期管理，包括通知、处理、...
产品概述
用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线 DataHub的流式数据比如实时Web访问日志、应用日志、各种事件等，并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等。产品概述 数据总线 DataHub基本介绍 阿里...
如何对JSON类型进行高效分析
传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在处理JSON数据时经常将原始JSON数据编码成二进制数据并存储到表的JSON类型列中，查询时使用JSON函数对整个JSON列数据进行实时解析与计算等。JSON作为半结构化数据...
向量检索版介绍
系统架构 在线系统 在用户视角中在线系统是按表维度进行划分，用户可以通过接口单独查询每张向量表的数据，也可以对每张表进行单独管理，比如设置表字段、设置向量索引，配置数据源，控制每张表的实时数据并发等等。后端的在线系统架构则是...
应用场景
秒杀处理系统按照秒杀处理逻辑将满足秒杀条件的请求发送至 云消息队列 RocketMQ 版。下游的通知系统订阅 云消息队列 RocketMQ 版 的秒杀相关消息，再将秒杀成功的消息发送到相应用户。用户收到秒杀成功的通知。大规模机器的缓存同步 双十一...
用户行为分析（UV）概述
解决方案与优势 Hologres是基于分析服务一体化理念（Hybrid Serving&Analytical Processing，HSAP）设计的实时数仓产品，采用分布式架构，支持数据实时写入，高并发、低延时的分析处理PB级数据，兼容PostgreSQL协议，使用最熟悉的工具就能...
用户画像分析概述
Hologres解决方案 针对上述两方面问题，基于新一代实时数仓产品Hologres的系统能力，通过配置数据链路、选择插件库、根据系统规模选择方案步骤快速构建高性能、可扩展的系统方案。数据链路 依托Hologres通常只需要维护一套数据链路即可实现...
监控分析平台对比
需求多样 对于各类数据，运维和SRE团队不仅需要保障业务稳定，还需要支持其他业务团队进行数据的使用，对于数据的使用也是多样的，常见需求如下：监控、报警：实时处理（流式，小批量），秒级~分钟级延时。客服、问题排查：快速检索，例如...
创建实时日志投递任务
通过实时日志功能可以实时采集系统、应用程序或设备操作的日志，并投递到指定的日志分析服务上进行存储和分析，能够有效保护数据安全，快速监控，定位业务问题和优化内容分发性能。不同套餐的支持情况 每种日志类型下可创建的推送任务数量...
实时UV精确去重（Flink+Hologres）
Hologres对Flink实时写入的数据实时处理。最终查询的数据对接上层数据应用，如数据服务、Quick BI等。实时UV计算方案流程 Flink与Hologres有着非常强的融合性，再结合Hologres天然支持的RoaringBitmap，完成实时UV计算，实时对用户标签去重...
迁移方案
数据正确性验证 数据质量是实时计算数据产出对业务的重要保障，和实时计算任务日常变更一样，迁移工作也需要对新任务产出的数据质量进行验证。通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行一段时间，满足数据对比条件后...
概述
Apache Nifi是一个基于WEB-UI用户界面，具有很强的交互性和易用性，为不同系统间或系统内提供数据流管理与处理的系统。Apache Nifi SQL Workbench/J SQL Workbench/J是一款免费、跨平台的SQL查询分析工具。全SQL执行界面，更适用于有SQL...
媒体处理常见问题
在系统繁忙时，能同时处理的作业数量可能小于共享型转码资源限额。什么是转码预置模板？预置模板是一种内置转码模板，其中包含您希望媒体转码在转码过程中应用的各种设置，例如转码输出文件的格式、分辨率和编解码器。媒体处理会智能分析...
实时数仓Hologres
背景信息 实时数仓Hologres 是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
功能更新动态（2022年之前）
配置实时监控报警规则 数据处理 新增实时数据处理，帮助您处理实时计算任务。实时数据处理 数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成 告警中心 为您展示资产质量、实时计算、...
实时消费概述
日志服务提供数据实时消费功能，支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
功能特性
直播水印 直播延播 支持配置直播延时播放，直播流开始后经过云端处理，在播放端进行延时播放 直播延播 直播监播 广目系统为各类直播项目提供实时监播功能，并对帧率码率变化、音视频同步、延迟和卡顿等异常情况时进行告警，为各类专业直播...
告警管理概述
与Grafana、Loki、Prometheus结合可以通过Grafana大盘实时查看已处理和未处理的告警，实现通过一个大盘全盘掌握系统告警处理状态。默认支持丰富的SLO指标统计，通过告警接手率、平均接手时长、平均处理时长等指标来管理团队。通过丰富的...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
API概览
实时处理 API 标题 API概述 实时媒体转码 实时媒体转码 CreateLiveTranscodeTemplate 创建实时媒体转码模版 调用CreateLiveTranscodeTemplate创建实时转码模板，便于提交实时转码任务。GetLiveTranscodeTemplate 获取单个实时媒体转码模版 ...
如何使用Prometheus监控Windows
CPU指标 CPU作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，您可以关注以下主要指标。指标名称 指标级别 指标来源 指标说明 CPU使用率（%）Critical WMI（PercentProcessorTime）若长时间CPU使用率达到100%，表示...
实时研发基本流程概述
本教程将指导您如何在Dataphin中基于Ververica Flink完成...启动实时实例后，实时读取来源表数据经Ververica Flink计算和处理后实时写入到结果表中。可以使用BI工具（例如，Quick BI等）对结果表中的数据进行可视化分析。步骤六：可视化分析
实时研发基本流程概述
本教程将指导您如何在Dataphin中基于Ververica Flink完成...启动实时实例后，实时读取来源表数据经Ververica Flink计算和处理后实时写入到结果表中。可以使用BI工具（例如，Quick BI等）对结果表中的数据进行可视化分析。步骤六：可视化分析
实时同步任务延迟解决方案
说明 实时同步任务从一个系统读数据，并将数据写入另一个系统，当写数据比读数据慢时，则读数据一侧的系统会受到反压，导致速度变慢。即造成瓶颈的系统可能会由于反压导致另一侧系统的一些异常，此时要优先关注造成瓶颈的系统的异常情况。...
开通Dataphin
系统支持选择的 地域 包括：华东2（上海）华南1（深圳）华北2（北京）华东1（杭州）版本 系统默认开通 智能研发版（离线&实时）。计算引擎 系统仅支持 MaxCompute 引擎。数据处理单元 系统默认开通 200，如果您希望开通更高规格数据处理...
什么是实时数仓Hologres
本文为您介绍什么是实时数仓Hologres以及Hologres的功能。Hologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-Time Data Warehouse），支持海量数据实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议和语法，...
支持的云服务
实时数仓Hologres Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
前端监控场景
基于ARMS的前端监控方案 前端监控功能基于ARMS平台提供的海量实时日志分析和处理服务，对当前线上所有真实用户的访问情况进行监控，从而解决以上问题。应用总览，发现异常问题 ARMS前端监控中可以看到应用总览信息，包括应用的JS错误数、JS...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向云HBase的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
智能接入网关App FAQ
本文为您介绍使用智能接入网关App过程中常见问题和处理方法。登录阿里云网络客户端时，报错“[1000]程序异常请重启错误”，怎么处理？阿里云网络客户端账号无法删除，怎么处理？阿里云网络客户端启动2~5分钟和管控连接断开，怎么处理？使用...
文档更新动态（2022年之前）
通用功能 概述 2020-04-09 数据处理 功能拓展 新增实时数据处理，帮助您处理实时计算任务。通用功能 实时数据处理 2020-04-09 实时元表 新增功能 为您介绍如何查看实时元表的详情。通用功能 元表详情 2020-04-09 函数权限 新增功能 为您...
2023-08-21版本
加强了Tair的企业级数据结构的更全面支持，您可以使用Flink+TairTs实时构建时序数据集，使用Flink+TairVector构建AI向量数据集，也可以通过Flink+TairCpc进行实时风控应用构建，或者采用Flink+TairRoaring实现实时客户画像系统。...
画像分析-RoaringBitmap优化方案
当业务标签越来越多时（大于1000列），一般就认为是超大规模的场景，宽表标签计算的方案将不再适合，因为当列越多时，更新效率将会越慢。...离线加工使用Bitmap方案更多信息请参见 离线UV计算 实时Bitmap处理方案 在实时计算...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
开通服务
重要 云资源访问授权是对系统创建的供媒体处理使用的角色授予访问云资源的权限。授权后如果误删角色 AliyunMTSDefaultRole，可使用阿里云账号再次进入 授权页面，或登录控制台重新授权。开通OSS服务，详细操作请参见 开通OSS服务。说明 ...
轨迹服务
汽车云平台的业务系统每天都会接收到大量的车辆信息，例如车辆的实时位置和车辆的实时属性，其数据规模通常会超过10 TB/天。同时，平台也存在各种类型的时空查询需求，包括但不限于实时的圈选、出入监测和历史轨迹分析，并且由于查询类型的...
- 产品推荐
- 这些文档可能帮助您