应用场景
探针分析APM（Application Performance Management）高并发查询 广告主报表分析 零售行业渠道人员分析 SaaS行业面向用户分析报表 Dashboard多页面分析 统一分析 通过使用一套系统解决多维分析、高并发查询、预计算、实时分析查询等场景，...
基于Hadoop集群支持Delta Lake或Hudi存储机制
步骤三：基于MaxCompute实时分析Hadoop集群数据 基于已创建的MaxCompute项目以及Hadoop集群表数据，创建External Project，用于Hadoop集群，并映射至已创建的MaxCompute项目。后续可通过映射的MaxCompute项目对External Project进行数据...
配置实时日志推送
ListRealtimeLogDeliveryDomains 查询实时日志投递服务下所有域名。ModifyRealtimeLogDelivery 更改域名实时日志投递，一个域名同时仅支持投递单个logstore。ListRealtimeLogDeliveryInfos 查询所有实时日志投递服务信息。...
配置实时日志推送
ListRealtimeLogDeliveryDomains 查询实时日志投递服务下所有域名。ModifyRealtimeLogDelivery 更改域名实时日志投递，一个域名同时仅支持投递单个logstore。ListRealtimeLogDeliveryInfos 查询所有实时日志投递服务信息。...
数据统计
API提供以下接口供您查询对应的数据：查询直播域名带宽数据 查询直播录制路数、转封装用量 查询直播域名截图张数 查询直播域名流量数据 查询域名转码用量数据 查询直播域名实时带宽数据 查询直播域名实时HTTP返回码占比 查询直播域名实时...
实时物化视图
向基表中插入新数据，查询实时物化视图数据。INSERT INTO t VALUES(6,'f');SELECT*FROM mv ORDER BY b;显示结果如下：max|min|b-+-+-1|1|a 2|2|b 3|3|c 4|4|d 5|5|e 6|6|f(6 rows)结果显示实时物化视图的数据与基表数据保持一致。删除基表...
实时物化视图
向基表中插入新数据，查询实时物化视图数据。INSERT INTO t VALUES(6,'f');SELECT*FROM mv ORDER BY b;显示结果如下：max|min|b-+-+-1|1|a 2|2|b 3|3|c 4|4|d 5|5|e 6|6|f(6 rows)结果显示实时物化视图的数据与基表数据保持一致。删除基表...
实时物化视图
向基表中插入新数据，查询实时物化视图数据。INSERT INTO t VALUES(6,'f');SELECT*FROM mv ORDER BY b;显示结果如下：max|min|b-+-+-1|1|a 2|2|b 3|3|c 4|4|d 5|5|e 6|6|f(6 rows)结果显示实时物化视图的数据与基表数据保持一致。删除基表...
实时物化视图
向基表中插入新数据，查询实时物化视图数据。INSERT INTO t VALUES(6,'f');SELECT*FROM mv ORDER BY b;显示结果如下：max|min|b-+-+-1|1|a 2|2|b 3|3|c 4|4|d 5|5|e 6|6|f(6 rows)结果显示实时物化视图的数据与基表数据保持一致。删除基表...
2023年
实时物化视图 优化 Ganos插件 Ganos插件升级至5.5版本。简介 缺陷修复 修复内核漏洞CVE-2023-2454，请你及时将存储弹性模式6.0版实例的内核小版本升级至V6.3.10.14及以上版本。修复PL/Java插件使用的UDF会导致pg进程残留的问题。修复数据...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
视频点播VOD的审计事件
ListVodRealtimeLogDeliveryDomains 查询实时日志投递服务下所有域名。ListVodRealtimeLogDeliveryInfos 查询所有实时日志投递服务信息。ListVodTagResources 获取资源标签列表。ListVodTemplate 查询截图模板列表。ListWatermark 查询用户...
2022年
2022年04月15日（V6.3.9.0）类别 功能 功能描述 相关文档 新增 查询计划管理（SQL Plan Management）AnalyticDB PostgreSQL版 提供了查询计划管理功能，该功能可以存储指定查询语句的查询计划，当再次出现同类查询语句时可以直接调用相应的...
项目角色管理
即席查询 访问目录 即席查询目录-查看 查看详情 即席查询-查看内容/助手/历史信息/日志 编辑 即席查询目录-新建 即席查询目录-编辑（重命名、移动）即席查询目录-删除 即席查询-新建 即席查询-编辑（编辑、重命名、代码区变动、保存、格式...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
迁移HBase至Hologres
联通数据孤岛，海量数据实时查询及分析，弹性扩展集群，完整SQL支持。开发方式 应用开发复杂，需要将业务分析的指标、维度、表、聚合等概念，转化为存储的KeyValue概念，将应用层查询过滤场景翻译为对Key的字节过滤操作，系统效率严重依赖...
E-MapReduce弹性低成本离线大数据分析
Storm适用于处理高速、大型数据流的分布式实时计算，为Hadoop添加可靠的实时数据处理能力。海量离线数据分析可以应用于多种场景，例如：商业系统环境：电商海量日志分析、用户行为画像分析。科研行业：海量离线计算分析和数据查询。游戏...
管理日志
查询实时日志 进入日志管理页面。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，单击目标集群的 集群ID。单击上方的 日志管理 页签。配置日志投递范围。在 日志管理 页面，单击右侧的 设置...
2023年
数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（TimeTravel查询），也支持指定源表某个历史时间区间...
共享集群产品功能发布记录
2023年12月 共享集群发布V2....支持加速读OSS-HDFS湖存储数据，提升Hadoop生态数据实时分析的效率。更多详情请参见 OSS数据湖加速。引擎能力 支持手动Analyze收集数据库中表内容的统计信息，优化执行计划，详情请参见 ANALYZE和AUTO ANALYZE。
开启日志投递
您可以指定时间段和查询语句进行实时查询。例如，可快速分析某一个字段在一段时间内的分布情况，您也可以按条件过滤或统计您希望查看的访问记录。关闭日志投递 重要 关闭实时日志投递不会自动删除Project。因此，当您关闭日志投递后，为...
玄武分析型存储
玄武分析存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层...
应用场景
云消息队列 Kafka 版 的发布/订阅模型，您可以实时收集网站活动数据（例如注册、登录、充值、支付、购买），根据业务数据类型将消息发布到不同的Topic，然后利用订阅消息的实时投递，将消息流用于实时处理、实时监控或者加载到Hadoop、...
消费-计量计费日志
对LogHub中的数据创建索引，支持实时查询与统计分析。Inflow>300000 and Method=Post*and Status in[200 300]您也可以在查询后加上统计分析：Inflow>300000 and Method=Post*and Status in[200 300]|select max(Inflow)as s,ProjectName ...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
什么是云原生数据湖分析
采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案上云的有竞争力的解决方案。DLA的方案架构图如下...
产品概述
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
产品简介
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。背景信息 即席查询任务使用您当前...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
最佳实践概览
查询分析RocketMQ客户端日志 通过Elasticsearch和rsbeat实时分析Redis slowlog 服务器数据采集 服务器数据采集方案概述 阿里云Elasticsearch数据采集解决方案 通过自建Metricbeat收集系统指标信息 使用SkyWalking和Elasticsearch实现全链路...
资源监控
用量查询、资源监控、实时监控在数据统计维度上的区别 用量查询：按CDN节点维度来统计用量数据，每个CDN节点都唯一归属于某个计费大区，因此用量查询只能按计费大区来查询用量数据，例如，中国内地、亚太1区、北美区等。具体内容请参见 ...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
快速入门
产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以快速地、近乎于准实时地存储、查询和分析超大数据集，可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用。Elasticsearch快速入门 Logstash ...
配置E-MapReduce服务使用文件存储 HDFS 版
hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse/analysis_logs.db/original_log_sh_partitioned|-1|org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat|3|29|22|org.apache.hadoop.mapred.TextInputFormat|...
共享集群（OSS数据湖加速）
进一步扩展了数据湖加速的服务能力和边界，使Hologres可以与Hadoop生态计算引擎无缝集成，加速读写存储于HDFS上的数据，大幅提升Hadoop生态数据实时分析的效率，更好地满足大数据和AI等领域的数据湖联邦、实时分析诉求。Hologres从V2.1.6...
什么是实时数仓Hologres
Hologres致力于高性能、高可靠、低成本、可扩展的实时数仓引擎研发，为用户提供海量数据的实时数据仓库解决方案和亚秒级交互式查询服务，广泛应用在实时数据中台建设、精细化分析、自助式分析、营销画像、人群圈选、实时风控等场景。...
应用场景
实时数仓 该场景需要在一个平台上提供统一的在线查询和离线计算的能力，简化数据架构，降低开发和运维成本。通过弹性伸缩支持更合理的资源配比，减少非高峰期的保有资源，优化成本，提高性价比。该场景可实现：在离线一体化 支持数据实时增...
数据服务集群
Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用以对HBase表进行类似于SQL的查询。Apache HBase基于HDFS作为底层存储系统，在云上的场景可以使用对象存储（例如OSS）来提供更好的灵活性以及更低的成本。...
- 产品推荐
- 这些文档可能帮助您