Impala概述
所有数据均可立即查询，无需等待ETL（Extract-transform-load）。所有硬件均用于Impala查询以及MapReduce。仅需单个计算机池即可扩展。Impala的详细信息，请参见 Apache Impala。架构 E-MapReduce中Impala的架构如下图。Impala组件如下：...
URL请求分类函数
URL请求分类函数会自动将您输入的URL请求路径进行归类打标签，并提供类别的正则表达式，帮助您更好的归类URL，查询结果可供ETL使用。说明 目前，URL请求分类函数只支持华北2（北京）、华东2（上海）地域。调用方式 select url_classify(url...
概述
Web应用防火墙WAF（Web Application Firewall）日志服务帮助您采集并存储接入WAF防护的网站域名的Web访问和攻击的防护日志，基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等功能，帮助您专注于分析，远离琐碎...
多租户和资源划分
Online资源组主要用于高并发低延迟的在线数据服务，而一些大查询或离线ETL操作，则可以使用Offline资源组中的节点执行。从而实现在统一集群内同时提供在线和离线服务的能力。导入作业的资源组分配。导入作业（包括Insert、Broker Load、...
兼容性概览
以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具，以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...
通过PrestoDB使用Tablestore
PrestoDB可以作为查询工具、数据ETL工具、压力器和统一查询引擎来满足不同场景的数据处理需求。PrestoDB作为日常开发和调查问题时的查询工具，支持通过SQL查询或分析表中数据。PrestoDB作为数据ETL工具，支持实现跨表或跨实例的数据复制...
查询字符串排序
开启查询字符串排序功能后，全站加速 DCDN 会在处理请求时自动对URL中的查询字符串参数进行排序，然后再根据排序后的查询字符串进行缓存查找或请求转发。这意味着，无论请求URL中的查询字符串的顺序如何，只要参数及其值相同，边缘节点都会...
同比和环比函数
查询和分析结果为数组形式 查询和分析语句（调试）*|SELECT compare(PV,86400)FROM(SELECT count(*)AS PV FROM log)查询和分析结果 3337.0 表示当前1小时（例如2020-12-25 14:00:00~2020-12-25 15:00:00）的网站访问量。3522.0 表示昨天同...
数据存储冷热分层
假设执行用户为 etl_user，将数据库 etl 中的普通表 tiered_storage_heap_oss，设置在次日凌晨1点将普通表转冷。连接到 postgres 数据库，执行以下语句。SELECT cron.schedule('etl_table_transfer_to_cold','0 1*','SELECT pg_tiered_...
Delta Engine 概述
Delta Engine 优化可加快数据湖操作速度，并支持各种工作负载，从大规模 ETL 处理到临时交互式查询均可。其中许多优化都自动进行；只需要通过将Databricks 用于数据湖即可获得这些 Delta Engine 功能的优势。通过文件管理优化性能 自动优化...
查询监控图和SQL列表介绍
AnalyticDB MySQL版 集群提供了SQL诊断功能，支持通过多种维度检索出符合条件的SQL查询（如慢查询），并将检索结果以图像化的方式展示，您还可以将检索结果下载保存到本地进行查看。本文介绍如何使用SQL诊断中的查询监控图和查询列表。查询...
查询和分析JSON日志
本文以查询和分析JSON类型的网站日志为例，为您介绍查询和分析JSON日志的步骤，并提供SQL语句示例。前提条件 已采集JSON日志。具体操作，请参见 使用极简模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标...
SQL代码编码原则和规范
查询嵌套编写规范 在数据仓库系统ETL开发中经常使用子查询嵌套，其编写规范示例如下。表别名定义约定 一旦在SELECT语句中给操作表定义了别名，在整个语句中对此表的引用都必须以别名替代，所以需要给所有的表添加别名。表别名采用简单字符...
查询ETL任务日志
DtsJobId String 是 l5512es7w15*ETL任务ID，您可以调用 DescribeDtsJobs 接口查询任务ID。RegionId String 否 cn-hangzhou DTS实例所属的地域ID。您可以调用 DescribeRegions 接口查询阿里云地域列表。返回数据 名称 类型 示例值 描述 ...
实时物化视图
既可在上游原始基表上创建实时物化视图，还可以基于实时物化视图再创建下游级联的实时物化视图产出实时ETL的处理结果，用于加速查询分析。基于实时物化视图可以大幅加速查询结果的速度。尤其针对查询结果相对于对基表仅包含少量的行或列，...
查询ETL任务详情
DtsJobId String 否 l5512es7w15*ETL任务ID，您可以调用 DescribeDtsJobs 接口查询任务ID。RegionId String 否 cn-hangzhou DTS实例所属的地域ID。您可以调用 DescribeRegions 接口查询阿里云地域列表。返回数据 名称 类型 示例值 描述 ...
如何对JSON类型进行高效分析
总之，PolarDB MySQL版 的虚拟列是一种灵活且强大的功能，尤其处理半结构化数据（如JSON类型数据等）时可以直接将不规则的数据存储为结构化数据，避免中间ETL额外处理逻辑，并且可以使用传统的SQL查询语言进行查询与分析。虚拟列有助于简化...
数据写入Table Store
22|RUSSIA|23|UNITED KINGDOM|24|UNITED STATES|+-+-+25 rows in set(0.37 sec)查询customer表数据，查询条件为nationkey=3以及c_mktsegment=BUILDING的数据：mysql>select count(*)from customer where c_nationkey=3 and c_mktsegment='...
应用场景
为了避免这种割裂情况，阿里云EMR Serverless Spark提供了一个统一的环境，可同时支持ETL任务编写和低延迟的数据查询。该方案优势如下：一体化环境：EMR Serverless Spark不仅可以用于批作业的开发，还可满足数据的低延迟查询与分析。极速...
Github实时数据同步与分析
使用内部表查询，将历史数据通过0 ETL的形式快速导入Hologres，获得更快的查询速度。重要 Github每日数据量约为300MB，Hologres免费试用存储额度为20GB，如果导入过多存量历史数据，将会收产生额外费用，外部表查询不受影响。外部表查询...
查询和分析全量日志
网站域名开启DDoS高防全量日志采集后，您可以通过全量日志页面对采集到的日志数据进行实时查询和分析。本文介绍如何查询和分析DDoS高防全量日志。日志采样说明 当QPS流量在实例购买的规格范围内时，系统接近1:1采样，流量越小采样准确率越...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
计算层高可用
Batch模式 对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别重试，整体重试代价过大时用户无法接受。对于Batch模式，Stage by Stage的计算模型下的计算failover可以做到任务粒度的failover，将失败的代价...
功能特性
相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等数据分析工作。Serverless Presto概述 DLA Serverless Spark DLA Serverless Spark基于云原生架构，提供面向...
Config和Hint配置参数
查询执行模式 查询队列 XIHE_ENV_QUERY_ETL_MAX_CONCURRENT_SIZE 单个前端节点LOWEST队列的最大可运行查询数，默认值为20。SET ADB_CONFIG XIHE_ENV_QUERY_ETL_MAX_CONCURRENT_SIZE=20;Interactive型资源组的优先级队列与并发控制 XIHE_ENV...
Serverless Presto概述
Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等...
StarRocks概述
无需人工干预，就可以通过统计信息合理估算执行成本，生成更优的执行计划，大大提高了AdHoc和ETL场景的数据分析效率。联邦查询 StarRocks支持使用外表的方式进行联邦查询，当前可以支持Hive、MySQL、Elasticsearch、Iceberg和Hudi类型的...
列存索引常见问题
列存索引只能在单独的只读节点上查询，而 INSERT/CREATE 语句只能在主节点（RW节点）上执行，因此如果需要使用列存索引进行 INSERT INTO SELECT/CREATE TABLE AS SELECT 语句的查询，需要使用列存索引的ETL功能。更多详细信息请参见 使用列...
嵌套子查询
查询和分析语句*|SELECT min(PV)FROM(SELECT count(1)as PV FROM log GROUP BY request_method)查询和分析结果 示例2 计算当前1小时和昨天同时段的网站访问量比值。其中，选择查询和分析的时间范围为 1小时（整点时间），86400 表示当前...
Serverless Computing（Beta）
此外，由于ETL任务之间的资源并未实现隔离，ETL任务之间会相互竞争共享资源，从而彼此产生干扰，并可能导致查询性能的不稳定，即查询抖动现象。开启Serverless Computing后，ETL任务可在Serverless Computing资源池进行，并避免了资源争抢...
Map映射函数和运算符
SELECT map_concat(cast(json_parse(etl_context)AS map(varchar,varchar)),cast(json_parse(progress)AS map(varchar,varchar)))查询和分析结果 map_filter函数 map_filter函数和Lambda表达式结合，用于过滤Map中的元素。语法 map_filter...
概述
库仓一站式（Zero-ETL）传统数据仓库，会通过数据ETL方式同步数据，采用MPP/BSP等并行计算架构可以很好解决OLAP复杂查询，但面相高并发的数据在线查询（Serving场景）会有明显的资源并发瓶颈，会通过数据回流到OLTP数据库提供在线查询。...
日志类型
查询任务运行日志时，需要在查询语句中指定_topic_:etl_metrics。重要 此类日志只针对新版数据导入任务和新版数据投递任务。详细日志 根据 Method 字段，详细日志被分为读操作、写操作和资源操作三类日志，具体如下：分类 请求方式 读操作 ...
Hints
DLA的查询默认是同步执行的，也就是说客户端到DLA的连接会一直等待服务端，直到返回查询结果。但是对于一些大规模的ETL，比如 INSERT INTO SELECT FROM 这类语句，如果数据量大的话，它的执行时间很长。如果服务端长时间不返回任何数据给...
快速设置日志告警
背景信息 日志服务数据实验室提供模拟的网站访问日志及相关仪表盘（网站审计中心、网站访问中心等），便于您熟悉查询、分析、告警等操作。本案例以监控 网站审计中心 仪表盘中的统计图表 请求成功率 和 响应时间趋势 为例，当请求成功率...
汇总数据层（DWS）
聚集会带来查询性能的提升，但聚集也会增加ETL维护的难度。当子类目对应的一级类目发生变更时，先前存在的、已经被汇总到聚集表中的数据需要被重新调整。此外，进行DWS层设计时还需遵循数据公用性原则。数据公用性需要考虑汇总的聚集是否...
Spark Load
例如，Spark或GPU用于查询，HDFS或S3用于外部存储，MapReduce用于ETL等，因此引入Resource Management来管理StarRocks使用的这些外部资源。提交Spark导入任务之前，需要配置执行ETL任务的Spark集群。操作语法如下所示。create spark ...
HBase SQL（Phoenix）与Spark的选择
本文介绍Phoenix与Spark的使用场景，差异对比分析供用户选择。使用场景 ApsaraDB Phoenix是ApsaraDB HBase提供的SQL层，主要为了解决 高...案例 通过以下案例我们可以看出，spark主要做流ETL及数据的二次加工，在线的查询通过Phoenix完成。
公共汇总粒度事实层（DWS）
聚集会带来查询性能的提升，但聚集也会增加ETL维护的难度。当子类目对应的一级类目发生变更时，先前存在的、已经被汇总到聚集表中的数据需要被重新调整。此外，进行DWS层设计时还需遵循以下原则：数据公用性：需考虑汇总的聚集是否可以提供...
- 产品推荐
- 这些文档可能帮助您