开发Dataphin数据源并加速数据查询

本文为您介绍如何开发Dataphin数据源及加速数据查询。前提条件 已完成数据源分组的创建。具体操作,请参见 创建服务项目分组。已完成Hologres计算源的创建。具体操作,请参见 创建加速计算源。开发Dataphin数据源 在Dataphin首页,单击顶部...

Spark使用OSS Select加速数据查询

本文介绍如何配置Spark使用OSS Select加速数据查询,以及使用OSS Select查询数据的优势。背景信息 本文所有操作基于 Apache Impala(CDH6)处理OSS数据 搭建的CDH6集群及配置。说明 文中所有${} 的内容为环境变量,请根据您实际的环境修改。...

数据加速查询

数据查询。创建外部表成功后,可以直接查询外部表读取OSS中的数据。示例语句如下。TPCH Q11查询语句 select ps_partkey,sum(ps_supplycost*ps_availqty)as value from partsupp_orc,supplier_orc,nation_orc where ps_suppkey=s_suppkey ...

Quick BI数据集设置查询加速之后,数据集刷新预览可以...

问题描述 使用公有云专业版Quick BI,数据集配置查询加速如下:数据集刷新预览可以正常看到数据,但是基于该数据集创建的查询控件,下拉列表中却读取不到数据:关闭查询加速的开关之后,查询控件可以正常读取数据。问题原因 查询控件关联的...

通过创建外部表加速查询MaxCompute数据

查询前10条数据,SQL语句如下:SELECT*FROM foreign_ods_enterprise_share_trade_h limit 10;查询分区数据,示例SQL如下:SELECT*FROM foreign_ods_enterprise_share_trade_h WHERE ds='20170113';方案二:通过外部表自动加载功能实现...

QucikBI中数据集打开查询加速的开关之后,抽取数据时...

问题描述 Quick BI中数据集打开查询加速的开关之后,抽取数据失败,查看日志报错"Communications link failure.The last packet sent successfully to the server was 0 milliseconds ago.The driver has not received any packets from ...

Quick BI如何快速查询哪些数据集设置了加速

问题描述 Quick BI如何快速查询哪些数据集设置了加速?解决方案 在设置-“Quick BI引擎”-“抽取加速”中选择具体的工作空间右侧的“查看详情”,可以查看设置加速数据集信息。适用于 Quick BI

Quick BI引擎加速运行时是否会对查询数据有影响

概述 本文描述了Quick BI引擎加速运行时是否会对查询数据有影响。详细信息 引擎加速时,不会影响数据,只有加速成功,才会从加速引擎中查询,否则都是从原数据库查数据。适用于 Quick BI 公共云专业版

Quick BI不同图表组件同一数据集为何有的图表查询走...

概述 两个图表组件使用的是同一个数据集,一个图表查询走了加速引擎,一个没走加速引擎是为什么。详细信息 1.原因是没走加速引擎的图表,度量使用的是新建计算字段,目前只有部分新建计算字段的逻辑支持走加速引擎。类似FROM这类表的查询...

Quick BI数据集开启加速引擎的抽取加速后,为什么图表...

问题描述 Quick BI数据集开启加速引擎的抽取加速后,为什么图表的查询没有生效加速效果。问题原因 用户仪表板图表使用的数据集有新建计算字段,新建计算字段使用了NVL(expr1,expr2)函数,目前版本的Quick BI加速引擎不支持NVL(expr1,expr2)...

Quick BI数据集开启维值加速后,仪表板查询控件配置...

问题描述 数据集开启维值加速后,仪表板查询控件配置下拉列表枚举值自动解析时查询控件显示暂无可用字段。问题原因 维值加速的配置表为分区表,到数据查询时报错分区查询错误。(is full scan with all partitions,please specify ...

Quick BI自定义SQL数据集配置加速引擎后,创建的仪表...

问题描述 Quick BI自定义SQL数据集配置加速引擎后,创建的仪表板图表查询速度还是很慢?问题原因 配置了加速引擎之后,如果对数据集的自定义SQL做了变更新增了字段,会导致加速引擎表中的字段不匹配,没有加速成功。解决方案 需要用户重新...

Quick BI数据集跨源数据集报错“需要开启Quick引擎...

问题描述 Quick BI数据集跨源数据集报错“需要开启Quick引擎实时加速才能使用跨源关联查询”,但是开启加速配置失败。解决方案 数据集‘加速配置’需要在‘配置面板-Quick引擎(公测)-实时加速’配置。适用于 Quick BI

Quick BI数据集跨源关联报错“需要开启Quick引擎实时...

问题描述 Quick BI数据集跨源关联报错“需要开启Quick引擎实时加速才能使用跨源关联查询”。用户在数据集中开启加速,提示不支持抽取加速。问题原因 在组织管理里面没有开启加速引擎开关。解决方案 在组织管理里面开启一下加速引擎的开关。...

通过控制台使用二级索引

步骤二:创建二级索引 创建一个二级索引用于加速数据查询。二级索引包括全局二级索引和本地二级索引,请根据实际情况创建。说明 您也可以在创建数据表时创建二级索引。更多信息,请参见 创建数据表。进入 表管理 页面。登录 表格存储控制台...

通过SDK使用二级索引

} 步骤二:创建二级索引 使用CreateIndex接口在已存在的数据表上创建一个索引表用于加速数据查询。二级索引包括全局二级索引和本地二级索引,请根据实际创建。说明 您也可以使用CreateTable接口在创建数据表的同时创建一个或者多个索引表。...

MaxCompute权限相关

使用Hologres加速查询MaxCompute表数据时,可能会因为权限问题产生报错。本文内容将为您介绍几个常见权限问题的解决方法。问题汇总 与MaxCompute权限相关的问题及解决方法,请单击如下链接查看。查询外部表报错:You have NO privilege '...

用量查询

您可以查询加速域名的用量数据。支持选择不同维度来查询用量,包括流量带宽、HTTPS请求数、QUIC请求数,加速域名、查询时间、计费区域等。注意事项 通过CDN/DCDN控制台(或者OpenAPI)的监控查询、用量查询(实际计费流量)功能查到的加速...

配置Quick引擎

结果缓存是一种应用范围很广且非常有效的数据查询加速方式,对一定时间内存在重复查询的数据集都可以配置查询缓存,特别是重复查询较多的场景,例如仪表板展示类,可以大幅提升查询性能。开启查询结果缓存,可配置不同缓存时间,如果数据...

StarRocks概述

联邦查询 StarRocks支持使用外表的方式进行联邦查询,当前可以支持Hive、MySQL、Elasticsearch、Iceberg和Hudi类型的外表,您无需通过数据导入,可以直接进行数据查询加速。高效更新 StarRocks支持明细模型、聚合模型、主键模型和更新模型...

调用Dataphin数据

具体操作,请参见 开发Dataphin数据源并加速数据查询。已完成Dataphin数据源分组的创建。具体操作,请参见 创建服务项目分组。已获取Dataphin数据源应用的AppKey和AppSecret。操作流程 步骤一:查询并申请Dataphin数据源 在数据服务市场中...

什么是EMR Serverless StarRocks

联邦查询 StarRocks支持使用外表的方式进行联邦查询,当前可以支持Hive、MySQL、Elasticsearch、Iceberg和Hudi类型的外表,您无需通过数据导入,可以直接进行数据查询加速。高效更新 StarRocks支持明细模型、聚合模型、主键模型和更新模型...

LTS(原BDS)服务介绍

MaxCompute/Hive->Lindorm 离线数据查询加速,将数仓中的明细、指标等数据批量回流Lindorm提供在线查询。待补充,目前可联系值班咨询 Lindorm 数据导出 ODPS(MaxCompute)重要 该功能自2023年6月16日下线,2023年6月16日后购买的LTS 不再...

访问列存数据

添加分区过滤 Lindorm列存引擎中不同分区之间彼此物理隔离,因此,通过添加分区过滤条件,可以加速数据查询。假设表结构如下:USE lindorm_columnar;CREATE TABLE orders(o_orderkey INT NOT NULL,o_custkey INT,o_orderstatus STRING,o_...

概述

适用场景 共享集群(湖仓加速版)适用的场景如下:数据存储于OSS或者MaxCompute,查询数据频率低、延时要求低的场景。使用复杂查询查询大量外表数据,小规格的独享实例难以满足要求的场景。加速查询湖仓数据并对接BI分析的场景。例如,...

数据服务概述

功能介绍 数据服务支持基于业务数据源的物理表或Dataphin生成的逻辑表 创建服务项目分组 和 开发Dataphin数据源并加速数据查询,以满足不同场景的业务诉求。后续应用就可以 调用API 和 调用Dataphin数据源。同时数据服务支持 运维监控API,...

功能更新动态(2022年之前)

2021年08月19日 华北2(北京)、华东1(杭州)网络连通解决方案 2021年08月24日 华南1(深圳)2021年08月26日 华东2(上海)数据服务:支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务...

文档更新动态(2022年之前)

新功能 网络连通解决方案 2021年08月24日 数据服务:支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景,Dataphin支持为项目添加加速计算源,且完成Dataphin数据源开发后,您可以手动...

DescribeVodDomainTrafficData-查询流量

调用DescribeVodDomainTrafficData查询加速域名的流量数据,相比DescribeVodDomainRealTimeTrafficData接口,本接口支持可查询的历史数据时间范围更长(最长可查询最近366天的数据),但其数据时间粒度更大(最小为5分钟),数据延迟更高。...

MaxCompute加速概述

Hologres支持使用创建外部表的方式实现MaxCompute数据加速查询,当数据规模较大时(超过200 GB),您也可以将MaxCompute数据导入Hologres进行查询以获得更好的查询性能。背景信息 大数据计算服务(MaxCompute)是一种快速、完全托管的EB级...

数据服务权限列表

开发用户:用于 开发API 和 开发Dataphin数据源并加速数据查询。业务应用用户:用于 调用API 和 调用Dataphin数据源。运维用户:用于 运维监控概述,包括监控应用调用API、API运行和影响应用等。下文将以数据服务的模块(数据服务总览、...

功能更新动态(2023年)

标签工厂新手指引 创建行为统计标签 创建行为偏好标签 创建规则组合标签 离线视图概述 分析平台 新增SQL查询功能,支持保存、预编译、加速查询、运行、分享、参数配置、格式化、定位SQL查询任务;支持查看SQL的查询任务结果、任务日志及...

文档更新动态(2023年)

更新说明 标签工厂新手指引 创建行为统计标签 创建行为偏好标签 创建规则组合标签 离线视图概述 分析平台-基于分析平台创建SQL查询 新增SQL查询功能,支持保存、预编译、加速查询、运行、分享、参数配置、格式化、定位SQL查询任务;...

DescribeSQAConfig-查询小查询加速配置

调用DescribeSQAConfig接口查询集群小查询加速的配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM...

DescribeKvUsageData-查询KV存储用量数据

支持查询的时间粒度:本 API 仅支持 1 小时粒度的数据查询。时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 1 小时 31 天 90 天 一般延迟 3-4 小时 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的...

DescribeVodDomainSrcTrafficData-查询回源流量

调用DescribeVodDomainSrcTrafficData查询加速域名的回源流量数据。接口说明 目前该接口服务地址仅支持:华东 2(上海)。支持批量查询,一次最多查询 500 个域名数据。如果您不指定 StartTime 和 EndTime,该接口默认返回过去 24 小时的...

DescribeDcdnDomainBpsData-查询网络带宽监控数据

调用DescribeDcdnDomainBpsData查询加速域名的网络带宽监控数据。接口说明 单用户调用频率:100 次/秒。不指定 StartTime 和 EndTime,默认返回过去 24 小时的数据;指定 StartTime 和 EndTime,返回指定起止时间的数据。支持查询的时间...

DescribeDcdnDomainUsageData-查询用量数据

支持查询的时间粒度:根据单次查询的最大时间跨度不同,请求参数 Interval 支持不同的查询数据时间粒度,对应的可查询历史数据时间范围和数据延迟如下:时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5 分钟 3 天 93 ...

DescribeDomainsUsageByDay-查询用量-按天

调用DescribeDomainsUsageByDay查询加速域名天粒度的监控统计数据,支持获取最近90天的数据。接口说明 单用户调用频率:10 次/秒。如果您不指定 StartTime 和 EndTime 时,默认读取过去 24 小时的数据;指定 StartTime 和 EndTime 时,按...

SmartData 3.6.x版本简介

JindoTable支持Spark 3查询加速Parquet和ORC数据 JindoTable NativeEngine查询加速引擎新增支持Spark 3计算引擎,同时支持Parquet和ORC格式的数据,全面提升Spark3查询效率。JindoTable 支持查询加速HDFS存储上的数据 JindoTable ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据传输服务 数据库备份 DBS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用