Quick BI中元数据库中记录报表使用分析的数据
概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中，每天凌晨4:30更新数据。适用于 Quick BI
版本发布记录
无 1.0.0 类别 功能点 描述 数据分析 OSS文件数据分析 支持针对单个OSS文件数据进行分析，或者多个OSS Bucket文件进行关联分析。分析结果写入OSS 支持将分析后的结果数据回流至OSS。Table Store数据分析 支持Table Store数据分析。RDS数据...
移动数据分析提供用户访问上报原始数据的接口吗？
提供，在 移动数据分析申请开通“云隧道”功能，就可以在ODPS查询采集到的数据，一方面可以做BI分析，另一方面可以ETL数据加工，另外，用户可以通过ODPS访问到自己上传的原始日志是 移动数据分析帮助用户实现日志自主分析闭环的关键。
应用案例
您可以在GitHub上获取时空数据分析的典型案例，以便快速熟悉DLA Ganos的各项功能。栅格代数运算 栅格代数运算是指使用数学运算符对栅格数据进行加减乘除等代数计算的操作。例如，您可以应用简单的数学运算（例如加法或乘法）来更新栅格像元...
常见术语
数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、...
典型场景
交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做数据的分析 联邦分析：DLA Presto可对接数十种数据源对各种数据源进行查询。轻量级清洗方案：可以通过Presto满足轻量级数据ETL，从OSS...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
SLS的OSS投递数据源
使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据，可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。操作步骤 登录 Data Lake Analytics管理控制台。在左侧导航栏，单击 ...
功能特性
Serverless Presto概述 DLA Serverless Spark DLA Serverless Spark基于云原生架构，提供面向数据湖场景的数据分析和计算。开通DLA服务后，您只需简单的配置，就可以提交Spark作业；无需关心Spark集群部署。Serverless Spark概述
测试方法
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
OSS表属性
比如某些CSV文件第一行是文件头，不是真正的数据，分析的时候需要跳过。示例如下：CREATE EXTERNAL TABLE person(`id` int,`name` string,`age` int)STORED AS TEXTFILE LOCATION 'oss:/bucket001/dir001/' TBLPROPERTIES("skip.header....
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
Java SDK Demo
演示如何使用Java SDK操作数据湖分析的spark作业*@author aliyun*/public class Demo {/*提交一个SQL作业到数据湖分析Serverless Spark*@param virtualClusterName 数据湖分析虚拟集群名称*@param sql sql内容*@return Spark JobId,提交...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
Lindorm实时入湖建仓分析
在 SQL执行 页面，系统已经选中了目标库，您可以直接输入SQL语句进行数据分析。Lindorm与DLA的字段类型转换表 目前支持的字段类型转换如下。Lindorm字段类型 DLA字段类型 long、usigned_long、short、unsigned_short、int、unsigned_...
Kafka实时入湖建仓分析
在 SQL执行 页面，系统已经选中了目标库，您可以直接输入SQL语句进行数据分析。（可选）OSS数据存储管理。在 湖仓列表 页签单击 存储路径 下的OSS路径链接。在OSS控制台查看已经从Kafka数据源同步过来的库表路径以及表文件。数据库路径：/...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
测试环境
DLA给每个Executor配置了一个200 G的ESSD盘，用于存放Executor shuffle的数据，从而不占用OSS的存储空间。本测试环境需要的OSS实际存储空间为20 TB，但由于考虑到Hadoop集群的本地盘通常不能占满，为了与自建Hadoop进行对比测试，采用的OSS...
Hive
本文主要介绍如何使用DLA Spark访问用户...以下 示例代码 可以首先根据用户传入的表名，在用户 default namespace 创建一个表，该表只有一列字符串类型的数据，内容为 hello,dla-spark，然后从该表读出这一列数据，并打印到stdout：package ...
测试环境
本次测试针对开源自建的Presto与阿里云云原生数据湖分析DLA Presto在OSS数据源上执行查询的性能做了对比分析。本文档主要介绍了测试环境的配置要求。环境配置要求 客户端ECS与服务端（Presto和DLA Presto）处于同一地域、同一可用区。本例...
背景信息以及准备工作
背景信息 Data Lake Analytics（DLA）作为云上数据处理的枢纽，支持通过标准JDBC对 RDS、Table Store、OSS 中的数据进行查询和分析。您还可以在DLA中创建 云数据库 MongoDB版（MongoDB）的数据库连接（映射数据库），通过MySQL客户端或者...
请求结构
请求地址的构成 数据湖分析通过API操作Spark作业的请求结构如下所示：http://openanalytics.[region-id].aliyuncs.com/?Action=XXX &<公共请求参数>&<接口需求参数>所有接口支持GET方法来调用。调用地址需要填入RegionId 公共请求参数 是...
数据源与功能的矩阵
DLA支持云上大部分的数据源。RDS包括MySQL、PG、SQLServer、Oracle关系型数据库，PolarDB跟RDS保持一致。Data Source\ Feature SELECT INSERT INTO INSERT OVERWRITE CREATE TABLE LIKE MAPPING MSCK REPAIR DATABASE MSCK REPAIR TABLE ...
基本概念
但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并创建金字塔。坐标系统 Ganos Raster支持OGC CRS标准定义的坐标系统。用户可以按照EPSG坐标参照系统参数来定义栅格数据所...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
SDK安装与使用
获取开发用的SDK 可以在PIP的仓库中获取数据湖分析最新的开发SDK包，地址为 Python SDK官方地址。使用SDK提交Spark作业 获取用户的AccessKey，详情请参见 获取AccessKey。获取当前使用区的RegionId,阿里云各区的RegionId可以参见 地域和...
背景信息以及准备工作
您可以在DLA中创建OSS对应的Schema和文件表，对OSS中不同类型的...例如200GB的OSS数据，在业务允许的情况下，200GB的数据切分为100个文件夹，每个文件夹2GB数据。在DLA中建100张表，100张表分别做ETL，单个ETL任务失败，只重试单个ETL任务。
Kudu
DLA支持通过CU版访问用户自建的Kudu，通过标准SQL语句查询Kudu中的数据或者直接向Kudu写入数据。本文介绍如何通过DLA读写Kudu上的数据。前提条件 目前仅支持通过CU版访问Kudu，请确保您已经 开通了CU版。虚拟集群绑定的 数据源网络 必须和...
测试结果
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。1 TB...
OceanBase
DLA支持通过CU版访问用户自建的OceanBase，通过标准SQL语句查询OceanBase中的数据或者直接向OceanBase写入数据。本文介绍如何通过DLA读写OceanBase上的数据。前提条件 目前仅支持通过CU版访问OceanBase，请确保您已开通CU版，开通方式，请...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
BI分析模式的限制说明
对原分析组件的数据兼容性支持 画布中已添加的原分析组件，如果已经配置数据内容可以继续展示，但是无法修改数据。如果要修改数据内容，可转为分析模式，原字段配置将会保留。您可以在原分析组件的 数据面板>配置数据源 处查看相关说明。...
数据湖管理FAQ
元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的...
数据类型
本文介绍Data Lake Analytics兼容Hive的数据类型。建表语法 CREATE EXTERNAL TABLE[IF NOT EXISTS][db_name.]table_name[(col_name data_type[COMMENT col_comment],.[constraint_specification])][COMMENT table_comment][PARTITIONED BY...
基本概念
OGC OGC全称是开放地理空间信息联盟（Open Geospatial Consortium），是一个非盈利的国际标准组织，它制定了数据模型和相关操作的一系列标准，GIS厂商按照这个标准进行开发可保证空间数据的互操作。GeoTools DLA Ganos的SDK是基于GeoTools...
PostGIS
PostGIS在对象关系型数据库PostgreSQL上增加了存储管理空间数据的能力。DLA Ganos兼容PostGIS数据访问接口，可直接加载PostGIS中的矢量数据。本文以全球船舶轨迹AIS数据集为例，展示如何利用DLA Ganos加载PostGIS中的矢量数据。操作步骤 ...
扫描量版本与CU版本的差异
扫描量版本 DLA默认版本，适用于查询频率低、查询数据量较小的场景，使用扫描量版本您只需要为实际扫描的数据量付费，当您不使用时是不付费的。费用详情请参见 按扫描量付费。CU版本 适用于查询频率高、查询数据量较大的场景，同时也能够给...
MSCK REPAIR TABLE
同步OSS数据源上实际的数据分区信息到元数据中 语法 MSCK REPAIR TABLE table_name 示例 在命令执行前，SHOW PARTITIONS primitives_parquet_p 无法显示分区信息。mysql>show partitions primitives_parquet_p;Result|+-+|+-+1 row in set...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
- 产品推荐
- 这些文档可能帮助您