基因分析应用
基因数据分析工作，需要用户使用不同的生物信息学工具软件，进行一系列复杂的计算过程，才能得到最终的分析结果。以遗传病的数据分析举例，需要进行数据质控、序列比对、变异检测和变异注释等多个步骤。图1：基因数据分析流程（来源/《中华...
数据分析概述
数据分析是数据辅助决策的最后一公里，是最终的数据可视化展示与探索分析的部分，选择使用最适合的数据展示方式，可以帮助分析人员大大提升分析效率。...数据分析流程图 仪表板制作 仪表板管理 监控指标 电子表格 数据门户
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
非结构化分析
基于 AnalyticDB PostgreSQL版 实现非结构化数据向量分析示例 Web App把文本，图片或者视频等非结构化数据（后续简称非结构化数据）通过特征提取服务提取特征向量，然后再把特征向量写入云原生数据仓库PostgreSQL版向量分析的向量表。...
数据分析概述
如果不使用维表功能，每当数据发生变化，都需要执行以下流程：运营人员向数据分析师描述需求。数据分析师提交需求给开发人员。开发人员使用DataWorks编辑SQL语句，创建Excel表并同步数据，交付给运营人员。如果使用维表功能，运营人员只...
使用流程
快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与计算，帮助您掌握DLA的基本使用流程。如果您是首次使用云原生数据湖分析DLA的用户，我们建议您先阅读以下部分：产品简介-本内容概述了云原生数据湖分析DLA的...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
版本发布记录
无 1.0.0 类别 功能点 描述 数据分析 OSS文件数据分析 支持针对单个OSS文件数据进行分析，或者多个OSS Bucket文件进行关联分析。分析结果写入OSS 支持将分析后的结果数据回流至OSS。Table Store数据分析 支持Table Store数据分析。RDS数据...
Superset连接数据湖分析
本文主要介绍如何使用Superset连接DLA进行数据分析。背景信息 DLA对外暴露的是MySQL的协议，大多数BI工具可以使用MySQL连接器直接连接DLA，由于Superset对于表的定义语句校验严格，同时DLA的建表语句与MySQL的建表语句存在差别，这导致...
函数概述
聚合函数：聚合函数主要应用于一组数据计算出一个结果 二进制函数：二进制函数 位运算函数：位运算函数 转换函数：尝试隐式转换数值类型和字符类型值到正确的类型 日期和时间函数：日期和时间函数 漏斗数据分析函数：漏斗数据分析函数 地理...
功能特性
Serverless Presto概述 DLA Serverless Spark DLA Serverless Spark基于云原生架构，提供面向数据湖场景的数据分析和计算。开通DLA服务后，您只需简单的配置，就可以提交Spark作业；无需关心Spark集群部署。Serverless Spark概述
示例数据库安装
在安装 PolarDB PostgreSQL版（兼容Oracle）时，将自动创建一个示例数据库。此示例数据库包含在整个文档中通过执行位于/u01/polardb/share/目录中的脚本 sample.sql 来使用的表和程序。此脚本执行以下操作：在当前连接的数据库中创建示例表...
即席分析概述
即席分析面向一线业务人员，以表格形式提供拖拽式的表格分析能力，让懂业务的人自助实现数据分析。即席分析只适用于Quick BI专业版的群工作空间下，个人空间不支持。产品定位 千万级别规模数据量下的低门槛数据探查及分析工具。核心能力 ...
导入数据
假设，本文中的示例数据文件 banking.txt 保存在MaxCompute客户端的 bin 目录中，banking_yescreditcard.csv、banking_uncreditcard.csv 和 banking_nocreditcard.csv 保存在D盘的test文件夹下。在MaxCompute客户端，执行Tunnel Upload命令...
表格存储（Tablestore）数据导入
示例数据说明 本文示例中，在Tablestore中创建 person 表，并向表中插入4条记录。如果您已经有数据源，请跳过该步骤。id（主键）name age 1 james 10 2 bond 20 3 jack 30 4 lucy 40 操作步骤 进入SQL开发编辑器。登录 云原生数据仓库...
产品简介
数据库体验 DLA Ganos基于Spark SQL设计开发了一系列针对空间数据分析的用户API，内置了大量基本时空UDF算子，用户可以像操作关系型数据库那样通过SQL处理海量时空数据，方便灵活。时空数据统一建模 DLA Ganos基于Spark RDD设计开发了统一...
Tunnel SDK示例汇总引导
Python示例 数据上传示例：Tunnel SDK示例（Python）更多其他应用场景的示例：Python SDK文档。其他相关使用示例引导 MaxCompute为您提供Tunnel命令（直接在客户端等工具上运行）、批量数据通道（Tunnel SDK）和流式数据通道（Streaming ...
常见术语
数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、...
Serverless Presto概述
因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等数据分析工作。阿里云数据湖分析团队在Presto之上又进行了很多的优化，...
MongoDB数据导入
导入MongoDB非嵌套文档 示例数据说明 本文示例的MongoDB数据库名为 test_mongodb，并在该库中创建名为 person 的集合，示例如下：use test_mongodb;db.createCollection("person");向 person 集合中插入文档，示例如下：db.person.insert({...
ABS
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表mf_math_fun_t，并添加数据，命令示例如下。create table if not exists mf_math_fun_t(int_data int,bigint_data bigint,double_data ...
SLS的OSS投递数据源
使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据，可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。操作步骤 登录 Data Lake Analytics管理控制台。在左侧导航栏，单击 ...
区域热力层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
克里金等值面层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域热力层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数学函数
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表mf_math_fun_t，并添加数据，命令示例如下。create table if not exists mf_math_fun_t(int_data int,bigint_data bigint,double_data ...
分词和模糊查询使用指南
本文介绍了在检索数据时使用分词查询和模糊查询的语法和使用示例。创建检索表 创建检索表的示例如下：/*polar4ai*/CREATE TABLE table_name(id int,name varchar,name_1 wildcard,content text,content_1 text_ik_smart,content_2 text_ik_...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
CLONE TABLE
shop_name|customer_id|total_price|+-+-+-+|s4|c4|100.4|+-+-+-+使用示例 基于示例数据，clone table 命令的使用示例如下：示例1：全量复制非分区表sale_detail_np的数据至目标表sale_detail_np_clone。命令示例如下：复制表数据。clone ...
等值面层（v3.x版本）
具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当裁剪边界数据接口请求完成时 裁剪边界数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑...
CLONE TABLE
shop_name|customer_id|total_price|+-+-+-+|s4|c4|100.4|+-+-+-+使用示例 基于示例数据，clone table 命令的使用示例如下：示例1：全量复制非分区表sale_detail_np的数据至目标表sale_detail_np_clone。命令示例如下：复制表数据。clone ...
等值面层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
区域热力层
具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当区域面数据请求完成时 区域面数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
通过外表导入至湖仓版
示例数据 本文示例中的MaxCompute项目为 test_adb，示例表 person。示例如下：CREATE TABLE IF NOT EXISTS person(id int,name varchar(1023),age int)partitioned by(dt string);在 person 表中添加分区，示例如下：ALTER TABLE person ...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
等值面层（v4.x版本）
具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当裁剪边界数据接口请求完成时 裁剪边界数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑...
飞线层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您