OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
数据分析整体趋势
计算分析一体化：传统数据分析方案是定期从OLTP系统抽取数据同步到OLAP系统，有些可以做到准实时同步。该方案带来的问题是部署复杂，实时性低，数据冗余和高成本。理想情况是一套HTAP系统同时提供计算和分析。大数据与数据库一体化：早期大...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
阿里云从用户角度出发，研发了一整套小而精的历史日志数据分析方案。利用阿里云日志服务（Log Service，SLS）来投递日志和查询热日志，利用阿里云对象存储服务（Object Storage Service，OSS）来持久存储由SLS服务实时投递的日志，利用阿里...
构建审计日志的分析方案
为解决企业用户操作日志的保存与分析问题，联合ActionTrail+OSS+DLA+Quick BI，阿里云推出审计日志数据分析方案。将ActionTrail的审计日志定时同步到OSS进行长周期（超过90天）保存，利用Data Lake Analytics将日志数据标准化，利用Quick ...
常见术语
数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎...本地Excel数据成功同步至 AnalyticDB MySQL版 后，您就可以使用 AnalyticDB MySQL版 对行Excel数据进分析。
MaxCompute账单用量明细分析
背景信息 MaxCompute是一款大数据分析平台，其计算资源的计费方式分为包年包月和按量付费两种。MaxCompute每天以项目为维度进行计费，账单会在第二天06:00前生成。更多MaxCompute计量计费信息，请参见 计费项与计费方式概述。MaxCompute会...
应用场景
实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。...
应用场景
实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
备份集下载功能概览
您可通过手动或自动模式进行数据下载，下载的备份集可用于恢复到本地数据库、Excel分析与审计、备份到本地存储等。功能介绍 数据库备份DBS 会将备份文件进行打包、压缩并转换为可下载的CSV文件，整个过程需要15分钟左右，您可以选择手动...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、...挑选DBMS 解决方案的数据和分析负责人慢慢接受这样一个事实，即云DBMS是未来的发展方向。
PolarDB HTAP实时数据分析技术解密
因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。对比上述三种方案，从组合搭积木的方法，到Divergent Design方法，再到一体化的行列混合存储。其集成度越来越高，用户的使用体验也越来越好...
客户案例
而广告业务领域目前比较流行的 ROLAP、MOLAP 的分析型数据查询方案 SQL 能力都不够友好。因此我们需要基于其提供的 API 做很重的业务抽象，封装成一套业务通用的 SDK，因此我们不得不投入更多的开发和维护人员在这套笨重的 SDK上，开发效率...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
【通知】数据可视化（老）功能下线通知
若您正在使用数据可视化（老）功能进行数据分析，建议在功能下线前将数据集、图表和仪表盘迁移到数据分析功能。下线时间 2024年04月01日：针对部分用户，下线访问数据可视化（老）功能。说明 部分用户指在2023年04月01日至2024年04月01日这...
使用流程
快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与计算，帮助您掌握DLA的基本使用流程。如果您是首次使用云原生数据湖分析DLA的用户，我们建议您先阅读以下部分：产品简介-本内容概述了云原生数据湖分析DLA的...
发展历程
产品荣誉 年份 产品荣誉 2023年 进入Gartner云数据库、数据分析第一象限Leader象限。2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
账单数据订阅及查询分析
订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。背景信息 订阅并分析账单数据前，请先了解...
游戏运营融合分析
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
基因分析应用
基因数据分析工作，需要用户使用不同的生物信息学工具软件，进行一系列复杂的计算过程，才能得到最终的分析结果。以遗传病的数据分析举例，需要进行数据质控、序列比对、变异检测和变异注释等多个步骤。图1：基因数据分析流程（来源/《中华...
概述
本文介绍DMS数据分析的基本概念、设计理念和主要应用场景。背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘...
访问数据分析功能
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，...
应用场景
典型应用场景包括基因数据分析、测序生产自动化和基因云平台开发等。基因数据分析 为任意规模用户，提供开箱即用的基因分析服务，效率高，成本低，灵活可靠，最快30分钟即可获取海量数据的计算结果。提供常用的生信流程和最佳参数配置，...
Superset连接数据湖分析
本文主要介绍如何使用Superset连接DLA进行数据分析。背景信息 DLA对外暴露的是MySQL的协议，大多数BI工具可以使用MySQL连接器直接连接DLA，由于Superset对于表的定义语句校验严格，同时DLA的建表语句与MySQL的建表语句存在差别，这导致...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
附录：预设角色权限列表（空间级）
DataWorks提供项目所有者、空间管理员、数据分析师、开发、运维、部署、访客、安全管理员、模型设计师这几种角色，本文将为您介绍具体角色的权限说明。DataWorks提供的空间预设角色默认拥有所有空间级模块的可读权限，但不同空间预设角色所...
DataWorks On CDP/CDH使用说明
支持的数据源及同步方案 数据开发、数据分析 环境准备 基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册CDH或CDP集群至...
函数概述
聚合函数：聚合函数主要应用于一组数据计算出一个结果 二进制函数：二进制函数 位运算函数：位运算函数 转换函数：尝试隐式转换数值类型和字符类型值到正确的类型 日期和时间函数：日期和时间函数 漏斗数据分析函数：漏斗数据分析函数 地理...
版本发布记录
无 1.0.0 类别 功能点 描述 数据分析 OSS文件数据分析 支持针对单个OSS文件数据进行分析，或者多个OSS Bucket文件进行关联分析。分析结果写入OSS 支持将分析后的结果数据回流至OSS。Table Store数据分析 支持Table Store数据分析。RDS数据...
访问数据可视化功能
新版数据可视化功能：在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。方式二：通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 SQL窗口>SQL窗口。在 请先选择数据库 对话框中，搜索并选择数据...
导出数据
分析型数据库MySQL版对海量数据分析计算后支持输出（DUMP）数据结果，目前支持两种DUMP方式：导出数据到OSS 导出数据到MaxCompute
- 产品推荐
- 这些文档可能帮助您