什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
行业趋势与背景
分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的成交总额发展曲线，让世界看到了中国电子商务业务的火箭式发展势头。而同时，对于背后的业务支撑系统来说，同样经历了火箭式的系统压力增长。以...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
快速实现数据分类分级
数据安全中心DSC（Data Security Center）是一款数据安全中心产品，可以通过收集和分析数据库的信息，提供云上数据的分类分级（包括敏感数据识别）能力。本文介绍如何快速在DSC控制台实现数据分类分级。前提条件 已规划好要接入数据安全...
跨境SaaS:深圳市易仓科技有限公司
PolarDB HTAP能力让用户可以在一套 PolarDB 数据库上同时运行OLTP和OLAP型混合负载，在保证现有PolarDB优异的OLTP性能的同时，大幅提升 PolarDB 在大数据量上运行复杂查询的性能，复杂的查询性能相比行存有百倍以上性能提升。客户价值 价值...
产品介绍
PolarDB PostgreSQL版（兼容Oracle）高度兼容Oracle语法，包括Oracle数据库用户常用的内置数据类型、内置存储过程语法、常用系统视图，重要特性DBLINK、分区表和分区索引等特性，配合ADAM智能评估工具助力企业智能存量Oracle数据库业务迁移...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
Quick BI如何接入TSDB
Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在...
应用场景
而智能质检通过对客服的通话记录识别成文本进行大数据分析，可以极大的提高质检覆盖率（达到100%），并减少人工成本。保险行业 在保险行业中，阿里云智能质检凭借强大的技术实力，迅速在行业中树立起标杆客户；例如：平安产险的金牌话术...
标签层（v3.x版本）
数据面板（分析模式）重要 在地图中以分析模式创建，添加子组件时，图层栏内会自动在当前子组件上方对应生成一个分析器，且需要提前创建数据集以供分析模式子组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 ...
互联网行业实时BI分析
本文以某互联网公司为例，介绍如何将DB...客户价值 1小时短平快即可实现实时数据分析平台建设，无需掌握Hadoop\Spark\Flink\Presto\Impala等复杂的大数据技术。操作简单快捷，全程拖拽式配置，无需编码。业务实时指标数据延时在1分钟以内。
对比漏斗图
图表分析配置 名称 说明 联动 当需要分析的数据存在于不同的图表，您可以通过图表联动，把多个图表关联起来，形成联动进行数据分析。具体设置请参见 联动。跳转 当需要分析的数据存在于多个仪表板时，您可以通过仪表板跳转，把多个仪表板...
可视分析创作间和传统BI软件差异比较
预定义的报告 需要行业数据经验专家，搭建数据报表 分析过程需要理解：维度、度量、数据类型等统计知识 可视化数据的图表配置也需要专业数据分析人员支持 支持二次分析 不支持二次分析 数据分析结果 数据集产生的所有见解，提炼在数据...
教程概述
本文为您介绍当需要通过DataV展示海量数据的分析结果时，如何使用DataWorks的数据服务开发数据API，并快速在DataV中调用API，最终将来自MaxCompute的数据成果展示在DataV大屏中，数据开发到数据服务再到数据分析展现一气呵成。注意 本案例...
基因分析应用
简单的来说，它可以是一段由用户编写的、会执行多个命令的Shell或者Python脚本，能够从头到尾完成特定的基因数据分析任务。大多数分析流程被设计成在本地运行，这使得它们的软件依赖和流程逻辑通常都与特定的执行环境（如HPC集群）绑定，而...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
语义挖掘工具
注：语义分析会将数据分析到现有意图中，现有意图可以在意图管理中进行管理。系统单次挖掘的数据上限为1000条。语义分析 点击语义挖掘工具列表数据右侧的查看详情即可进入到语义分析页面。【分析结果】数据总量：表示进行语义挖掘的数据...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
DLA Lakehouse实时入湖
数据库路径 数据表路径 数据表文件 进行数据分析。工作负载任务启动成功后，在 数据湖管理>元数据管理 页面中，查看从RDS数据源同步过来的元数据信息。单击 操作 列的 查询数据，在 Serverless Presto>SQL执行 页面，查看从RDS数据源同步...
简介
结合大数据分析框架（如Spark）还可以进行穿越分析、区域分布热力图等。智慧物流与外卖递送 在物流与外卖等领域，需要实时监控车辆、骑手的位置，以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报，云端需要处理高并发写入并...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
Quick BI连接MaxCompute
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick ...
基于Delta lake的一站式数据湖构建与分析实战
2.统一元数据服务 对象存储本身是没有面向大数据分析的语义的，需要结合Hive Metastore Service等元数据服务为上层各种分析引擎提供数据的Meta信息。数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
查询报错问题
若SQL自身无法进行优化，但依旧触发该错误，可联系分析型数据库MySQL版技术支持对单个分析型数据库MySQL版的系统默认值进行调整，此操作可能会造成数据库性能下降。查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
一站式HTAP服务
这种存储形式和执行模型能够很高效地完成高并发的事务处理负载，但无法高效应对大规模的数据分析负载。在重度OLAP的业务场景中，通常需要将数据从OLTP数据库中导出，然后将数据迁移并导入到专业的OLAP数据仓库，在数据仓库中进行大规模的...
功能特性
相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等数据分析工作。Serverless Presto概述 DLA Serverless Spark DLA Serverless Spark基于云原生架构，提供面向...
Serverless Spark概述
解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示：Serverless Spark将Spark、Serverless、云原生技术，深度整合到一起，相对于传统开源Spark集群版方案，具体以下...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
什么是Quick BI
权威认证的可视化 40多种可视化组件、联动钻取等交互能力，数据故事构建能力、动态分析、行业模板内置，让数据分析高效、美观。移动专属和协同 100%组件面向移动端特性定制，和钉钉、企业微信等办公工具全面集成，随时随地的分析数据并和...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
大数据安全治理的难点
例如，技术人员可以使用命令行，但数据分析师或运营就需要使用可视化界面或BI工具。不同的入口其登录认证、鉴权逻辑、审计能力可能存在差异。最常见的莫过于多个用户使用同一个身份从某个入口访问/操作数据的场景，此类场景就是典型的 传递...
- 产品推荐
- 这些文档可能帮助您