通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
Serverless Spark概述
解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示：Serverless Spark将Spark、Serverless、云原生技术，深度整合到一起，相对于传统开源Spark集群版方案，具体以下...
Quick BI如何接入TSDB
Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
Github实时数据同步与分析
实时数据分析与可视化 实时数据分析。进入 HoloWeb SQL编辑器，查询实时更新的过去24小时GitHub最活跃项目。SELECT repo_name,COUNT(*)AS events FROM hologres_dataset_github_event.hologres_github_event WHERE created_at>=now()-...
什么是Quick BI
极易上手完成报表制作 便捷数据准备 ETL引擎0代码完成数据准备，让数据自助分析不再有门槛 全场景 多端数据呈现 适配PC端、移动端和大屏端，实现不同设备上的数据分析与呈现 无缝办公协同 可集成至办公IM应用（钉钉、企业微信、飞书）中，...
什么是交通云控平台
交通云控平台是阿里云面向交通行业打造的，可提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六大能力的大数据开放平台。产品介绍 交通云控平台为交通行业应用的开发提供图、数、智、控、云、视等能力，交通行业开发者可基于平台...
数据科学计算概述
背景信息 Python作为目前机器学习、AI模型开发的主流编程语言，提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库，用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...
Quick BI连接MaxCompute
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick ...
AnalyticDB MySQL助力Flowerplus业务高速发展
由此可见，Flowerplus对大数据分析的实时性要求较高，而传统的MySQL数据库无法满足这一需求。复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
DataV产品与BI类产品的差异比较
对比项 BI商业智能软件 DataV数据可视化产品 目标用户 业务分析师 应用开发人员 产品类别 BI报表 可视化分析应用 使用场景 偏向商业分析：零售客户分析、互联网运营分析和企业经营分析等 全行业应用：政务系统、交通运输、能源动力、公安...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
DataV产品与BI类产品的差异比较
对比项 BI商业智能软件 DataV数据可视化产品 目标用户 业务分析师 应用开发人员 产品类别 BI报表 可视化分析应用 使用场景 偏向商业分析：零售客户分析、互联网运营分析和企业经营分析等 全行业应用：政务系统、交通运输、能源动力、公安...
读写RDS MySQL数据
因为RDS本身能承载的数据量有限，不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
应用场景
在智能交通领域通过使用物联网、云计算、传感器、大数据、无线通信等技术对交通信息进行采集、存储、管理和分析，提供交通管理、指挥决策、交通信息服务等能力，能有效解决城市交通道路拥堵问题以及提高道路交通安全。车联网场景中涉及的...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
气泡地图
联动 当需要分析的数据存在于不同的图表，您可以通过图表联动，把多个图表关联起来，形成联动进行数据分析。具体设置请参见 联动设置与展示。跳转 当需要分析的数据存在于多个仪表板时，您可以通过仪表板跳转，把多个仪表板关联起来，进行...
时空服务介绍
GeoMesa接口 Lindorm Ganos时空服务GeoMesa接口兼容开源GeoMesa、GeoServer等生态，可广泛应用于空间或时空数据存储、查询、分析与数据挖掘等场景。流引擎接口 功能特性 特性 描述 时空内存索引 Lindorm Ganos时空服务在Lindorm流引擎中...
图扑案例
阿里 云原生多模数据库 Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大幅度降低了...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
基本概念
该方法的优点是各类型栅格数据都按照统一的时空格网进行分块，便于叠加分析与多元数据融合。此外，由于遵循了TMS标准，使用该方法分块后的数据经过渲染后可直接发布为TMS服务用于显示（如使用OpenLayers）。但该方法的缺点是数据分块速度...
排行榜
联动 当需要分析的数据存在于不同的图表，您可以通过图表联动，把多个图表关联起来，形成联动进行数据分析。具体设置请参见 联动设置与展示。跳转 当需要分析的数据存在于多个仪表板时，您可以通过仪表板跳转，把多个仪表板关联起来，进行...
应用场景
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
简介
本文主要介绍HBase Ganos的功能、优势和使用场景。重要 HBase增强版已全新升级为云原生多模数据库Lindorm，新的场景需求推荐您使用 Ganos时空服务功能。HBase Ganos是什么 HBase Ganos是...与Spark集成，ETL与多源空间数据分析处理更便捷。
MaxFrame概述
处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、MaxFrame分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率。面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的...
内置时空数据引擎Ganos
PolarDB PostgreSQL版（兼容Oracle）的自研Ganos时空SQL引擎支持直接在数据库中就完成不同时空维度数据的信息检索及处理，相比传统需要跨库信息提取再汇总，在性能及程序开发效率上都有大幅度的提高，为用户应对5G、卫星遥感、行业时空大...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
时空分析
不同路段/路口交通流统计，人流/车流分析与预测，ETA到达时间预估；车辆起始地/目的地聚合分析；车辆监控，车辆调度/派单优化；轨迹匹配，相似轨迹/路径分析；运力分布/分析，移动目标实时运行热力图；动态电子围栏管理，电子围栏监控与告...
背景信息以及准备工作
DLA可以对投递到OSS上的数据按年、按月、按日进行多维度的分区，提高数据的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史数据分析。DataV中有多种场景模板，解决您的设计难题。提供多种业务模块级别而非图表组件的...
功能特性
交通云控平台为交通行业应用的开发提供地图、数据、智能、控制、视觉和计算六大能力，旨在帮助交通从业者打造新一代智能交通系统，助力交通治理由“感而不知、感而略知”进化为“感而全知”，推动交通业务由“信息化优势”转化为“决策优势...
简介
DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理底座，赋能数据分析与应用。该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
什么是阿里云Logstash
Elasticsearch作为实时分布式搜索和分析引擎，Logstash提供了数据采集、转换、优化和输出的能力，Kibana提供了强大的可视化界面，可以被广泛应用于实时日志处理、全文搜索和数据分析等领域。Logstash数据传输原理 数据采集与输入：Logstash...
- 产品推荐
- 这些文档可能帮助您