快速玩转Tablestore入门与实战
可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。基于Tablestore的一站式物联网存储解决方案-场景篇 基于Tablestore的一站式物联网存储解决方案-表...
账单数据订阅及查询分析
您可在用户中心订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据将会定时同步至MaxCompute，您...相关文档 大数据分析工具的常见问题和解决方法，详情请参见 大数据分析工具的常见问题和解决方法。
应用场景
实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步...
Quick BI连接MaxCompute
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick ...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
背景信息以及准备工作
背景信息 DLA作为无服务化的大数据分析服务，通过标准的SQL语句直接对存储在阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）中的数据进行清洗。例如，使用DLA对OSS中的历史数据按天进行清洗。DataWorks...
读写RDS MySQL数据
因为RDS本身能承载的数据量有限，不适合大数据分析。更多的场景是在DLA中对存储在OSS、Tablestore中的大数据进行分析，分析完成之后把结果数据回写到RDS中，供前台业务使用。DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，...
游戏运营融合分析
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
应用场景
极大提高看数据的效率 与内部系统集成，可结合进行数据分析，极大提高看数据的效率。统一系统入口 解决员工使用多系统的麻烦，利于使用与控制。推荐搭配使用 RDS+Quick BI 交易数据权限管控 数据对某支付平台的每个城市经理来说都至关重要...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
产品架构
在Lindorm系统中，LindormSearch 既可以作为一种独立的模型，提供半结构化、非结构化数据的松散文档视图，适用于日志数据分析、内容全文检索；也可以作为宽表引擎、时序引擎的索引存储，对用户保持透明，即宽表/时序中的部分字段通过内部的...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
PolarDB HTAP实时数据分析技术解密
除云上OLTP场景外，大量客户也对PolarDB提出了实时数据分析的性能需求。对此，PolarDB技术团队提出了In-Memory Column Index（IMCI）的技术方案，此方案在复杂分析查询场景获得了数百倍的加速效果。MySQL生态HTAP数据库解决方案 MySQL是一...
互联网教育：尚学博志（上海）教育科技有限公司
原生数据分析能力避免了专用OLAP系统需求，降低整体系统成本。数据在同一个 PolarDB 集群内进行计算，提供了完整的MySQL兼容性。客户价值 尚学数字化教学平台选用阿里云云原生自研数据库 PolarDB 提供的HTAP能力，使得校园大脑数据中心数据...
OSS Foreign Table功能概览
与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table，具体信息如下：功能 OSS Foreign Table OSS External Table 导入OSS数据或导出数据到OSS 支持 支持 OSS数据分析（大数据量场景）大数据量...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。
公开数据集概述
国家统计数据集 national_data TPC性能数据 TPC-DS TPC-DS是一个面向决策支持的基准，它对决策支持系统的几个普遍适用的方面进行建模，包括查询和数据维护等，使大数据系统等新兴技术能够执行基准测试。TPC-DS 10GB性能测试集 TPC-DS 100GB...
应用场景
表格存储 数据湖架构能有效的解决大数据领域面临的数据存储与数据分析问题，典型应用场景包括推荐系统和舆情&风控分析场景。推荐系统 推荐系统作为当前所有业务精细化运营的主要手段，广泛应用在电商、短视频、新闻等场景，具有数据量大、...
系统管理
上传数据至EMR Hive、Hologres引擎：仅支持使用独享资源组（即 数据分析>系统管理 相应引擎必须配置为独享调度资源组和独享数据集成资源组）。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传任务使用的数据源...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
聚水潭：云原生数据仓库助力企业实现商业洞察
数据分析需求高 聚水潭ERP要求系统不仅能够提供高并发交易，也需要提供针对数据的实时多维度分析，及数据的深度加工处理的能力。迫切需要一套能够完整覆盖数据在线交易，实时分析和深度处理的架构。资源弹性扩展 业务的高速增长要求数据...
什么是阿里云Elasticsearch
基于这些优化，您可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用，聚焦于业务应用本身，实现业务价值。产品组件 在阿里云Elastic Stack产品生态下，Elasticsearch作为实时分布式搜索和分析引擎，Kibana实现灵活的可视...
MaxFrame概述
处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、MaxFrame分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率。面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的...
集群系列
通过独立的只读实例可用于数据分析，可降低主实例发生阻塞的几率，提高并发度，同时减少对核心业务查询的干扰，从而保障业务的稳定性。SQL Server集群系列相关内容 类型 内容 集群系列配置 创建SQL Server只读实例 开通读写分离 修改读权重...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
Quick BI如何接入TSDB
Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在...
概述
大数据分析 如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析...
基于AnalyticDB实现城市公交系统智能化
启迪公交基于 AnalyticDB MySQL版 和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务...通过实时大数据汇总分析系统，协助管理层人员制定更加快速有效的业务决策。
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
上海新能源汽车车辆基础数据
数据分析结果有服务化的需求，需要回流到在线存储。解决方案 Lindorm历经阿里众多核心服务的大规模验证，拥有相关技术领域的技术团队，保障了使用过程的持续稳定、可靠，构建起坚实的离在线存储底座，使得客户可以聚焦于业务侧的发展。...
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
列存索引（IMCI）发布说明
适用场景 PolarDB MySQL版 的列存索引特性提供了一站式HTAP产品体验，可以应用于多种业务场景：对在线数据有实时数据分析需求的场景，如实时报表；专用数据仓库场景：依托 PolarDB 提供的海量数据存储能力，汇聚多个上游数据源，将其作为...
功能优势
支持数据实时更新 传统的向量分析系统中数据只能按照T+1更新，不支持数据实时写入。分析型数据库MySQL版向量分析支持数据实时更新和查询。支持向量分析碰撞 分析型数据库MySQL版向量分析支持KNN-Join SQL，即比较一批向量与另外一批向量的...
大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
开通敏感数据保护
这些数据仅在执行扫描任务时用于敏感数据分析，系统不会对数据进行保存。配置项 说明 扫描方式 即时任务：配置完成后，系统立即扫描目标数据库，并标记敏感字段。定时任务：设置日期和时间。系统会在设定时间自动扫描目标数据库，并标记...
应用场景
大数据分析：可对接Storm、Spark等实时数据处理引擎，亦可对接Hadoop等离线数据仓库系统。日志聚合 许多公司，例如淘宝、天猫等，每天都会产生大量的日志（一般为流式数据，例如搜索引擎PV、查询等）。相较于以日志为中心的系统，例如...
概述
适用场景 PolarDB MySQL版 的列存索引特性提供了一站式HTAP产品体验，可以应用于多种业务场景：对在线数据有实时数据分析需求的场景，如实时报表；专用数据仓库场景：依托 PolarDB 提供的海量数据存储能力，汇聚多个上游数据源，将其作为...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
- 产品推荐
- 这些文档可能帮助您