后续指引
开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各版本支持的数据类型、适用场景及各版本间的差异，避免开发过程中出现数据类型无法解析问题。介绍：数据类型 常见问题：数据类型常见问题 常用命令 提供开发过程中的针对 表...
发现并处理Redis的大Key和热Key
Redis提供了 bigkeys 参数能够使redis-cli以遍历的方式分析Redis实例中的所有Key，并返回Key的整体统计信息与每个数据类型中Top1的大Key，bigkeys 仅能分析并输入六种数据类型（STRING、LIST、HASH、SET、ZSET、STREAM），命令示例为 redis...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能...相关文档 SQL 编辑和执行 PL 编译和调试口 结果编辑与导出 执行分析 数据库对象 分区管理 SQL 计划任务 无锁结构变更 影子表同步
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
物联网设备数据上云存储
物联网平台规则引擎 物联网设备基于消息 Topic 进行通信，使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的资源中实现“采集+计算+存储+…”的全栈服务。如何...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
查询管理与分析
EMR StarRocks Manager针对您提交的查询（Query）记录提供诊断与分析的能力。支持运行中大查询、慢查询及全部查询两种维度的查询记录展示。前提条件 已创建StarRocks实例，详情请参见 创建实例。功能介绍 运行中大查询：此功能模块着重展示...
什么是云原生数据湖分析
支持 AnalyticDB PostgreSQL 支持 支持 MaxCompute 支持 支持 Elasticsearch 支持 支持 Cassandra 支持 支持 Kudu 支持 支持 ECS自建Druid数据库数据 支持 支持 何时使用DLA DLA主要围绕数据湖存储OSS提供一站式的云原生数据湖分析与计算...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
应用场景
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
轮播页面
BI分析数据配置面板中的详细操作说明，请参见 BI分析模式数据面板功能介绍。配置字段说明 字段 说明 大屏ID 可视化应用中各轮播页面的ID。大屏名称 可视化应用中各轮播页面的名称。大屏链接 可视化应用中各轮播页面的链接。说明 当组件是以...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
配置学区地图区域热力层交互
数据结构包含以下内容：临时变量名（图示中①）学校对应的ID（图示中②）学区信息（图示中③）可 下载上图中的示例代码。在蓝图编辑器页面左上角，单击 画布编辑器 图标（），切换到画布编辑器配置页面。在画布编辑器图层栏内，分别选中...
配置学区地图区域热力层交互
数据结构包含以下内容：临时变量名（图示中①）学校对应的ID（图示中②）学区信息（图示中③）可 下载上图中的示例代码。在蓝图编辑器页面左上角，单击 画布编辑器 图标（），切换到画布编辑器配置页面。在画布编辑器图层栏内，分别选中...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
聚水潭：云原生数据仓库助力企业实现商业洞察
本文介绍聚水潭通过引入 AnalyticDB PostgreSQL版 构建企业级云原生数据仓库，解决业务需求过大、资源弹性扩展难等问题。客户介绍 上海聚水潭网络科技有限公司成立于2014年，是一家从事SaaS ERP应用服务研发且拥有完全自主知识产权的软件...
产品简介
自然语言处理（Natural Language Processing，简称NLP），是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，旨在帮助用户高效的处理文本，已经广泛应用在电商、文娱、司法、公安、金融、医疗、电力等行业客户的多项业务中，取得了...
产品架构
按照传统方案，为了满足多种类型数据的存储、查询和分析需求，在设计IT架构时，需要针对不同种类的数据，采用不同的存储分析技术，如下图：这种技术方案，是一种典型的技术碎片化的处理方案。针对不同的数据，使用不同的数据库来处理。有...
概述
您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形图、饼图、双轴图等图形或组件展现出来，并对这些图形或组件进行自由组合、布局，以某种分析思路对业务进行直观呈现。...
什么是EMR Serverless StarRocks
数据湖分析 StarRocks不仅能高效地分析本地存储的数据，也可以作为计算引擎直接分析数据湖中的数据。您可以通过StarRocks提供的External Catalog，轻松查询存储在Apache Hive、Apache Iceberg、Apache Hudi、Delta Lake等数据湖上的数据，...
什么是EMR Serverless Spark
EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless ...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和...在数据分析关键能力层面，下图为 云原生数据仓库AnalyticDB PostgreSQL版 在《2020 Gartner Critical Capabilities for Cloud Database Management Systems for Analytical Use Cases》中的得分排名。
公交出行：启迪公交
解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
发展历程
中国数字化转型与创新案例大会：年度大数据创新产品奖。国家大数据博览会十佳产品：最佳案例实践奖。2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
提供日志类数据采集、智能查询分析、消费与投递等功能，全面提升海量日志处理和分析能力。SLS强大的日志投递能力，能够从源头对接各种类型的日志格式，并且稳定地将日志投递到OSS。OSS低廉的存储成本，能够让您的日志文件存储任意长的时间...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
MaxCompute近实时增全量一体化架构介绍
实时同步写入 当前数据库系统与大数据处理引擎都有各自擅长的数据处理场景，面对一些复杂的业务需求，往往需要同时运用OLTP（联机事务处理）、OLAP（联机分析处理）及离线分析引擎来对数据进行全面且深入的分析与处理，因此数据就需要在...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版...如果需要同步的表数量较少且分析型数据库MySQL版表结构与源表差异较大，可以在分析型数据库MySQL版中提前 创建表，配置同步链路 时需要把步骤7中的中 结构初始化 选项去掉即可。
基本概念
此外，Ganos Raster允许多源栅格数据（如遥感、摄影测量和专题地图）之间的融合与分析以及数据服务发布等功能（如TMS或WMTS等）。Ganos Raster可用于包括基于位置的服务、地理图像存档、环境监测和评估、地质工程和勘探、自然资源管理、...
- 产品推荐
- 这些文档可能帮助您