产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
HDFS云原生上云方案
Lindorm文件引擎 是面向海量非结构化数据的分布式文件存储服务，具有弹性、低成本的优势，提供100%的HDFS协议和使用体验，支持企业大数据中的HDFS无缝平滑上云，构建云原生时代的存储计算分离的大数据架构。方案总览 方案优势 简单：...
产品计费
如果开启热存储：新引入数据将先存储于热存储（热存储首日免费），在热存储期间（热存储时长-首日）收取数据热存储的费用。热存储到期后，自动免费转入冷存储，在冷存储期间（30天-热存储时长）不收费。数据扫描 0.015元/GB 0.0225元/GB ...
物联网数据处理分析架构参考
本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务，搭建企业物联网大数据应用架构。背景信息 随着物联网应用场景的深入，企业开始挖掘设备上传的数据，用于客户端应用扩展和服务营收，用于数字化运营、风控，帮助企业高效治理，...
ECU详解
大存储：以字母S开头的ECU为大存储实例，采用SSD/HDD分层存储架构，热点数据存储在SSD磁盘中，冷数据存储在HDD磁盘中。适用于并发稍低、性能要求不高（可接受数据查询响应时间受超过10秒以上）的业务场景。ECU规格 系列 型号 内存 磁盘类型...
数据存储
根据采集到的不同数据类型，AnalyticDB采用不同的后台存储系统来进行监控数据的存储。时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有...
基本概念
分区表可存储的数据量较大，通常可以存储千万条甚至千亿条数据。维度表 维度表，又称复制表，集群的每个节点都会存储一份维度表的全量数据。因此，复制表中的数据量不宜过大，最好不超过2万行。由于维度表的变更会广播到集群的所有节点，...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。...在物联网架构中，表格存储 作为IoT基础设施中的统一数据存储平台来存储物联网平台相关的时序数据、元数据、消息数据等，并提供丰富的数据分析处理能力。
读写分离架构
AnalyticDB的弹性模式采用了存储计算分离架构。存储层依然采用了Shared-Nothing架构，兼具了预留模式的扩展性和并发性。数据的写入，直接由AnalyticDB接入层的前端节点，经过SQL解析、合法性校验、分区选择等流程后，把数据实时写入存储层...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive JindoFS分层存储命令均为异步执行，分层存储命令只是...
一般性问题
挂载点定义了采用怎样的权限来访问数据库文件存储（DBFS），同一个挂载点可以被多个计算节点同时挂载并进行共享访问。数据库文件存储DBFS的挂载点目前固定，位于“/mnt/dbfs”目录下。3.权限组是什么概念、有什么作用？权限组定义了访问...
企业版及社区兼容版功能对比
产品架构对比 企业版架构 云数据库 ClickHouse 企业版 采用云原生存储与计算资源分离架构，且存储资源和计算资源均采用Serverless模式，该模式下可按需弹性使用存储和计算资源，具体特点如下。计算资源：在设置的计算资源自动弹性的区间内...
时序模型介绍
在表格存储的时序模型中，采用一张二维的时序表来存储时序数据。每行代表一个时间线在某个时间点的数据，该行的主键部分为时间线标识和时间戳，该行的数据列部分为该时间线在该时间戳下的数据点，可以有多个数据列。主键结构和数据列的结构...
存储冗余概述
如果您的业务需要更高的可用性保障，建议您使用 同城冗余存储（ZRS）来存储和使用数据。同城冗余存储（ZRS）采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，同城...
备份恢复概览
备份原理 OceanBase 数据库采用了读写分离架构，其内部数据按存储方式被细分为两大类：一类是基于 SSTable 格式的基线数据，另一类则是基于 MemTable 格式的增量数据。基线数据代表了已整合并持久化到硬盘的全部数据总和，它被智能地分割为...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
什么是PolarDB MySQL标准版
存储与数据可靠性 PolarDB MySQL版 的标准版采用共享存储架构，存储层使用ESSD云盘。ESSD云盘采用多副本的分布式机制，具有低延时、高性能、持久性、高可靠等特点。ESSD云盘是阿里云全新推出的超高性能云盘产品。ESSD云盘基于新一代分布式...
架构信息查询导航
云数据库Redis版支持三种架构类型：标准版、集群版与读写分离版。标准版、集群版都有单副本和双副本两种节点类型。您可根据业务场景选用不同架构的实例。架构概览 如需了解以下实例架构的详细信息，请单击架构名称跳转到相应的文档。警告 ...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
MongoDB数据库大版本升级说明
支持升级的数据库大版本 云数据库 MongoDB 版 控制台可以直接升级数据库大版本，但不同产品架构、不同版本的实例支持升级的版本不同，具体情况如下：产品架构 规格类型 实例的数据库大版本 可升级到的数据库大版本 单节点架构 通用型云盘版...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
方案背景
本文介绍了表格存储结合实时计算Flink实现大数据分析的样例场景、架构设计等。背景信息 云数据库RDS MySQL基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据库管理...
索引加速
前缀索引 不同于传统的数据库设计，云数据库 SelectDB 版 这类 MPP 架构的 OLAP 数据库，一般通过提高并发来处理大量数据。同时可结合一些索引结构，来加速查询性能。SelectDB的数据存储在类似SSTable（Sorted String Table）的数据结构中...
数据集成：全领域数据汇聚
核心技术与架构 引擎架构 采用星形引擎架构，数据源接入数据集成后，即可与其他各类型数据源组成同步链路进行数据同步。当前支持的数据源请参见 支持的数据源与读写插件、实时同步支持的数据源。数据集成资源组与网络连通 如上图所示，进行...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
设计准则
可伸缩、可扩展的云架构 大型系统需要面对大量用户的高并发访问和存储海量数据，不可能只用固定数量的服务器来处理全部用户请求，这样既不经济，也没有办法有效应对灵活的业务访问。通过集群的方式将计算资源和存储资源等组成一个整体提供...
标准架构
Tair 作为持久化数据存储使用的业务 标准架构提供持久化机制及备份恢复机制，极大地保证数据可靠性。单个 Tair 性能压力可控的业务 由于Redis原生采用单线程机制，性能在10万QPS以下的业务建议使用。如果需要更高的性能要求，请选用集群...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
应用场景
大数据 大数据具有数据规模大、数据类型多样、生成速度快、价值巨大但密度低的特点，如何高性价比存储海量持续增长的数据以及快速从海量数据中获取有价值的信息成为大数据领域的关注重点。表格存储 数据湖架构能有效的解决大数据领域面临的...
技术面临的挑战与革新
在Proxy的协同下，甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史，早期的分布式数据库，在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...
数据服务：低成本快速发布API
DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为企业提供全面的数据共享能力，帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述 作为数据仓库与上层应用系统间的...
- 产品推荐
- 这些文档可能帮助您