产品架构
EMR Serverless StarRocks架构 EMR Serverless StarRocks的产品架构主要由以下三个层次构成：存储层：存算一体版：StarRocks内表使用云盘或本地盘作为数据存储的介质，使用StarRocks Table Format存储格式。存算分离版：StarRocks内表使用...
影响查询性能的因素
背景信息 集群规格 AnalyticDB MySQL版 集群支持多种规格（更多详情，请参见 规格），不同集群规格的CPU核数、内存大小和数据存储介质等属性不同，处理子任务的能力也就不同，因此您需要结合业务查询特征来选择集群规格。例如，以Join或...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
什么是云原生数据库PolarDB分布式版
高性能强一致分布式事务，PolarDB-X 采用自研的X-Paxos协议保证数据存储在故障切换过程中RPO=0的基础上，使用TSO策略和分布式的MVCC能力保证了分布式事务的隔离性和一致性。分布式线性扩展，PolarDB-X 基于一致性Hash的分区策略有效地进行...
PolarDB-X历史
DRDS的商业化成功，标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变，以及从分布式数据库中间件到分布式数据库系统实质性跨越。PolarDB-X 1.0阶段 关键字：架构与品牌升级；国计民生项目 2018~2019年，DRDS凭借...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
新零售：杭州数云信息技术有限公司
数云致力于为消费品牌和零售品牌商提供整合软件产品、数据模型和专业服务的一站式数据化营销解决方案。数云以软件产品为主线，以营销效果为导向，帮助企业深度挖掘大数据价值，持续构建自身的核心竞争优势。实现了以全渠道客户数据管理平台...
SQL洞察和审计
建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中，选择 自治服务>SQL洞察和审计。单击 服务设置。在 服务设置 页，修改存储时长并单击 ...
概览
查看表的详情 宽表的详细信息包括表的行数、占用的热存储空间和冷存储空间，表结构信息，列簇的最大版本号、TTL和数据压缩类型，数据预览，分片的数量和每个分片的大小等。在 概览 页面，可根据idc、分组、Namespace和表四个维度进行查询...
时序模型
时序表操作 使用 表格存储 时序模型时，您需要使用 CreateTimeseriesTable 接口创建时序表用于时序数据存储。具体操作，请参见 创建时序表。创建时序表后，您可以管理时序表。具体操作说明请参见下表。功能 描述 列出时序表名称 当需要查看...
时序模型
时序表操作 使用 表格存储 时序模型时，您需要使用 CreateTimeseriesTable 接口创建时序表用于时序数据存储。具体操作，请参见 创建时序表。创建时序表后，您可以管理时序表。具体操作说明请参见下表。功能 描述 列出时序表名称 当需要查看...
产品架构
分布式结构化数据存储架构 在分布式结构化数据存储架构中，Tablestore 直连应用系统实现简单的事务处理和高并发数据读写。数据湖架构 数据湖架构主要用于数据中台、推荐系统、风控系统等场景。在数据湖架构中，表格存储 作为源表、结果表...
技术面临的挑战与革新
在Proxy的协同下，甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史，早期的分布式数据库，在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...
元数据抽取
使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、parquet、orc、hudi、delta、avro格式。元数据发现消耗算力，目前暂不收取费用。操作步骤 新建抽取任务 登入 数据湖构建控制台。在左侧...
DAS企业版介绍
开通DAS企业版后，默认的 数据存储时长 为1个月，您可以根据自己的需要进行修改，具体请参见 管理DAS企业版。说明 SQL洞察 功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS专业版设置的存储时长小于等于...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
基本概念
ClickHouse集群（Cluster）在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个...
概述
大部分阿里云用户以CSV格式将数据存储在OSS上，若要提高数据扫描性能，需要借助第三方工具对文件进行格式转换，然后将转换后的数据上传至OSS，整个过程比较繁琐。为减轻用户工作量，您可以直接使用DLA来转换文件格式。假设将1.2GB的数据以...
高级管理
PolarDB-X 1.0 SQL审计与分析支持高级管理，您可以通过高级管理跳转到日志服务控制台，修改SQL日志的存储时间、对SQL日志进行实时订阅与消费、数据投递和对接其他可视化等高级操作。开启SQL日志审计 后，在当前页面右上角单击 高级管理 ...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
产品概述
另外在业界主流的分布式数据库里，分布式下的Redolog/Binlog等数据库变更日志其实一直被厂商所忽视，从关系数据库的发展历史来看，生态和标准对于市场规模化非常重要，PolarDB分布式版 支持Binlog日志服务，兼容和拥抱MySQL数据库生态，...
简介
概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、函数和存储过程，用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询和分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...
简介
概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、函数和存储过程，用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询和分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...
东软案例
Lindorm“灵动”引擎驱动的政府、企业数字信息系统智能运维解决方案，东软做到了实时、海量、异构监控数据一站式存储，实现指标、日志、代码链路和网络包等异构数据融合分析，高可靠数据保障和遍在可达实时监控数据存储云端服务。...
混合存储型（已停售）
使用混合存储型，将所有课程信息存储到磁盘，访问量大的课程和题库数据存储到内存并常驻内存，保证高频访问数据的读写性能，实现高性能与高性价比的有机结合。典型业务场景的示例如下：场景1：使用开源Redis集群存储了100GB的数据，但高峰...
EMR+DLF数据湖解决方案
同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案具体实践步骤。背景信息 在EMR数据湖方案中，结合DLF，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖...
应用场景
同时，OceanBase 数据库的分区表方案也可以使得用户完全无需关注数据的分布细节，轻松支持跨分区的分布式事务、多分区的关联，真正实现“透明”访问分布式数据库。会员系统的多维度查询 会员系统在很多企业中也都是存在的，系统中保存了很...
基本概念
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。更多信息，请参见 LTS（原BDS）服务介绍。M MaxCompute 大数据计算...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
技术架构
PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的“云原生+分布式”的产品体验。整体架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成...
概述
分布式（线性扩展）传统分布式数据库，业界常见基于Paxos/Raft的多副本机制构建列存，但OLTP和OLAP各自的查询场景会有不同的诉求，对资源的依赖程度也不同，不同副本之间强一致分区策略/扩缩容机制，使得TP和AP的线性扩容能力容易相互制约...
聚合支付：Ping+
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍Ping+如何通过 PolarDB-X 应对业务挑战。所属行业...
技术架构
PolarDB-X 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的 云原生+分布式 的产品体验。整体架构 PolarDB-X 的整体架构如下：核心组件 元数据服务（Global Meta ...
ActionTrail日志清洗
说明 根据业务需求，判断是否需要新建文件夹，将ActionTrail投递过来的数据存储在新建文件夹中。在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：...
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
数据传输服务（上传）场景与工具
实时数据通道：DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，支持流式数据归档至MaxCompute。功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个...
新功能试用申请
2023年9月 Notebook功能 MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的...
什么是云数据库ClickHouse
云数据库ClickHouse 是开源列式数据库管理系统ClickHouse在阿里云上的托管服务，分为企业版和社区兼容版，在开源版本基础上提升了稳定性、安全性和可运维性。用户可以在阿里云上便捷地购买云资源，搭建自己的ClickHouse集群。云数据库...
迁移工具
通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，可以简单地实现对表中历史存量和新增数据的消费处理。更多信息，请参见 通道服务。将表格存储数据表中数据同步到另一个数据表 数据传输...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
- 产品推荐
- 这些文档可能帮助您