低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
计费概述
本文介绍DLA的三种计费方式：按计算资源付费、按扫描量付费和数据湖存储服务付费。计费方式 计费类别 说明 适用场景 相关文档 按计算资源付费 数据湖分析CU版根据购买的CU规格进行计费，费用跟运行查询扫描的数据量没有关系。计费模式如下...
高压缩引擎（X-Engine）介绍
随着业务发展，数据库系统中会积累大量访问频率很低甚至为0的数据，这些数据的积累容易导致如下问题：历史数据和最新数据存储在同一数据库系统中，导致磁盘空间不足。大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。...
多元索引介绍
表格存储与数据库及搜索引擎等系统的主要区别如下：除了Join、事务和相关性外，表格存储能覆盖数据库和搜索系统中的其他功能，同时具备数据库的数据高可靠性和搜索系统的高级查询能力，可以替换常见的 数据库+搜索系统组合架构 方式。...
方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
基本概念
冷存储 一种存储介质，可以存储数据库中的冷数据，从而降低存储成本。更多信息，请参见 冷存储介绍。冷热分离 Lindorm宽表引擎实现了数据的冷热分离能力，系统会自动根据用户设置的冷热分界线自动将表中的冷、热数据分类归档到冷、热存储中...
OceanBase 数据库支持版本
数据库对象（MySQL 模式）本文档为您介绍 OceanBase 数据库 MySQL 模式下所支持的数据库对象类型、存储方式和数据库对象。与 MySQL 兼容性对比 本文档主要介绍 OceanBase 数据库的 MySQL 模式与原生 MySQL 数据库的兼容性对比信息。PL 参考...
表引擎
Distributed 本身不存储数据，可以在多个服务器上进行分布式查询。MaterializedView 用于创建物化视图。Dictionary 将字典数据展示为一个 云数据库ClickHouse 表。Merge 本身不存储数据，可以同时从任意多个其他表中读取数据。File 直接将...
背景
模型和案例丰富，专家在线支持 表格存储针对不同业务场景提供了相应的数据模型，简化业务的设计和开发，例如消息和Feed流提供Timeline模型，时序数据提供Timestream模型，科学大数据的多维网格数据提供Grid模型等。针对典型业务场景，提供...
通过控制台使用时序模型
表格存储 提供了控制台、命令行工具和Tablestore SDK三种访问方式。通过控制台使用时序模型（TimeSeries）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建时序表、读写时序表中数据以及使用SQL查询数据的操作。前提条件 已...
新建Amazon S3数据源
它允许个人、组织和企业在云中存储和检索数据。如果您使用的是Amazon S3，在对接Dataphin进行数据开发或将Dataphin的数据写入至Amazon S3时，您需要先完成Amazon S3数据源的创建。更多Amazon S3信息，请参见 什么是Amazon S3。权限说明 仅...
CREATE DATABASE
partition_interval BIGINT 分区时长，同一时间段的数据和索引存储在一个时间分区，单位为天。关于默认值，需注意以下内容：3.4.19及以上版本的时序引擎，partition_interval 参数默认值为30。3.4.19之前版本的时序引擎，partition_...
数据类型
表格存储数据类型 Node.js SDK数据类型 描述 String string JavaScript语言中的基本数据类型 Integer int64 Node.js SDK封装的数据类型 Double number JavaScript语言中的基本数据类型 Boolean boolean JavaScript语言中的基本数据类型 ...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
数据分析整体趋势
这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...
新建Amazon S3数据源
它允许个人、组织和企业在云中存储和检索数据。如果您使用的是Amazon S3，在对接Dataphin进行数据开发或将Dataphin的数据写入至Amazon S3时，您需要先完成Amazon S3数据源的创建。更多Amazon S3信息，请参见 什么是Amazon S3。权限说明 仅...
冷数据归档
开通冷存储 时序引擎实例创建后本身就具备了对热数据和温数据的分层管理能力。但是对于冷数据，如果需要启用上文所说的冷数据自动归档到冷存储介质的能力，则需要预先在Lindorm实例层面开通冷存储。开通冷存储的方法如下：申购Lindorm实例...
SQL查询介绍
SQL查询为表格存储的多数据引擎提供统一的访问接口，兼容MySQL的查询语法，适用于在海量数据中进行在线数据访问类型的场景。您可以通过SQL查询功能对表格存储中的数据进行复杂的查询和高效的分析。背景信息 为了满足用户业务平滑迁移到表格...
什么是EMR Serverless StarRocks
对于存储层，StarRocks利用了对象存储的几乎无限容量和高可用性特点，不仅支持多种云上对象存储，也兼容HDFS，确保数据的大规模存储和持久化。StarRocks的存储计算分离模式保留了与传统存算一体模式相同的功能，无论是数据写入还是热数据...
计量计费项
预留模式的计费项包括计算能力、数据存储量和外网下行流量三部分。预留模式适用于业务峰值较为平稳、可预测的场景。本文介绍预留模式的计费价格、计费组成、计费项以及计费常见问题。计费价格 具体计费价格，请参见 表格存储价格详情页。...
准备工作
用于访问表格存储服务，将原始数据和聚合结果写入表格存储的数据表中。说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格...
计量计费项
按量模式的计费项 包括读吞吐量、写吞吐量、数据存储量和外网下行流量四部分。按量模式适用于业务峰谷变化较大，不可预测的场景。如果实际业务中使用了多元索引、二级索引、SQL查询、时序模型、多版本、生命周期管理、通道服务、数据迁移...
产品架构
按照传统方案，为了满足多种类型数据的存储、查询和分析需求，在设计IT架构时，需要针对不同种类的数据，采用不同的存储分析技术，如下图：这种技术方案，是一种典型的技术碎片化的处理方案。针对不同的数据，使用不同的数据库来处理。有...
支持的数据库引擎与功能
加密：使用SSL和AES256加密技术，保护备份数据传输和存储安全。流控：备份线程数控制，对备份源数据库性能的影响小。生命周期管理：完整的备份集生命周期管理，全局规则控制，实现自动备份数据的转存、清理和复制分发。表格注释说明 为便于...
对接DataV
通过DataV控制台添加表格存储数据源后，您可以使用DataV可视化展现表格存储的数据。前提条件 首次使用表格存储时，请开通表格存储服务以及创建实例和数据表等。具体操作，请参见 通过控制台使用 或者 通过命令行工具使用。首次使用DataV时...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
引擎类型
流引擎是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现将流式数据存储至 云原生多模数据库 Lindorm，满足基于流式数据的处理和应用需求。结合宽表引擎的Ganos时空服务，可以实现基于流式数据的实时轨迹分析...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
方案背景
查询不同模式系统产生的数据 例如同时查询欧洲中心的某一模式数据和中国气象机构产生的对应数据等。一个格点数据集一般是一个五维结构，各种查询方式实际上就是对这个五维数据进行切分，例如查询某个平面、每个剖面，某个点序列、某个三维...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
数据查询
Lindorm时序引擎提供标准的SQL查询能力、PromQL查询能力、TSDB兼容的查询能力。本文介绍时序数据查询的方法。...预降采样是一种降低数据精度的方法，预降采样后的数据和原始数据存储在同一张表中，查询时无需查询不同的数据表。
什么是云原生多模数据库Lindorm
本文介绍 云原生多模数据库 Lindorm 的...流引擎 云原生多模数据库 Lindorm 流引擎是 面向流式数据处理 的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。
方案背景
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
账单数据订阅及查询分析
此处，需创建MaxCompute项目（用于账单数据的存储和计算），创建DataWorks工作空间和数据源（用于查询账单数据）。以上工作可通过单击“一键创建”，由平台统一完成，创建过程预计耗时2分钟。说明 执行该操作，需要当前登录账号具备如下...
存储说明
部分缓存或临时测试场景，或者基于3副本存储TB级数据时会使用本地盘，但是该方案会因为磁盘寿命增加额外的运维成本，因此存储数据建议您使用OSS或者 开通并授权访问OSS-HDFS服务。您可以参见 在EMR Hive或Spark中访问OSS-HDFS，了解Hive或...
选型配置说明
归档数据和深度归档数据需要解冻为标准型存储才能参与EMR引擎计算。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储为0.35...
22.8版本新特性概览
对于常见的导入OSS数据到ClickHouse，在22.8之前版本中如果要实现JSON对象子列的独立存储和高效分析，那么就必须预先在ClickHouse建立结构化的目标表，并明确定义每个字段的数据类型，才能将半结构化的JSON数据写入到ClickHouse中。...
Lindorm for Cassandra应用实践
云原生多模数据库 Lindorm 简介 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、...
功能概述
网络安全管理 数据加密 数据湖投递 表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递 快速入门 使用SDK 数据可视化 支持对接数据可视...
- 产品推荐
- 这些文档可能帮助您