通过SLS完成日志数据入湖OSS
在 选择已存储数据的Project/Logstore创建OSS投递任务 对话框，下拉选择已采集数据所在的 项目Project 和 日志库Logstore。如果您在SLS中未采集数据：选择 数据采集并投递OSS，完成数据采集后再将数据投递到OSS。关于采集数据的更多信息，...
如何查看表的数据存储量
介绍如何查看表的数据存储量。操作步骤 通过控制台在数据表的 基本详情 页签，可以查看表大小，即表的数据存储量。通过控制台在数据表的 监控指标 页签，选择 指标分组 为 表大小，可以查看表大小，即表的数据存储量。
时序模型介绍
时序模型提供了数据生命周期、时间线索引、冷热存储、数据压缩等功能以满足时序数据的低成本存储以及高性能查询分析的需求。时序模型在车联网场景中主要用于车辆轨迹数据的存储、查询和分析。说明 关于时序模型的更多信息，请参见 时序模型...
实时物化视图
视图的基表中包含很大的全量数据，增量数据的更新量远小于全量数据。实时物化视图适用于所有适合使用物化视图的场景。与普通物化视图相比，实时物化视图具有高度的数据一致性，当基表发生改变时，实时物化视图将以较低的性能消耗（增量的）...
成本
压缩表可以有效节约存储空间，如果采用ZSTD压缩算法，可节约大约75%存储空间，即1GB的原始数据仅仅需要250MB左右的物理存储空间。如采用LZ4压缩算法，可节约大约60%的存储空间，即1GB的原始数据仅仅需要400MB的物理存储空间。通过存储压缩...
如何使用Java SDK快速删除存储空间及其中的历史版本
执行以下命令，需要删除整个Bucket，该Bucket可能包含有碎片数据，多版本数据，livechannel数据以及大量的存储数据。java-jar ossdelete.jar-endpoint=...
方案背景
数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索车辆，例如根据车架号查询某辆汽车的当前状态，需要支持任意车辆参数的组合检索。状态实时监测：实时监测车辆状态的变化，例如保存异常行驶...
TableInput
包含有关此表的物理存储信息 TableName string 表名称 table_name TableType string 元数据表的类型：例如 MANAGED_TABLE，EXTERNAL_TABLE，VIRTUAL_VIEW，INDEX_TABLE，MATERIALIZED_VIEW MANAGED_TABLE Temporary boolean 是否临时表 ...
实例
具体操作，请分别参见 将表格存储数据表中数据同步到另一个数据表 和 将表格存储时序表中数据同步到另一个时序表。不论当前实例规格，使用多元索引时均会产生高性能存储量、预留读吞吐量与按量读吞吐等。更多信息，请参见 多元索引计量计费...
CREATE VIEW
[SQL SECURITY]定义查询视图的数据时的安全验证方式，支持如下取值：INVOKER：表示按照 INVOKER（调用者）的身份来执行查询SQL。该安全验证方式下，系统会在查询视图数据时，验证调用者是否拥有如下权限：视图的查询权限。视图所引用对象的...
Table
Privileges PrincipalPrivilegeSet 权限设置 Retention integer 该表的保留时间 30000 RewriteEnabled boolean 视图是否可被重写的 query 使用 true Sd StorageDescriptor 存储描述符，包含有关此表的物理存储信息 TableName string 表名称...
冷热数据分层存储
当热数据存储量达到业务使用阈值时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储，从而释放热数据盘存储空间。TTL存储策略 在默认存储策略基础上，添加TTL语句，实现将间隔时间之前的所有数据自动转移到冷数据盘中...
如何使用OSS更省钱？
使用OSS时，您可以根据业务数据的变化合理规划存储类型、利用预付费与后付费策略等方式有效降低使用成本。注意事项 以下案例单价来自2024年04月12日阿里云官网公布的OSS详细价格信息。因统计的价格日期不同，各个计费项的单价可能存在差异...
概述
本文介绍如何选择和优化阿里云存储服务，帮助您在满足数据存储需求的同时节省成本。企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客...
冷热分离介绍
Lindorm宽表引擎的冷热分离功能可以将冷热数据分别存储在不同的介质上，有效降低了数据的存储成本。同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在...
引擎功能
高效时序存储技术 时序数据压缩 Lindorm时序引擎使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。冷数据归档能力 Lindorm时序引擎支持将长期存储的冷数据归档到...
创建时序表
当使用表格存储时序模型时，您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
背景
为什么选择表格存储 如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，即开即用，按量付费 表格存储是阿里云上唯一一个Serverless的数据库，无需预定任何资源搭建服务，只需按使用量付费，简单易用，满足不同行业的大...
计费常见问题
删除存储数据后，为什么存储容量不变，账单没有减少？账单为上一小时的账单，NAS控制台上显示的文件系统使用量是上一小时存储空间的最大值，控制台显示和实际存在延迟，请您耐心等待更新。使用文件系统上传下载数据时，是否计费？本地到线...
数据服务系统配置
运维监控统计数据可帮助您查看最近某段时间的API运维数据，以便您更好的调整API，合理优化资源。本文为您介绍如何自定义运维监控配置。权限说明 超级管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页，单击顶部菜单栏 服务。...
创建逻辑模型：明细表
存储策略 明细表存储数据的策略，可以选择 每日增量、每日全量 等多种策略。表名规则 选择已配置的检查器。用于检测表名称是否符合该检查器制定的表命名规则。配置检查器，详情请参见 配置及使用数仓分层检查器。表名 表的内部名称。若配置...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
Dataphin新建治理项展示字段含义
life_cycle Integer 生命周期 物理表的生命周期 pangu_file_size Integer 存储大小 物理表的物理存储大小 health_score Double 健康分 本系统计算的物理表健康分 owner_name string 负责人 物理表在dataphin资产目录中对应的负责人名称 biz...
通过视图管控数据权限
实现方式 您可以通过如下操作步骤实现上述场景需求：为省份1和省份2分别创建一个视图 v1 和 v2，语句如下：查询省份1数据的视图创建语句。CREATE SQL SECURITY DEFINER VIEW v1 AS SELECT*FROM customer WHERE province_id=1;查询省份2数据...
基本概念
物理库 物理库，是数据库在物理存储设备上的物理表示和存储方式，包括数据文件、日志文件、索引文件等。创建 AnalyticDB for MySQL 集群时，会自动创建一个物理库。每一个物理库被切分为若干个分片（Shard）。这些分片分布到若干个节点组...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
创建时序表
当使用表格存储时序模型时，您需要使用CreateTimeseriesTable接口创建时序表用于存储时序数据。创建时序表时支持配置数据生命周期、时序时间线表的配置信息 和创建分析存储。分析存储可用于快速分析时序数据。前提条件 已通过控制台创建...
数据归档
云盘版本的RDS PostgreSQL实例数据表文件都存储在云盘（ESSD）中，在数据量较大时，可能会面临较高的存储成本。通常，RDS PostgreSQL实例的数据包含冷数据和热数据。通过数据归档功能，可以将对象存储（OSS）用作归档冷数据的存储介质，...
监控与日志
监控与日志可有效保障您表格存储资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、操作审计等，帮助您实时监控云资源的使用情况和业务运行状况，...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
监控审计
对象存储OSS提供访问日志的存储和查询功能，并支持Bucket操作日志透明化，满足您对企业数据的监控审计需求。日志转存 访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
数据操作篇
本文将为您提供关于数据操作的最佳实践。拆分属性列访问热度差异大的表 如果行的属性列较多，但是每次操作只访问一部分属性列，可以考虑将表拆分成多个表，将不同访问频率的属性列放到不同的表中。例如，在商品管理系统中，每行存放商品...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
产品架构
冷热分层存储 数据存储支持自动冷热分层，同时 表格存储 支持高性能实例和容量型实例两种实例规格来满足不同业务的数据存储需求。实例规格 描述 高性能实例 适用于对读写性能和并发都要求非常高的场景，例如游戏、金融风控、社交应用、推荐...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
文件存储CPFS
CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。适用场景 文件存储CPFS 针对高性能计算场景的性能要求进行了深度优化，提供对数据毫秒级的...
数据展示
表格存储对接Grafana后，您可以通过Grafana可视化展示表格存储中的数据。前提条件 首次使用表格存储时，请开通表格存储服务以及创建实例和数据表等。具体操作，请参见 通过控制台使用 或者 通过命令行工具使用。已为表格存储的数据表或者...
对接Grafana
表格存储对接Grafana后，您可以通过Grafana可视化展示表格存储中的数据。前提条件 首次使用表格存储时，请开通表格存储服务以及创建实例和数据表等。具体操作，请参见 通过控制台使用 或者 通过命令行工具使用宽表模型。已为表格存储的数据...
- 产品推荐
- 这些文档可能帮助您