迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储...
整体架构
为满足不同场景需求，首先将一份全量数据存储在低成本高吞吐存储介质中，低成本离线处理场景直接读写低成本存储介质中的数据，可降低数据存储和数据IO成本，保证高吞吐。其次将实时数据存储在单独的存储IO节点（EIU）上，保证行级的数据...
如何选择备份方式
增量备份原理 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能...
逻辑备份、物理备份与快照
增量备份 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能影响较...
物联网设备数据上云存储
只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的资源中实现“采集+计算+存储+…”的全栈服务。如何使用规则引擎转发数据到 TSDB 您可以通过在阿里云物联网平台的控制台上配置规则引擎将物联网平台中的数据转发到时间...
常见问题
请先执行 flush 操作将数据刷写至磁盘上，再执行 compaction 操作，即可将数据存储至冷存储中。compaction 操作说明如下：HBase Shell使用方式，请执行 major_compact 命令。Lindorm-cli连接使用方式，使用语法请参见 ALTER TABLE。Q：为...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
方案背景
在电商运营中数据的分析和可视化是最重要的部分之一，而通过电商大屏可以实现数据分析和可视化的完美结合。电商大屏中包含全量订单和实时订单的聚合结果，全量订单的聚合结果展示全景的综合数据视图，实时订单的聚合结果展示实时的运营指标...
支持的云服务
表格存储 表格存储是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务，MaxCompute 2.0支持直接通过外部表方式访问表格存储中的表数据并进行处理，详情请参见 Tablestore外部表。更多表格存储信息，请参见 表格存储。对象存储OSS ...
数据表-数据概况
为您介绍数据表详情中“数据概况”的主要功能。功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、...
功能概述
表格存储 面向海量结构化数据提供Serverless表存储服务，适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
创建逻辑模型：明细表
可以指定明细表后续在数据建模分析使用时，明细表的数据存储于数仓中的哪个数据分层，一般情况下明细表可存储于数据明细层（DWD层）。明细表创建后，您可以为明细表添加字段，且可以对明细表进行关联和分区的设置，并且可使用统一的数据...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
数据扫描和识别
已获取授权的情况下，DSC 会登录到数据库内以数据采样的方式对数据进行敏感识别，DSC 不会保存您MaxCompute项目、数据库中的数据。目前存在哪些触发重新扫描的场景？目前，DSC 会在以下场景中自动触发对已授权数据源中的数据进行重新扫描。...
常见问题
为什么迁移后存储在 DAS企业版 V3中的数据量比迁移前存储在 DAS企业版 V1 中的数据量少很多？DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对...
OSS数据安全防护最佳实践
本文介绍如何使用 数据安全中心（DSC），对OSS中存储的敏感数据进行识别、分类分级和保护。背景信息 敏感数据主要包括个人隐私信息、密码、密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的OSS Bucket中，一旦发生泄漏，...
功能特性
湖仓版（3.0）产品定价 存储空间 集群使用过程中，存储数据会占用一定的空间，包括热数据存储空间和冷数据存储空间，并按照实际使用的空间按量计费，您无需预分配存储空间大小。湖仓版（3.0）产品定价 数仓版 基础资源 数仓版集群的基础...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
基础数据操作
说明 在物联网存储场景中，您可以将Kafka数据、EMQX数据、物联网平台数据存储到表格存储时序表中。更多信息，请参见 时序数据接入。通过Flink计算与分析数据后，您可以使用Tablestore时序表存储输出结果。更多信息，请参见 使用时序表存储...
使用流程
背景信息 使用表格存储前，您需要了解表格存储相关介绍，例如产品概述、基本概念等，然后根据业务场景确定使用的数据存储模型、实例模型和实例规格。表格存储 提供了宽表（WideColumn）模型、时序（TimeSeries）模型和消息（Timeline）模型...
概述
Federated引擎允许您访问远程 PolarDB MySQL版 集群或社区MySQL数据库中的数据，而无需使用复制或集群技术。本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL...
概述
PolarDB 是阿里巴巴自研的新一代 云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL 5.6/5.7/8.0，PostgreSQL 11，高度兼容Oracle。PolarDB ...
概述
PolarDB 是阿里巴巴自研的新一代 云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL 5.6/5.7/8.0，PostgreSQL 11，PostgreSQL 14，高度兼容...
应用场景
车联网场景中数据存储与分析的核心需求如下：数据高并发写入：面向众多车辆，需要支持百万级节点实时写入。数据存储：长期保存车辆轨迹信息以及车辆状态信息，需要单表规模极大以及高性价比存储。实时地理围栏：实时数据的地理围栏报警，...
什么是云数据库Redis版
持久内存型：基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。磁盘型：基于ESSD与SSD研发，兼容Redis核心...
管理EventStore
数据保存时间 日志服务采集的事件数据在EventStore中的保存时间。选择数据保存模式为 限定天数 保存，并按需设置数据保存时间。更多信息，请参见 基础资源（日志保存时间）。选择数据保存模式为 永久保存 时，日志服务将永久保存采集到的...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。...在物联网架构中，表格存储 作为IoT基础设施中的统一数据存储平台来存储物联网平台相关的时序数据、元数据、消息数据等，并提供丰富的数据分析处理能力。
湖仓版（3.0）计费项
计费公式：存储空间费用=热数据存储费用+冷数据存储费用 冷数据存储空间费用=冷数据存储空间单价×冷数据存储量×时长 热数据存储空间费用=热数据存储空间单价×热数据存储量×时长 查询用量：您可以在 云原生数据仓库AnalyticDB MySQL控制...
什么是文件存储NAS
高可靠性 NAS采用单可用区（AZ）数据存储机制，将用户的数据在后端进行多副本存储，每份数据都会存储在同一个可用区内多个不同的设备上，并提供99.999999999%（11个9）的数据持久性和99.95%的服务可用性，能够有效降低数据安全风险。...
基本概念
EIU EIU，全称为Elastic IO Unit，中文名称为弹性IO资源，是 AnalyticDB for MySQL 弹性模式集群版（新版）的存储节点，负责数据存储，还提供数据写入、数据查找和数据扫描等能力。一组EIU，也就是一个存储节点组，其中包含三个存储节点。...
【通知】Redis混合存储型实例停止售卖
持久内存型：基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。单实例成本对比Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。...
通过控制台使用时序模型
通过控制台使用时序模型（TimeSeries）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建时序表、读写时序表中数据以及使用SQL查询数据的操作。前提条件 已获取用于操作表格存储的阿里云账号或者RAM用户的登录信息。如果未...
如何使用OSS更省钱？
降低Bucket拥有者的外网流出流量和数据取回容量费用 假设Bucket拥有者授权其他用户以外网的方式访问该Bucket中的数据，并且希望通过请求者，而不是Bucket拥有者支付外网流出流量以及读取低频访问类型数据的容量费用时，可以开启请求者付费...
使用MaxCompute控制台（离线）
基于阿里云对象存储OSS上传数据时，需满足以下条件：已开通OSS并创建Bucket，将待上传数据存储至OSS Bucket中。详情请参见 创建存储空间 和 上传文件。已为操作数据上传的阿里云账号授予可访问目标Bucket的权限，详情请参见 访问控制概述。...
功能特性
向量计算 Proxima CE 存储 表是MaxCompute的数据存储单元，MaxCompute中不同类型作业的操作对象（输入、输出）都是表；MaxCompute采用列压缩存储格式，通常情况下具备5倍压缩能力；MaxCompute数据存储格式全面升级为AliORC，具备更高存储...
概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性。例如，现有注册表和登录表两张表，注册表中存储了会员ID，字段名为 user_id，登录表中也存储了会员ID，字段名为 userid，此时针对会员...
按自定义时间列冷热分离
购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热数据查询效率，降低冷数据存储成本。本文介绍按自定义时间列冷热分离的具体操作步骤及相关注意事项。前提条件 已...
- 产品推荐
- 这些文档可能帮助您