快照概述
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
车联网数据存储处理方案
方案总览 Lindorm是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
数据归档至专属存储
系统自动执行此任务，您需要等待任务状态从 正在执行 变为 执行成功，此执行过程耗时长短与您归档数据的存储量有关。说明 文件合并任务执行完成后，系统会自动将数据源替换为合并后的文件。查询文件合并后的数据。具体操作，请参见 查询...
任务配置
平台可支撑自动驾驶生产线的全流程工作，包括 数据导入、数据标准化、数据预处理、数据预标注、人工标注、数据输出 等。您可拖拽所需任务节点，为其设置属性后，通过连线来快速构建所需工作流，并为其配置调度方式。任务流配置说明 数据...
什么是自动驾驶开发平台
数据管理提供自动驾驶采集数据在云上数据预处理、预标注、管理、检索、重组、回放、输出到仿真或训练系统中的能力：非结构化数据处理针对非结构化数据处理提供DAG调度和并行计算能力，构建自动调度的10倍加速的自动驾驶数据工作流 多模态...
功能特性
用于对文件系统的数据进行备份 创建快照 DBFS策略快照 自动快照策略可以为数据库文件存储周期性地创建快照备份数据，合理利用自动快照能提高数据安全和操作容错率 自动快照概述 快照创建DBFS 基于快照克隆出与快照状态一致的数据库文件存储...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
产品特点
同时运行上万个仿真场景 支持云原生数据处理链路，数据的预处理、拆分、转换等无需再下载到本地 支持云原生大规模训练推理加速与自动化标注 高效研发 标签组合、向量相似、自然语义等多模态，提供高效的场景检索 支持云端精确时空对齐的多...
概述
使用rsync命令行工具迁移数据 支持Linux/Windows/macOS操作系统，本地Linux或macOS系统可配置crontab向云上NAS自动备份数据。上传下载后的文件元数据不变（包括属主及权限信息）。支持数据增量同步。适用大量文件上传和下载或需要频繁上传...
产品概述
工业物联服务支持多种工业协议与现场生产设备和仪器仪表的数据采集，用户可以根据业务灵活定义实时数据的处理规则（包括数据预加工和告警触发），并支持海量数据的高效存储，对外提供被动订阅、主动分发以及反向控制的数据服务；...
配置自动下载备份集
数据库备份DBS 支持通过备份网关实现备份集的自动下载，本文介绍如何配置备份集自动下载。前提条件 已在控制台中添加备份网关，DBS通过备份网关与本地设备进行连接。具体操作，请参见 添加备份网关。费用说明 目前下载备份集暂时免费，不...
预降采样
预降采样可以在数据写入时就按指定时间粒度对数据进行预计算并单独存储，降采样查询时可以自动查询匹配到的预降采样数据，以降低访问延迟。本文介绍预降采样的概念，创建和管理预降采样规则的方法，查询预降采样数据的方法，以及预降采样的...
引擎简介
典型场景 大数据场景：海量数据存储与分析 广告场景：海量广告营销数据的实时存储 金融&零售：海量订单记录与风控数据的实时存储 车联网：车辆轨迹与状况数据的高效存储处理 互联网社交：高效、稳定的社交Feed流信息存储 访问方式 通过...
冷数据归档
基于冷温热数据的数据量以及查询频度的特点，Lindorm时序引擎实现了对时序数据冷温热分层存储。如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据...
Alibaba Cloud Linux常见问题
Alibaba Cloud Linux系统的Overlayfs文件系统缺乏读权限导致操作失败，如何处理？出现OOM Killer的原因及解决方案 如何排查slab_unreclaimable内存占用高的原因？Linux内存碎片化的应对措施 如何在Alibaba Cloud Linux实例中通过“/etc/...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
应用场景
设备通过工业接口协议将自身状态数据和生产业务数据接入工业设备网关，然后通过 MQTT 协议发送到物联网平台，继而传输到云上的消息服务系统并经过流计算系统处理后写入 TSDB，完成时序数据的存储和分析。系统运维和业务实时监控 通过对大...
方案背景
亿量级店铺搜索系统的核心点与瓶颈在于数据库是否有海量存储能力、低延迟读能力、高效查询能力以支持地理位置GEO+多维度数据检索。表格存储作为阿里云面向海量结构化数据提供Serverless表存储服务，具有海量数据存储、热点数据自动分裂、...
数据准备与预处理
通常情况下，在构建一个模型时，您需要准备好用于模型构建和调试所需要使用的数据，并完成数据的预处理，以便后续根据业务需求进行模型开发所需的进一步加工。本示例以PAI为您提供的公开数据为例，演示数据准备与预处理的操作步骤。前提...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
功能特性
通过DLA控制台配置数据源（RDS数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据...
产品计费
冷存储：数据存储在低成本的存储设备中，减少使用成本，超出最近7天的SQL洞察和审计数据自动从热存储转为冷存储。查询冷存储的数据时，查询速度比查询热存储的数据慢。数据查询费用 0.2元/GB 0.3元/GB 查询冷存储的数据时，按量收取数据...
特性与优势
优势 与其他Linux系统相比，Alibaba Cloud Linux具有以下优势：阿里云官方为Alibaba Cloud Linux提供免费的软件维护和技术支持。各版本生命周期请参见 Alibaba Cloud Linux EOL计划。与阿里云基础设施深度结合优化，持续提升系统的启动速度...
应用场景
物联网 对系统的运维监控以及对物联网（Internet of Things，简称IoT）场景中环境与人的监控均有助于进行事实理解与决策，因此需要支持众多设备与系统的高并发写入与数据存储以及决策分析。监控&IoT场景的核心需求如下：数据高并发写入：...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
快速玩转Tablestore入门与实战
数据湖分析 基于Tablestore的一站式物联网存储解决方案-Flink实时计算 基于Tablestore的共享汽车管理平台 基于Tablestore的Wifi设备监管系统架构实现 基于Tablestore的物联网元数据管理 如何高效存储海量GPS数据 控制台可视化样例 表格存储...
文件系统存储类型
本文介绍通用型NAS文件系统的存储类型。存储类型 通用型NAS文件系统提供了为实现低成本存储而设计的不同存储类型，分别为标准存储、低频存储和归档存储。标准存储：提供高可靠、高可用、高性能的文件存储服务，适用于存储频繁访问的热数据...
配置数据传输中转节点
使用新购ECS作为数据传输中转节点 上传下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据的上传与下载，避免占用业务带宽。新购ECS挂载NAS文件系统有以下限制：镜像：仅支持ECS官方自营镜像配置自动挂载NAS。如果...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
产品架构
其基于数据自动分区+分区多副本+LSM的架构思想，具备全局二级索引、多维检索、动态列、TTL等查询处理能力，支持单表百万亿行规模、高并发、毫秒级响应、跨机房强一致容灾，高效满足业务大规模数据的在线存储与查询需求。面向海量半结构化、...
查询用户OSS或专属存储的归档数据
本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS 或 数据归档至专属存储 的用户，包含老用户和新用户。说明 老用户：数据归档查询功能未上线（上线时间：2022年09月14日）前，使用过...
操作系统迁移（Linux）
迁移限制 限制类别 限制说明 通用限制 Anolis OS和Alibaba Cloud Linux系统不提供i686架构的软件包，如您的系统上安装了CentOS的i386（包括i686）架构的软件包，则无法正常迁移。如果云服务器ECS通过自定义镜像创建，则不支持操作系统迁移...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
什么是备份数据量
对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据库所属数据文件在服务器上占用的磁盘空间。备份数据量 备份数据量指通过备份链路的实际数据大小。与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份...
通过控制台使用分析存储
在 表格存储 控制台创建时序模型实例后，您可以在实例下创建分析存储并使用SQL查询时序数据。注意事项 时序分析存储功能将从2023年12月20日正式开始收费。目前支持使用时序分析存储功能的地域有华东1（杭州）、华东2（上海）、华北2（北京...
可用性与可靠性
主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也带来了节点故障率增高的问题，通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...
- 产品推荐
- 这些文档可能帮助您