在文件存储 HDFS 版上使用Apache Spark
scp-r hadoop-2.7.2/hadoop@cluster-worker-1:/usr/local/步骤二：验证Hadoop配置 完成Hadoop配置后，不需要格式化NameNode，也不需要使用start-dfs.sh来启动HDFS相关服务。如需使用YARN服务，只需在ResourceManager节点启动YARN服务。具体...
使用前须知
使用限制 存储方式与地域限制 重要 使用日志审计服务进行日志区域化存储或中心化存储前，请合理评估存储地域是否满足相关法律法规和安全监管的要求。中心化存储 从各个阿里云账号、各个地域采集到的日志，会存储到中心账号下的一个中心...
方案选择
本文主要为您介绍针对订单系统的一些传统解决方案，以及面对亿量级订单，表格存储提供的更全面的解决方案。传统方案一：MySQL分库分表 MySQL自身拥有强大的数据查询、分析功能，基于MySQL创建订单系统，可以应对订单数据多维查询和统计场景...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
现代IM系统中的消息系统—架构
本章节主要介绍现代IM系统中的消息系统架构以及基于表格存储（Tablestore）自研的Timeline模型构建的消息系统。基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现...
方案实现
在前文的方案与架构基础上，本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统，并主要使用Timeline模型、基于推模式进行同步。表格存储消息（Timeline）模型是针对...
推荐的挂载方式
本文介绍阿里云容器服务挂载NAS文件系统的方式，您可以使用CSI存储插件或使用容器网络文件系统CNFS...附录 容器持久化存储系列课程，请参见 玩转容器持久化存储。使用ACK和NAS快速搭建弹性NGINX网站免费实验，请参见 容器搭建弹性NGINX网站。
宽表模型介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
SQL查询介绍
背景信息 为了满足用户业务平滑迁移到表格存储以及使用SQL方式访问表格存储的需求，表格存储在传统的NoSQL结构化存储之上，提供云原生的SQL引擎能力。SQL查询兼容MySQL的查询语法，同时提供基础的SQL DDL建表能力。对于已有数据表，通过...
通过NFS使用NAS静态存储卷
本文介绍如何使用阿里云NAS静态存储卷，及如何实现持久化存储与共享存储。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。已创建NAS文件系统。具体操作，请参见 创建文件系统。若需要加密NAS存储卷中的数据，...
使用NAS静态存储卷
本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已创建NAS文件系统。具体操作，请参见 创建文件系统。若需要加密NAS存储卷中的...
方案背景
通过持久化存储和分析车辆元数据信息，用户可以实现复杂的业务需求，例如统计某一个区域内的车辆数量用于判断道路拥挤程度，通过监测车速、发动机转速等最新数据的实时变化用于判断车辆行为或者状态是否出现了异常等。因此车联网场景下车辆...
快速入门（PAI-DSW）
NAS与阿里云人工智能平台PAI（Platform For AI）无缝集成，您可以在PAI的服务上配置NAS作为数据集持久化存储部署、训练过程中的数据。本文介绍如何在控制台为PAI-DSW实例快速部署NAS。前提条件 已开通PAI并创建默认工作空间。具体操作，请...
表格存储是否支持存储JSON数据？
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
同步数据到时序表
worker配置文件connect-standalone.properties的配置示例 worker配置中包括Kafka连接参数、序列化格式、提交偏移量的频率等配置项。此处以Kafka官方示例为例介绍。更多信息，请参见 Kafka Connect。Licensed to the Apache Software ...
块存储FAQ
本文汇总了使用块存储时的常见问题。存储容量单位包SCU问题 什么是存储容量单位包SCU？哪些块存储产品可以使用存储容量单位包SCU？存储容量单位包SCU可以单独使用吗？存储容量单位包SCU的抵扣规则是什么？SCU如何计费？SCU可以退款吗？ESSD...
分区格式化数据盘
不同操作系统的数据盘分区格式化的操作不同，请您根据服务器实际的操作系统进行选择：分区格式化Linux服务器的数据盘的具体操作，请参见 分区格式化Linux服务器的数据盘。分区格式化Windows服务器的数据盘的具体操作，请参见 分区格式化...
渐进显示
本文介绍如何使用渐进显示参数。图片格式为jpg时有两种呈现方式：自上而下的扫描式 是先模糊后逐渐清晰（在网络环境比较差时明显）默认保存为第一种，如果要指定先模糊后清晰的呈现方式，请使用渐进显示参数。参数 名称 描述 取值范围 pr 1...
下载后的图片无法正常显示怎么办？
本文介绍OSS下载后的图片无法正常显示的原因及解决方法。问题原因 图片后缀设置错误。例如.jpg格式的图片，后缀设置为.png。当前图片解码工具不支持当前显示图片格式。解决方法 根据图片类型修改为正确的图片后缀。检查图片格式，使用支持...
什么是混合云存储
混合云存储包括 SA混合云存储阵列、CPFS并行文件存储、SDS分布式存储 和 HCI超融合 等多种形态，您可以像使用本地存储一样使用和管理本地和云端的各种存储资源（块、文件和对象）。本地存储可以通过云缓存、云同步、云分层、云备份等方式...
应用场景
表格存储 有互联网应用架构（包括数据库分层架构和分布式结构化数据存储架构）、数据湖架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
新功能发布记录
本文介绍 混合云存储 每次发布涉及的功能变更及对应的文档，帮助您了解 混合云存储 的发布动态。2019年3月 功能名称 功能描述 发布时间 支持地域 相关文档 Apsara SA系列混合云存储阵列发布 Apsara SA混合云存储阵列融合IP SAN、FC SAN、...
Web端接入AVIF格式图片说明
AVIF是一种基于AV1视频编码的新图像格式，相对于JPEG、WebP等图片格式压缩率更高，并且画面细节更好。您可以通过本文所示的方法，在Web端接入AVIF格式图片。AVIF简介 AVIF通过使用更现代的压缩算法，在相同质量的前提下，AVIF文件大小是...
在配置访问OSS的临时访问凭证时提示“策略格式错误”
问题描述 通过STS服务给其他用户颁发一个临时访问凭证，实现该用户可使用STS临时访问凭证访问阿里云对象存储OSS。在授权的以下场景中，提示“策略格式错误”。在为角色授予上传文件的权限，配置策略时，提示“策略格式错误”。在创建用于...
Apsara SA混合云存储阵列有哪些新的特性？
2019年3月阿里云发布全新的Apsara SA系列存储阵列，主要具有以下新特性：多控横向扩展：全面提升混合云存储阵列的可扩展性和性能 存储双活容灾：实现RPO和RTO为零的存储双活容灾，保障业务连续性 存储异构虚拟化：透明接管三方存储阵列，...
概述
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储且可以无限水平扩展。同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、...
方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
表格存储
表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。表格存储提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，实现PB级存储、千万TPS以及毫秒级延迟的服务...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
功能概述
表格存储 面向海量结构化数据提供Serverless表存储服务，适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...
UNLOAD
通过OSS存储结构化数据在一些场景中可以节省存储费用，但需要提前做好费用估算。MaxCompute存储费用为 0.12元/GB/月，更多存储计费信息，请参见 存储费用。数据导入MaxCompute后有5倍左右的压缩率，计费依据的数据量是压缩后的数据。OSS...
UNLOAD
通过OSS存储结构化数据在一些场景中可以节省存储费用，但需要提前做好费用估算。MaxCompute存储费用为 0.12元/GB/月，更多存储计费信息，请参见 存储费用。数据导入MaxCompute后有5倍左右的压缩率，计费依据的数据量是压缩后的数据。OSS...
如何优化高并发IM系统架构
存储层主要是用来存储持久化消息数据和其他一些需要持久化的数据。对于一对一聊天，发送方发送消息给应用服务器后，应用服务器将消息存储到接收方为主键的表中，同时通知应用服务器中的消息推送服务，消息推送服务会将上次推送给接收方的...
功能发布记录
2023年 2023年12月 功能名称 功能描述 发布时间 发布地域 相关文档 时序分析存储商业化 使用分析存储（Analytical Store）功能，您可以低成本存储时序数据以及快速查询和分析时序数据。分析存储功能主要用于时序数据长期存储和分析场景。...
概述
基于Tablestore Sink Connector，您可以将Apache Kafka中的数据批量导入到表格存储（Tablestore）的数据表或者时序表中。背景信息 Kafka是一个分布式消息队列系统，不同的数据系统可以通过Kafka Connect工具将数据流输入Kafka和从Kafka获取...
阿里云文件存储NAS挂载使用
重要 创建VMware虚拟机时，如果选择阿里云文件存储NAS提供的数据存储，虚拟机磁盘格式虽然为精简置备，但实际为厚置备格式，请注意数据存储的空间使用情况。前提条件 创建阿里云文件存储NAS文件系统，详细内容请参考 创建文件系统。开工单...
方案背景
随着互联网的发展以及各企业对数据的重视，需要存储和持久化的订单量越来越大。这些为订单系统管理带来了新挑战。需求场景 某电商平台A，需要存储和维护订单数据。同时，基于所有的订单数据，系统还需要向三类人群提供多元化查询服务：消费...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
图片处理
processImage("image/watermark,text_SGVsbG8g5Zu-54mH5pyN5YqhIQ","target bucket")/图片处理持久化：格式转换，并设置保存图片处理持久化结果的目标bucket。processImage("image/format,jpg","target bucket")/图片处理持久化：格式转换...
- 产品推荐
- 这些文档可能帮助您