方案背景
本文以车联网场景中车辆元数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆元数据管理平台的场景需求以及方案架构。场景需求 车辆在行驶的过程中会定时上报大量的状态数据，例如车辆识别代码、行驶速度、发动机转速、车内温度等...
应用场景
物联网存储IoTstore作为物联网的统一数据存储平台，可应用于车联网、智能家居、工业物联网等场景。车联网 车联网是物联网技术在智能交通领域的典型应用。在智能交通领域通过使用物联网、云计算、传感器、大数据、无线通信等技术对交通信息...
现代IM系统中的消息系统—架构
消息存储模型 上图是基于Timeline的消息存储模型，消息存储要求每个会话都对应一个独立的Timeline。如图例子所示，A与B/C/D/E/F均发生了会话，每个会话对应一个独立的Timeline，每个Timeline内存有这个会话中的所有消息，消息根据会话顺序...
如何选用NAS、OSS和EBS？
NAS技术支持 部署架构 使用文件存储NAS、对象存储OSS和块存储EBS部署应用程序架构如下图所示。相关文档 文件存储NAS提供了两种存储类型，分别为通用型NAS和极速型NAS。关于两种存储类型的详细信息，请参见 产品规格。关于如何根据业务负载...
数据存储量如何计量
如下图所示，表格存储中实例的数据总量是所有表的数据量之和，表的数据量是表中所有行的数据量之和，所有行的数据量是所有单行数据的主键列和属性列数据量之和。说明 关于最新的单价信息，请参见 表格存储价格详情页。下面举例说明如何计算...
如何优化高并发IM系统架构
下图展示了省略掉存储层后的群消息发送过程。使用扩散写而非扩散读，主要由于以下两点原因：群组内成员一般都不多，存储成本并不高，而且有压缩，成本更低。消息扩散写到每个人的存储表（收件箱）后，为每个接收方推送消息时，只需要检查...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
资源包抵扣规则
资源包类型 抵扣计费项 抵扣说明 通用型NAS资源包 抵扣通用型NAS如下计费项的费用：通用型存储容量（容量型/性能型/高级型）低频介质存储容量 通用型NAS资源包根据存储空间内通用型NAS文件系统所产生的存储容量进行抵扣，通用型存储容量...
方案背景
基于表格存储搭建的店铺搜索系统页面一览，样例内嵌在表格存储控制台中，用户可登录控制台体验系统（若为表格存储的新用户，需要单击开通服务后体验，开通免费，订单数据存储在公共实例中，体验不消耗用户存储、流量、CU）。表格存储方案 ...
时序模型介绍
通过时序模型，您可以对时间序列进行存储、查询和分析。时序模型提供了数据生命周期、时间线索引、冷热存储、数据压缩等功能以满足时序数据的低成本存储以及高性能查询分析的需求。时序模型在车联网场景中主要用于车辆轨迹数据的存储、查询...
计费概述
文件存储CPFS支持创建不同类型的CPFS文件系统，不同类型的文件系统计费标准不同，本文介绍文件存储CPFS的计费情况。计费方式 文件存储CPFS支持以下计费方式。计费方式 说明 按量计费 默认付费方式。先使用，后付费，适用于业务用量经常有...
监控与日志
监控与日志可有效保障您表格存储资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、操作审计等，帮助您实时监控云资源的使用情况和业务运行状况，...
为什么使用表格存储过程中会有少量的500错误
当某个数据分区的数据量过大，或者访问过热，如下图的数据分区P1，表格存储的动态负载均衡机制能够检测到这种情况的发生，并将数据分区分裂成两个数据分区P1和P5，并将该两个数据分区调度到负载较低的服务节点上。表格存储使用上述的自动...
计费项检测
背景信息 如果您同时使用了OSS的多种功能，例如使用OSS存储文本、图片、音视频等文件会产生对应类型的存储费用。通过外网浏览或者下载OSS文件时会产生下行流量费用等。关于OSS计费项的更多信息，请参见 计费组成。针对以上情况，您可以通过...
查询Bucket级别的用量情况
背景信息 您可以在OSS管理控制台查看以下资源的使用量：基础数据：包括存储空间、使用带宽、使用流量、请求次数、图片处理量和图片处理请求次数。热点统计：包括PV（访问次数）、UV（来源IP数）、Referer（Top 10）或IP（Top 10）。其中，...
通过控制台使用宽表模型
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
表格存储收费方式详解
表格存储支持后付费，根据一个账单周期内各个资源的实际使用量进行计量计费，无需额外购买实例费用。目前表格存储一共有4个维度的计量项。表格存储根据账单周期（小时）中的实际使用量来进行计量计费。数据存储量 预留读吞吐量和预留写吞吐...
对接DataV
通过DataV控制台添加表格存储数据源后，您可以使用DataV可视化展现表格存储的数据。前提条件 首次使用表格存储时，请开通表格存储服务以及创建实例和数据表等。具体操作，请参见 通过控制台使用 或者 通过命令行工具使用。首次使用DataV时...
资源包选购案例
计量项 用量 推荐资源包规格 容量型存储（GB）260 GB 资源包类型：存储套餐 地域：全国通用（中国内地）实例类型：容量型实例 存储规格：400G 容量型按量读吞吐（CU）204亿 资源包类型：按量读CU套餐 地域：全国通用（中国内地）实例类型：...
存储在OSS中的GIF文件使用图片样式后变成静态图片
问题描述 在使用阿里云对象存储OSS的图片处理服务时，GIF格式的文件使用图片样式进行图片缩放或添加水印后，变成静态图片。原图URL和图片处理后的URL示例如下：原图URL为：...
使用CNFS自动扩容NAS存储卷
通过定义CNFS中托管的NAS存储卷的自动扩容策略，当NAS存储卷的使用率高于某个阈值时，触发NAS存储卷的自动扩容。本文介绍如何使用CNFS实现NAS存储卷的自动扩容。前提条件 已创建Kubernetes托管版集群，且存储插件选择为CSI。若需要新建集群...
文件存储 HDFS 版和数据库MySQL双向数据迁移
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
使用EMR
通过表格存储控制台获取SQL语句的方法如下：在实例的 数据湖投递 页面，单击投递任务 操作 列的 建表语句，可以查看和复制SQL语句，如下图所示。执行如下SQL语句，加载OSS数据源中实际的数据分区。其中lineitem为创建的外表名称。msck ...
开通审计日志
如下图所示。Project名称的格式为 tablestore-log-<Account ID>-。其中为阿里云账号ID，为地域ID。例如华东1（杭州）地域下的Project名称为 tablestore-log-13*-cn-hangzhou 。说明 关于地域ID的信息，请参见 地域。Logstore名称固定为...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
SQL查询
假如设备的监控数据存储在 表格存储 时序表device中，时序表的映射关系为 `device:cpu`，schema如下图所示。步骤一：创建分析存储的映射关系 通过CREATE TABLE语句创建多值模型映射关系。更多信息，请参见 时序表的SQL映射关系。语法 说明_...
流计算
通过在E-MapReduce集群中使用Spark SQL访问表格存储。对于流计算，基于通道服务，利用CDC（数据变更捕获）技术完成Spark的mini batch流式消费和计算，同时提供了at-least-once一致性语义。前提条件 已创建 EMR 集群。具体操作，请参见 EMR...
模型介绍
上图是一个快递的物流轨迹数据，记录的是快递在不同时间点的状态变化。该轨迹数据的元数据是快递本身，包含了单号、物流平台、快递当前位置信息以及快递寄件/收件等元信息，其中单号以及物流平台的组合（Identifier）唯一确定这个快递。...
背景信息
使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在LocalFS（包括本地文件、CPFS智算版实例等）与OSS之间、LocalFS（包括本地文件、CPFS智算版实例等）之间或对象存储OSS之间进行灵活的数据迁移。使用在线迁移...
通过RAM Policy为RAM用户授权
使用 表格存储 产品前，您需要为RAM用户授予访问 表格存储 资源的权限。本文介绍如何通过RAM Policy为RAM用户授予访问 表格存储 资源的权限。背景信息 阿里云权限管理机制包括访问控制和临时安全令牌，您可以根据需求使用不同权限的RAM用户...
使用函数计算
通过函数计算访问表格存储，对表格存储增量数据进行实时计算。背景信息 函数计算（Function Compute，简称FC）是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准备...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
性能监控
您可以通过阿里云云监控来监控文件系统读请求频率、读取请求大小、每秒读取字节数、存储空间等。并通过设置报警规则，及时获取异常信息。本文介绍如何查看性能监控详情及创建报警规则。前提条件 已创建 文件存储 HDFS 版 文件系统。具体...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
查看NAS容量监控
通用型NAS文件系统容量监控页面主要包括存储空间（不包括回收站）、文件数、低频介质读流量和低频介质写流量四部分的监控指标图。说明 容量监控数据为实时值，不作为账单计算的计量值。若您希望查询更详细的计量数据，请参见 账单和用量...
任务
在 创建任务 面板配置相关参数信息，如下图所示。参数 说明 输入存储桶 当前需要创建任务的文件所在的Bucket。输入路径 选择需要处理的文件的存储路径。样式 选择文件的处理样式。如果没有可以选择的样式，可单击下拉列表中的 添加样式，...
通道服务概述
通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。背景...
数据加密
例如，深度学习样本文件的存储、在线协作类文档数据的存储。针对不同的应用场景，OSS有以下两种服务器端加密方式：使用KMS托管密钥进行加解密（SSE-KMS）上传文件时，可以使用默认KMS（Key Management Service）托管的CMK（Customer Master...
- 产品推荐
- 这些文档可能帮助您