Prometheus Remote Write配置
阿里云提供不同规格的TSDB实例，设置了不同的最大写入TPS，避免过大TPS导致TSDB实例不可用，保护TSDB实例正常运行。当写入TPS超过TSDB实例允许的最大TPS时，将触发TSDB实例限流保护规则，会造成写入失败异常。因此需要根据TSDB实例规格来...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确认已安装支持数据湖投递功能的表格存储Go SDK。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket。具体操作，请参见 开通OSS服务。已通过...
Table Group设置最佳实践
最适宜的Shard数区间应该设置为多少的问题，由于最适宜Shard数不仅和数据存储量有关，还和实际访问频率、实际数据访问量、计算负载的类型（点查、分析等）、写入吞吐、Table Group上表的个数等因素有关，该问题无法给出准确答案。...
使用SDK
创建投递任务后，表格存储数据表中的数据会自动投递到OSS Bucket中存储。注意事项 目前支持使用数据湖投递功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）和华北3（张家口）。数据湖投递不支持同步删除操作，表格存储中的删除...
准备工作
用于访问表格存储服务，将原始数据和聚合结果写入表格存储的数据表中。说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格...
使用Tapdata Cloud导入MySQL数据
通过Tapdata Cloud的可视化界面，您可以将自建MySQL、阿里云RDS MySQL、第三方云数据库的数据实时同步到表格存储。前提条件 使用Tapdata Cloud同步MySQL数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储...
方案背景
本文介绍了表格存储结合实时计算Flink实现大数据分析的样例场景、架构设计等。背景信息 云数据库RDS MySQL基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据库管理...
表数据格式
为了支持增全量存储和处理一体化架构，Transaction Table2.0（简称TT2）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍...
实时存储引擎
数据写入和更新会以Append_only的方式写入实时存储引擎，经过Compact之后构建索引以支持复杂的计算场景。实时存储引擎会有以下瓶颈：在一些大宽表场景下，单行的更新带来了严重的写放大问题。实时存储引擎内存高频换入换出，Cache Miss高的...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
表引擎
VersionedCollapsingMergeTree 在建表语句中新增 Version 列，用于解决CollapsingMergeTree表引擎乱序写入导致无法正常折叠（删除）的问题。SummingMergeTree 用于对主键列进行预先聚合，将所有相同主键的行合并为一行，从而大幅度降低存储...
使用前须知
慢日志和运行日志无写入、存储和查询等费用。当Logstore的计费模式为按使用功能计费时，推送Redis日志到日志服务后，如果您要执行数据加工、投递、从外网接入点流式读取数据操作，由日志服务收取加工计算费用、数据投递费用和外网读取流量...
将Oracle数据同步到表格存储
通过Tapdata Cloud的可视化界面，您可以将Oracle数据实时同步到表格存储（Tablestore）中。前提条件 使用Tapdata Cloud同步Oracle数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储实例和表。具体操作，...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
使用CNFS管理NAS共享存储卷（推荐）
容器服务 Kubernetes 版 支持以NAS共享存储卷的方式挂载和使用CNFS。通过CNFS管理NAS共享存储卷，您可以在多个应用或Pod之间挂载同一个NAS文件系统的相同目录，以解决Pod之间共享数据的问题。本文以StatefulSet类型应用为例介绍如何使用...
归档存储服务等级协议
1.服务范围 阿里云归档存储为用户提供大容量的云归档服务。用户可以调用归档存储提供的API或者SDK通过网络进行数据的上传和下载，并可通过Web控制台进行有限功能的管理。归档存储的存储容量支持弹性扩容，并提供基于云计算模式的按使用量...
极速型NAS计费
最大配置容量为您购买极速型NAS时配置的容量，以固定容量按小时计费，并非按实际写入数据存储容量计费。按量付费：费用=极速型NAS配置容量*极速型NAS每小时单价 打开 NAS资源包 购买页面，选择极速型NAS资源包。标准极速型NAS：每1 GiB极速...
逻辑流操作
扩展操作 操作 逻辑流类型 说明 写入本地存储 前端逻辑流 向浏览器localStorage或sessionStorage中写入变量。详情请参考 写入本地存储。清除本地存储 前端逻辑流 删除浏览器localStorage或sessionStorage中的变量。详情请参考 清除本地存储...
JSON
本文为您介绍JSON格式的使用方法和类型映射。背景信息 JSON 格式能基于JSON结构读写JSON数据。当前，JSON结构是从表结构自动推导而得的。...对于写入对象存储OSS，目前暂不支持写入JSON格式的文件，具体原因请参见 FLINK-30635。
在文件存储 HDFS 版上使用Apache Spark
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...
快速入门
本文描述如何使用Tablestore HBase Client实现一个访问表格存储读写数据的简单程序。说明 当前示例程序使用了HBase API访问表格存储服务，完整的示例程序位于Github的 hbase 项目中，目录位置为 src/test/java/samples/HelloWorld.java。...
冷热分层
本文介绍冷数据的特点和适应场景，通过表格存储Tablestore和Delta Lake结合示例，演示数据的冷热分层。冷热分层可以充分利用计算和存储资源，以低成本承载更优质服务。背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和...
如何优化高并发IM系统架构
介绍如何使用表格存储的主键增列...说明 表格存储 用户群11789671（表格存储技术交流群）和23307953（表格存储技术交流群-2）已满，暂时无法加入。为物联网和时序模型开发者提供的技术交流群有44327024（物联网存储 IoTstore 开发者交流群）。
时序数据存储概述
您可使用物联网平台中数据服务提供的数据存储功能，存储设备时序数据。设备时序数据包括设备上报的物模型（属性、服务和事件）数据和通过时序数据存储规则配置的自定义Topic数据。本文介绍时序数据存储的相关概念和使用。相关概念 名词 ...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
持久化存储
本章将为您介绍如何使用平台能力在自研节点中进行持久化存储，由于 健康检查及恢复机制 的存在，自研节点需要通过本章介绍的功能才能实现数据本地存储后在节点重启等情况下数据不丢失。参数名称 参数说明 需要持久存储的路径 填写软件中...
方案背景
本文以车联网场景中车辆轨迹数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆轨迹数据平台的场景需求以及方案架构。场景需求 在车联网场景中，车辆通过传感器上报时序数据到云端。通过存储、查询和分析这些时序数据，用户可以...
基础数据操作
创建时序表后，您可以通过PutTimeseriesData接口或者时序Writer工具写入时序数据，您还可以迁移 MySQL或 Kafka数据源的数据到表格存储时序表。时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用...
按写入数据量计费
计费项 日志服务按写入数据量计费项如下：写入数据量（原始值）存储空间-日志热存储 存储空间-日志低频存储 存储空间-日志归档存储 外网读取流量 更多信息，请参见 按写入数据量计费模式计费项。计费周期 日志服务计费周期为天，即当天的...
使用Java SDK写入数据时报错The count of attribute ...
问题现象 使用 表格存储 Java SDK写入数据到数据表时出现如下报错：The count of attribute columns exceeds the maximum:128 可能原因 写入数据到 表格存储 数据表时，一行最多支持写入1024列。在使用TableStoreWriter的过程中，客户端会...
产品优势
本文介绍了 表格存储 的优势，包括多模型数据存储、多元化数据索引、多计算生态接入、访问安全性等。多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型...
常见问题（FAQ）
Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且与Apache Spark API完全兼容。Databricks上的Delta Lake允许您根据...
按写入数据量计费模式计费项
无 存储空间-日志低频存储 存储超过30天后，开启智能存储分层功能时，当日志的存储时间超过您所配置的 热存储层数据保存时间 后，日志将转为低频存储（原冷存储），按照低频存储的存储空间计费。低频存储的存储空间包括日志（压缩后）的...
文件网关支持的OSS Bucket类型说明
云存储网关文件网关支持标准（Standard）类型、低频访问（IA）类型和归档存储类型的OSS Bucket。如果没有开启网关的归档管理功能（具体的归档管理设置，请参见 管理共享 里操作步骤6），那么在已归档的文件上发起读操作请求时还是会同步...
数据写入
Lindorm时序引擎支持六种数据写入方法：Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。Native SDK写入 Native SDK适用于Java开发者，Native ...
使用前须知
使用限制 专属MetricStore不支持写入其他数据，只有企业云监控可以写入，只能通过企业云监控修改存储周期，在查询分析、告警、消费等功能上无特殊限制。不支持通过日志服务控制台或API删除通过企业云监控创建的时序库（MetricStore），也不...
数据查询
使用预降采样查询提升查询性能 大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据...
集群吞吐性能测试
将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...
写入文件提示无法满足最小写入副本要求
本文介绍写入文件提示无法满足最小写入副本要求问题的原因和解决方案。具体报错 报错信息如下所示。其中，【X】是当前正在运行的DataNode数量，【Y】是被排除在此操作之外的DataNode数量。org.apache.hadoop.ipc.RemoteException(java.io....
业务连续性
比如，您可以：在应用程序中双写，向当前地域的存储服务上写入数据，同时也向备地域写入数据。这么做的好处是备地域的数据和主地域几乎是一致的，但代价是写入的延迟会增大。向主地域的存储服务中写入数据后，异步地将主服务数据同步到备...
- 产品推荐
- 这些文档可能帮助您