写入本地存储
当前会话生效 设置写入的本地存储是否在当前会话生效。选择是，则将属性写入浏览器的sessionStorage 进行存储。选择否，则将属性写入浏览器的 localStorage 进行存储。异常说明 错误码 说明 解决方案 RESOLVE_FAILED 属性名或属性值设置中...
多元索引介绍
当在数据表中写入数据时，数据会先写入数据表中，数据写成功后会立即返回用户写成功，同时另一个异步线程会从数据表中读取写入的数据然后写入到多元索引，采用异步方式创建多元索引不会降低表格存储的写入能力。目前多元索引的延迟大部分在...
缓冲区管理
主节点Buffer Pool中的数据页，根据是否包含未来数据（即只读节点的回放位点之后新产生的数据），可以分为两类：可以写入存储的数据页和不能写入存储的数据页。该判断依赖以下两个位点：Buffer最近一次修改对应的LSN，即Buffer Latest LSN...
批量或异步插入数据
说明 修改 async_insert_busy_timeout_ms（默认值：1，单位：秒）或 async_insert_max_data_size（默认值：100，单位：KB）设置时，在数据被写入存储的分区后，数据就可以供查询使用。通过 wait_for_async_insert 设置，您可以配置是否希望...
功能发布记录
2023-04-12 全部地域 将MySQL数据同步到表格存储 将Oracle数据同步到表格存储 时序模型支持时序Writer工具 表格存储支持通过时序Writer将时序数据写入时序表，时序Writer还支持多表写入、写入状态统计、行级别回调和自定义配置功能。...
配置审计服务关联角色
当您设置对象存储OSS的存储空间（Bucket）用于接收资源快照时，配置审计需向您指定的存储空间写入快照文件，需要通过服务关联角色获取存储空间的写入权限。当您设置日志服务SLS的日志库（Logstore）用于接收资源日志时，配置审计需向您指定...
图扑案例
建设效果 目前图扑软件联合阿里云端支撑泛在电力物联网及智能楼宇行业客户实现终端设备传感器云端数据采集、存储、检索，实现并发量100万TPS以上的传感器采集数据的并发写入，最高存储时序时间线40万能力，节约数据存储和系统维护成本达6成...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
准备工作
用于访问表格存储服务，将原始数据和聚合结果写入表格存储的数据表中。说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格...
创建投递任务
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
创建投递任务
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
键值对操作
使用该节点以键值对形式进行数据的写入、获取或删除操作。节点配置 配置项 说明 节点名称 设置节点名称。支持中文汉字、英文字母、数字和下划线（_），长度不超过30个字符。操作类型 可选：KV存储获取 KV存储写入 KV存储删除 有关KV存储...
OpenStore智能存储引擎介绍
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持根据实际存储数据量按量计费，无须提前预留集群存储容量，真正做到存储Serverless。OpenStore存储支持自定义冷热存储版本与智能混合...
写入会话信息
配置属性 写入会话信息操作属性由以下部分组成，逻辑流通用属性部分请参考 逻辑流操作通用属性：基础属性 示例 说明 属性名 用于设置写入本地存储的属性名。此处需要填入 CHAR 类型常量或变量表达式。设置属性值 用于设置写入本地存储的...
使用SDK
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
通过OpenStore智能混合存储实现海量数据存储
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持自定义冷热存储与智能混合存储版本，智能混合存储可突破传统冷热分离架构，大幅降低集群数据接入复杂度的同时，进一步降低云上海量...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
文件存储 HDFS 版和数据库MySQL双向数据迁移
hdfs-dir 文件存储 HDFS 版 的写入目录。检查迁移结果。执行 hadoop fs-ls/mysql2sqoop/table/sqoop_migrate 命令，获取迁移文件信息。执行 hadoop fs-cat/mysql2sqoop/table/sqoop_migrate/part-m-00000 命令查看文件中的内容。如果part-m...
现代IM系统中的消息系统—架构
消息数据写入存储库后，会被近实时的构建索引，索引包括文本消息的全文索引以及多字段索引（发送方、消息类型等）。对于在线的设备，可以由消息服务器主动推送至在线设备端。对于离线设备，登录后会主动向服务端同步消息。每个设备会在本地...
分场景排错指引
输出条件 参数 涉及的下游存储 一次批量写入的条数。batchSize DataHub Tablestore MongoDB Phoenix5 RDS MYSQL 云原生数据仓库AnalyticDB MySQL版3.0 ClickHouse InfluxDB 每次批量写入数据的最大数据条数。batchCount DataHub Odps ...
基本概念
类型 说明 区别 本地表（Local Table）数据只会存储在当前写入的节点上，不会被分散到多台服务器上。本地表的写入和查询，受限于单台服务器的存储、计算资源，不具备横向拓展能力。分布式表的写入和查询，可以利用多台服务器的存储、计算...
使用场景
冷数据归档：可以将冷数据从本地或者ECS实例中通过云存储网关写入OSS的低频和归档Bucket中，释放本地空间，提高存储的效费比。云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性...
共享弹性存储系列介绍
优势 写入性能提升100%，避免了副本写入的开销。存储成本倍数级降低，数据只保存一份。副本秒级快速扩缩容和故障迁移，轻松应对高峰流量。适用场景 日志分析场景 具有写入吞吐量高、数据存储量大的特点，使用日志增强版共享弹性存储实例能...
数据查询
使用预降采样查询提升查询性能 大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时...Lindorm Ganos引擎在时空数据的写入速度、存储成本、查询性能以及易用性上优势较为明显，能够满足车联网、出行等场景中对时空数据的处理需求。
表操作篇
前几个月的表由于不再写入新数据或者写入的新数据量较少，查询的请求较多，因此前几个月的消费记录表可以设置较小的预留写吞吐量，较大的预留读吞吐量。而历史超过一年的消费记录表，由于再被使用的可能性不大，可以设置较小的预留读/写...
Prometheus Remote Write配置
Prometheus的remote_write的所有配置项可以从 Prometheus官网 得到，本文这里只介绍Prometheus对接阿里云TSDB时的写入配置最佳实践。为了提高写入效率，Prometheus在将采集到的samples写入远程存储之前，会先缓存在内存队列中，然后打包...
2024-04-01版本
对象存储OSS StarRocks连接器支持JSON类型 满足您对JSON类型数据的写入需求。暂无 SLS连接器支持将NULL值作为空字符串写入日志 帮助您更轻松地处理后续数据中包含NULL值的字段。日志服务SLS 主要缺陷修复 修复了ClickHouse结果表指定...
常见问题
本文介绍了文件存储NAS产品简介中的常见问题。什么是文件存储NAS？阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
深度解析Lindorm搜索索引（SearchIndex）特性
WAL保序 通过隐藏的时间戳属性，保证在宽表中先写入的数据先写入搜索，后写入的数据后写入搜索，确保宽表和搜索的数据一致性，彻底解决LilyIndexer存在的数据错乱问题。全量构建快 对于已有的历史数据，可以借助LTS的全量任务运行机制，...
查看选项
storage_class 指定写入OSS文件的存储类型。可选参数为：Standard（默认值）：标准存储 IA：低频访问存储 Archive：归档存储 关于存储类型的更多详情请参见 存储类型概述。public_bucket 指定用户通过匿名方式访问存储空间，该选项仅对ACL...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
使用DataX同步
通过DataX，您可以将MySQL数据库中的全量数据同步到表格存储（Tablestore）的数据表中。DataX只支持同步全量数据，不支持同步增量数据。前提条件 已创建表格存储实例并在实例详情页面获取实例的服务地址（Endpoint）。具体操作，请参见 ...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
存储空间地域属性
OSS存储空间（Bucket）地域属性分为有地域属性和无地域属性。有地域属性Bucket 有地域属性Bucket适用于OSS通用场景。您在创建Bucket时需选择有地域属性，并指定Bucket所在的具体Region，例如华东1（杭州）。更多信息，请参见 访问域名和...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。...整个业务链路中，您无需导入导出数据，写入的数据统一存储在Hologres中，无冗余存储，节省计算及存储资源。一套系统就能满足您的多种需求，节省了开发和运维的成本。
集群吞吐性能测试
hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-write-nrFiles 500-size 4GB-bufferSize 8388608-resFile/tmp/TestDFSIOwrite.log 执行以下命令查看 文件存储 HDFS 版 已写入的文件数量...
- 产品推荐
- 这些文档可能帮助您