实时物化视图
例如，当某张10亿数据量的事实表JOIN一张1万数据量的维度表的实时物化视图中，10亿级的事实大表通常可以获得很高的写入性能，而1万数据量的较小维度表的数据变化由于增量计算时对结果集的影响存在放大，写入性能会成比例（写入放大的比例）...
数据建模诊断
复制表会在实例的每个存储节点保存一份完整的表数据，您在使用其他表和复制表JOIN时，不需要在网络间对复制表进行重分发，从而提升查询的性能，但是复制表在写入数据时会存在写入放大的问题，影响 AnalyticDB MySQL版 整体写入性能。...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
现代IM系统中的消息系统—架构
而在群这个场景下，写入会被更加的放大，如果这个群拥有N个参与者，那每条消息都需要额外的写N次。写扩散同步模式的优点是，在接收端消息同步逻辑会非常简单，只需要从其同步Timeline中读取一次即可，大大降低了消息同步所需的读的压力。其...
Modbus驱动
如放大10倍（即真实的值为1000），则放大因子为10。数据上报方式 有两种数据上报方式。按时上报：选择 按时上报 后，根据步骤9中为子设备设置的 数据采集间隔，采集数据并上报。变更上报：采集后的值发生变化后才会上报。返回 实例详情 ...
写入数据
表格存储 提供了单行插入、单行更新和批量写入的写入方式用于写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。在高并发应用中写入数据时，您可以配置行存在性条件或者列条件实现按照指定条件更新数据...
存储空间占用情况
在小文件或者小数据块写入的情况下会存在checksum数据放大的情况，属于正常现象。重要 checksum数据的空间占用情况作为OSS标准存储容量进行统计，不支持通过hdfs du命令进行统计和查看。OSS-HDFS 文件空洞占用 OSS-HDFS在某些场景下支持...
时间序列数据库 TSDB
时间序列数据库产品系列是是广泛应用于物联网（IoT）设备监控系统，企业能源管理系统（EMS），生产安全监控系统，电力检测系统等行业场景的专业数据库产品，提供百万高效写入，高压缩比低成本存储、预降采样、插值、多维聚合计算，查询结果...
调优集群性能
目前虽然有批量写入并发数量限制（例如最多同时存在2个批量写入SQL），但是每个Shard需要一个线程进行批量写入相关操作，仍旧可能导致CPU使用率增高。INSERT INTO SELECT 短时间内大量数据写入，当后台Build任务堆积时会导致实时数据增多，...
写入数据
如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。前提条件 已初始化Client，详情请参见 初始化。已创建数据表并写入数据。插入单行数据 调用PutRow接口新写入一行数据。如果该行已存在，则先删除原行数据（原...
写入数据
如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。前提条件 已初始化Client，详情请参见 初始化。已创建数据表并写入数据。插入单行数据 调用PutRow接口新写入一行数据。如果该行已存在，则先删除原行数据（原...
写入数据
如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。前提条件 已初始化Client，详情请参见 初始化。已创建数据表并写入数据。插入单行数据 调用PutRow接口新写入一行数据。如果该行已存在，则先删除原行数据（原...
使用写入高可用特性
写入高可用是阿里云Elasticsearch团队为提升集群写入稳定性而引入的新特性。即通过异步写入高可用架构实现读写分离，以保证在高并发写入情况下集群的稳定性。同时写入高可用特性还加入了服务代理和消息队列等组件。本文介绍写入高可用特性...
数据写入
Lindorm时序引擎支持六种数据写入方法：Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。Native SDK写入 Native SDK适用于Java开发者，Native ...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
写入或更新调优指南
离线写入如MaxCompute写入Hologres时是表锁，实时写入大多数是Fixed Plan写入为行锁（例如Flink实时写入或者DataWorks数据集成实时写入），如果对同一个表并发执行离线写入和实时写入，那么离线写入就会拿表锁，实时写入会因为等锁而导致...
INSERT OVERWRITE SELECT
本文介绍 云原生数据仓库AnalyticDB MySQL版 表数据的高性能写入方式 INSERT OVERWRITE SELECT，包括应用场景、功能原理、注意事项、语法和异步写入应用。功能原理 INSERT OVERWRITE SELECT 会先清空分区中的旧数据，再将新数据批量写入到...
Indexing Service系列介绍
您可以根据业务的读写需求选择使用阿里云Elasticsearch内核增强版Indexing Service系列，通过其云上写入托管能力，体验按需购买、按量付费的低成本、高性能的时序日志场景下的Elasticsearch服务。本文主要介绍Indexing Service的适用场景、...
数据写入方式概述
云原生数据仓库AnalyticDB PostgreSQL版 提供多种数据写入和加载方式，包括INSERT语句、COPY命令、OSS外表的并行写入和使用Client SDK写入四种方式。其中INSERT语句和COPY命令的写入数据均通过Master节点，INSERT语句每秒支持3 MB的数据...
SDK多值写入
本文通过示例代码指导您使用多值模型写入数据。详细示例请参见 Aliyun TSDB SDK for Java 中的 test/example/SampleOfMultiField和test/TestHiTSDBClientMultiFieldFeatures。注意：多值模型仅在0.2.0版本及以上的SDK支持。关于最新SDK版本...
SDK多值写入
本文通过示例代码指导您使用多值模型写入数据。详细示例请参见 Aliyun TSDB SDK for Java 中的 test/example/ExampleOfMultiField和test/com.aliyun.hitsdb.client/TestHiTSDBClientMultiFieldFeatures 。说明 多值模型仅在0.2.0版本及以上...
多值数据写入
本文介绍多值数据写入的写入模式及其响应内容。时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型...
写入
Timestream提供了数据点和元数据的写入接口。数据点写入 Timestream提供了同步和异步两种数据点写入方式。其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 ...
按写入数据量计费
按写入数据量计费，写入数据后享受30天免费存储权益，除写入数据费用外，仅在数据存储超过30天及外网读取时产生额外费用。特性 说明 计费说明 按量付费，即后付费，是指您购买的资源按照实际用量结算，在每个结算周期生成账单并从账户中...
写入数据
请求路径和方法 请求路径 请求方法 描述/api/put POST 一次写入多个数据点。请求参数 名称 类型 是否必需 描述 默认值 举例 summary 无类型 否 是否返回摘要信息。false/api/put?summary details 无类型 否 是否返回详细信息。false/api/...
写入本地存储
本文介绍逻辑流中写入本地存储操作的主要使用方法。简介 写入本地存储操作可用于在当前逻辑流执行环境中写入浏览器本地存储。环境限制 写入本地存储操作仅用于 Web 场景下（PC、H5）前端逻辑流环境。配置属性 写入本地存储操作属性由以下...
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
使用Flink写入时序引擎
Flink可以处理实时数据流，并将处理结果写入Lindorm时序引擎，以实现实时数据监控等场景。本文介绍如何将Flink上实时的数据处理结果写入到时序引擎。前提条件 已开通实时计算Flink版或者已有自建Flink。实时计算Flink版的开通，请参见 开通...
近实时增量导入
数据流入Transactional Table 2.0主要存在近实时增量写入和批量写入两种场景，本文为您介绍高并发近实时增量写入场景的架构设计。实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了...
基础数据操作
创建时序表后，您可以通过PutTimeseriesData接口或者时序Writer工具写入时序数据，您还可以迁移 MySQL或 Kafka数据源的数据到表格存储时序表。时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用...
写入会话信息
本文介绍逻辑流中写入会话信息操作的主要使用方法。简介 写入会话信息操作可用于在当前会话中写入内容。环境限制 写入会话信息操作仅用于后端逻辑流环境。配置属性 写入会话信息操作属性由以下部分组成，逻辑流通用属性部分请参考 逻辑流...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
Flink数据导入
sink.buffer-flush.interval Flink批量写入数据至 AnalyticDB MySQL版 的最大间隔时间，即执行下一次批量写入数据前的最大等待时间，可选取值如下：0：时间间隔为0时，批量写入数据功能仅考虑 sink.buffer-flush.max-rows 配置，即只要...
如何提升写入效率
本文介绍如何通过优化写入的策略提升TSDB 写入效率：请使用“并发+批量”的方式写入数据。推荐并发大于 256，推荐批量数大于 400。如果通过SDK提交可以遵循一下写入优化的方面和原则：SDK实例创建和销毁：TSDB SDK在一个进程中只需要创建...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
整库离线同步至OSS
说明 当上一步骤中 写入单个文件 开关为关闭状态时，即单表写入OSS多个文件时，此处的OSS文件名为写入OSS文件的前缀名称，实际写入的文件名会添加随机字符串。功能 描述 文件建立方式 写入OSS时的文件建立方式，支持写入已有文件或自动建立...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
- 产品推荐
- 这些文档可能帮助您