通道服务概述
通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。背景...
版本说明
V1.1.0 2017年11月3日 新特性 TSDB 官方 Client for JAVA 1.0.0 版本发布，提供标准的 API、非阻塞 IO、实例保护、自动批量发送和自动连接管理等；支持删除时间线，可通过 API 和控制台操作，百万时间线秒级删除；实例保护，增加单次请求 ...
2024-04-01版本
对Kafka的写入，支持了对JSON格式中某一列为空数据时不写入NULL的能力，优化了对Kafka存储容量的占用，同时支持了根据Header进行等值过滤的能力，帮您进行数据分流处理；另外，对于Hive Catalog支持了OSS-HDFS作为Hive写入端的存储；对于...
基础HAL
如果用户不是芯片商，该HAL返回空字符串即可 参数说明 参数 数据类型 方向 说明 cid_str char[]输出 存放芯片ID的字符串缓冲区 返回值说明 指向字符串缓冲区的指针 HAL_GetDeviceID（在2.3.1及以后版本中不需要实现）原型 int HAL_...
监控告警与日志问题
问题详情 由于SLS Logger Appender实现逻辑，非Static方法输出不到SLS中。解决方案 您需要使用标准的定义方式 private static final Logger LOG=LoggerFactory.getLogger(xxx.class);数据正常写入（如Kafka能收到Flink写入的数据），但...
Indexing Service系列介绍
您可以根据业务的读写需求选择使用阿里云Elasticsearch内核增强版Indexing Service系列，通过其云上写入托管能力，体验按需购买、按量付费的低成本、高性能的时序日志场景下的Elasticsearch服务。本文主要介绍Indexing Service的适用场景、...
管理健康报告
非主键表：计算公式改为 写入文件总数平均÷写入单个文件所需时间。当平均写入文件耗时较短，同时文件数量较大时，此类表的小文件问题潜在影响也越大。通过上述算法，我们可以量化表的小文件问题，从而有针对性地对Top 20的表进行优化处理...
使用数据复制时间控制（RTC）
重要 以上均为非顺序写入时复制的QPS限制。顺序写入时复制的QPS限制为2,000。如果请求速率过大，会导致复制延迟增加。建议您在上传大量文件时，不要使用顺序前缀的文件名。关于如何将顺序前缀改为随机性前缀的方法，请参见 OSS性能与扩展性...
现代IM系统中的消息系统—架构
基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现全量消息云端存储和索引、百万TPS写入以及毫秒级延迟的消息同步和检索能力。背景 在这个高度信息化的移动互联网...
实时同步常见问题
写入目标数据源时，对源端DDL及DML操作的注意事项 源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？...
原子计数器
将列当成一个原子计数器使用，对该列进行原子计数操作，可用于为某些在线应用提供实时统计功能，例如统计帖子的PV（实时浏览量）等。说明 从Python SDK 5.1.0以上版本开始支持原子计数器功能。前提条件 已初始化Client。具体操作，请参见 ...
数据查询
使用预降采样查询提升查询性能 大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据...
使用Kafka（离线与实时）
本文介绍消息队列Kafka版和自建Kafka数据的写入流程，以及自建Kafka数据的写入示例。Kafka数据写入MaxCompute流程：阿里云全托管Kafka MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
使用DataX同步
record 控流参数，限制通道的传输记录个数，-1表示不限制。capacity和byteCapacity两个参数决定了每个channel能缓存的记录数量和内存占用情况。如果要调整相应参数，您需要按照DataX实际的运行环境进行配置。例如MySQL中每个record都比较大...
同步时源库为PolarDB-X 2.0的注意事项及限制
同步对象仅支持数据表，不支持非数据表的对象。不支持自动调整同步对象，如果对同步对象中的数据表进行重命名操作，且重命名后的名称不在同步对象中，那么这部分数据将不再同步到目标Kafka集群中。如需将修改后的数据表继续数据同步至目标...
多值数据写入
本文介绍多值数据写入的写入模式及其响应内容。时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型...
领域模型概述
重要 此处的同步并不代表RPC的编程接口方式，RPC也可以有异步非阻塞调用的编程方式，但本质上仍然是需要在指定时间内得到目标端的直接响应。异步通信模型 异步消息通信模式下，各子系统之间无需强耦合直接连接，调用方只需要将请求转化成...
原子计数器
将列当成一个原子计数器使用，对该列进行原子计数操作，可用于为某些在线应用提供实时统计功能，例如统计帖子的PV（实时浏览量）等。前提条件 已初始化Client，详情请参见 初始化。已创建数据表并写入数据。限制 只支持对整型列的列值进行...
查询结果不符合预期的常见原因
只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现数据写入后非预期不可见的情况。但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、...
原子计数器
将列当成一个原子计数器使用，对该列进行原子计数操作，可用于为某些在线应用提供实时统计功能，例如统计帖子的PV（实时浏览量）等。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。限制 只支持...
RDS MySQL内存使用问题
缓冲池（Buffer Pool）问题 所有表的数据页都存放在缓冲池中，查询执行的时候如果需要的数据页直接命中缓冲池，就不会发生物理I/O，SQL执行的效率较高，缓冲池采用LRU算法管理数据页，所有的脏页放到Flush List链表中。RDS MySQL的InnoDB ...
二级索引计量计费
操作场景 计费规则 通过PUT操作写入一行数据 非覆盖写场景（此行数据以前不存在）如果数据表的非主键列上建有索引，但是此行数据不包含索引列（即此行不会生成索引行），则只产生1个读CU。如果此行数据所在的列建有索引，并且可以根据此行...
C SDK
功能特性 异步 异步写入，客户端线程无阻塞。聚合&压缩上传 支持按超时时间、日志数、日志size聚合数据发送。支持lz4压缩。支持上下文查询 同一个客户端产生的日志在同一上下文中，支持查看某条日志前后相关日志。并发发送 支持可配置的...
配置并管理实时同步任务
实现将多张表数据写入到同一个Topic中，或统一将源端某固定前缀的表名在写入目标Topic时更新为其他前缀。支持通过正则表达式转换写入的Topic名，还支持使用内置变量拼接目标Topic名。配置逻辑请参见：设置来源和同步规则。设置目标Topic。...
实时物化视图
AnalyticDB PostgreSQL版 提供了实时物化视图功能，相较于普通（非实时）物化视图，实时物化视图无需手动调用刷新命令，即可实现数据更新时自动同步刷新物化视图。当基表发生变化时，构建在基表上的实时物化视图将会自动更新。您还可以在...
原子计数器
将列当成一个原子计数器使用，对该列进行原子计数操作，可用于为某些在线应用提供实时统计功能，例如统计帖子的PV（实时浏览量）等。前提条件 已初始化Client，详情请参见 初始化。已创建数据表并写入数据。限制 只支持对整型列的列值进行...
原子计数器
将列当成一个原子计数器使用，对该列进行原子计数操作，可用于为某些在线应用提供实时统计功能，例如统计帖子的PV（实时浏览量）等。前提条件 已初始化Client，详情请参见 初始化。已创建数据表并写入数据。限制 只支持对整型列的列值进行...
应用场景
该场景可实现：实时接入实时计算 支持每秒实时写入数万至数百万条，实时更新实时可见；报表查询最快毫秒/秒级响应。与BI生态高度兼容 高度兼容MySQL协议以及SQL：2003语法标准，支持Tableau、帆软、Quick BI等数十款主流BI工具。多源联合...
写入数据
1499158925 value Long,Double,String,Boolean 是 无 数据点值 42.5,true tags Map 否 可以包含大小写英文字母、中文、数字，以及特殊字符-_./():,[]=‘#Tagk 和 Tagv 是字符串键值对，至少一个键值对 {“host”:”web01”}，非字符串类型...
功能概述
SQL查询 使用控制台 使用SDK 使用JDBC JDBC连接表格存储 通过Hibernate使用 通过MyBatis使用 使用Go语言驱动 通道服务 表格存储 提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道，可以实现对表中历史存量和新增数据的消费...
原子计数器
将列当成一个原子计数器使用，对该列进行原子计数操作，可用于为某些在线应用提供实时统计功能，例如统计帖子的PV（实时浏览量）等。前提条件 已初始化Client，详情请参见 初始化OTSClient。已创建数据表并写入数据。限制 只支持对整型列的...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
功能优势
为了让您对非结构化数据拥有更多的自主控制权，您可以把非结构化数据保存在OSS或者图片服务器上（下图使用OSS），非结构化数据的保存地址即URL存储在分析型数据库MySQL版中，整体架构如下所示。通过分析型数据库MySQL版控制台注册特征提取...
HAL说明
抽象不同的嵌入式目标板上操作系统对SDK的支撑函数，包括网络收发、TLS/DTLS通道建立和读写、内存申请释放、互斥量加锁解锁等。说明 在任何跨平台移植时，都需要实现硬件平台抽象层。V2.3.0及以前版本 所有HAL层函数的声明都在 include/iot...
配置说明
bucket.count=3#写入数据表时对缓冲区的刷新时间间隔，默认值为10000，单位为毫秒。flush.Interval=10000#以下为脏数据处理相关配置。在解析Kafka Record或者写入数据表时可能发生错误，您可以可通过以下配置进行处理。指定容错能力，可选...
局部事务
复杂场景：邮箱场景 使用局部事务功能，您可以实现对同一个用户邮件的原子操作。为了能正常使用局部事务功能，在一张数据表上创建两张索引表，其主键列请参见下表。下表中使用Type列区分数据表和不同的索引表，不同的索引行使用IndexField...
JVM监控内存详情说明
非堆内存详情 ARMS展示的非堆内存包括元空间（Meta Space）、压缩类空间（Compressed Class Space）和代码缓冲区（Code Cache）三个区域的总和。受限于MemoryMXBean的工作原理，ARMS展示的非堆内存并不直接等同于Heap之外的部分，虚拟机...
写入语法
INSERT INTO INSERT INTO 用于实时写入数据。语法定义：INSERT INTO tbl_name[(col_name,.)]VALUES({CONSTANT|NULL|DEFAULT},.),(.),.判断数据冲突与否的依据是主键，不定义主键也可以使用 INSERT INTO。如遇数据重复（主键冲突），默认...
- 产品推荐
- 这些文档可能帮助您