时序引擎应用开发简介
4.数据查询 时序引擎提供标准的SQL访问能力，并根据时序特性扩展了SQL时序特性，支持降采样、聚合、最新值查询等时序特性的查询能力。5.连续查询 连续查询应用于大数据查询的场景。通过创建连续查询对新写入的数据预聚合处理，减少实时查询...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
配置DataWorks平台GDB Writer
本文为您介绍GDB Writer支持的数据类型、字段映射和数据源等参数及配置示例。说明 GDB Writer仅支持使用 独享数据集成资源组，不支持使用默认资源组和 自定义资源组。开始配置GDB Writer插件前，请首先配置好数据源，详情请参见 配置Graph ...
连接方式概述
遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。在 OceanBase 数据库的 MySQL 模式下，用户可以使用 PyMySQL 驱动为 Python 提供与 OceanBase 数据库的连接。Python 2.x 可以通过驱动 MySQL-python 连接 ...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
简单上传示例
如果120秒内无网络传输，服务端将自动关闭连接，该Writer将不可用，需要重新创建Writer执行数据写入。recordWriter.write(record);} recordWriter.close();uploadSession.commit(new Long[]{0L});System.out.println("upload success!} ...
语法
语法 INSERT[INTO|OVERWRITE]table_name[(column[,.])]query INSERT INTO用于插入新数据，而INSERT OVERWRITE用于覆盖老数据，插入新数据，执行完成之后的效果是老数据全部被删除，表中的...示例 数据写入OSS 数据写入Table Store 数据写入RDS
数据写入方式概述
云原生数据仓库AnalyticDB PostgreSQL版 提供多种数据写入和加载方式，包括INSERT语句、COPY命令、OSS外表的并行写入和使用Client SDK写入四种方式。其中INSERT语句和COPY命令的写入数据均通过Master节点，INSERT语句每秒支持3 MB的数据...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
基础术语
数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间戳与源实例当前时间戳的差值。同步延迟反映了目标实例跟源实例的数据时间差。当同步延迟为 0 时，表示源实例与目标实例数据完全一致。数据写入延迟仅在增量同步...
定时SQL Exactly-Once
当您将数据写入到相同的Hash Key中时，如果待写入数据的Sequence ID大于Hash Key中记录的最近一次写入的数据的Sequence ID，则日志服务将允许数据写入，并更新Hash Key中的Sequence ID。基于幂等写入的定时SQL Exactly-Once 定时SQL采用幂...
数据写入
Lindorm时序引擎支持六种数据写入方法：Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。Native SDK写入 Native SDK适用于Java开发者，Native ...
使用扩展属性定制列存索引
3：Tradeoff，与kSkip4K相比较更进一步，当写入的数据量小于1 MB（IMCI IO单位大小）时等价于ForPerformance，写入的数据量大于或等于1 MB时，尽可能地将数据分割到不同的文件中。未指定write_policy时，默认使用全局参数 loose_imci_...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
基础数据操作
时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用GetTimeseriesData接口或者SQL查询时序数据。如果为时序表创建了分析存储，您还可以使用SQL查询与分析时序数据。写入时序数据 创建时序表后，请根据实际场景...
创建同步ADS
即数据写入DataHub中后若干秒内将会同步到ADS，网络异常的情况可能造成重复数据Update，但是保证数据At least once语义。4）ADS的写入性能直接影响同步的性能，若ADS实例性能过低，可能导致DataHub同步较慢，数据堆积，严重情况可能因为...
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
写入时空对象
在索引表创建完成、时空对象创建完成后，即可调用数据写入接口将数据写入到Lindorm Ganos中。单条记录写入 Lindorm Ganos通过GeoTools API中的SimpleFeatureWriter写入单条数据，SimpleFeatureWriter支持事务，可以通过DataStore的...
创建/刷新物化视图支持批量写入
数据写入：将上一步中扫描到的数据写入到一个新的物化视图或表中。PolarDB PostgreSQL版 对数据写入步骤引入了批量写入的优化。当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够一定数量的元组...
写入时空对象
在索引表创建完成、时空对象创建完成后，即可调用数据写入接口将数据写入到HBase Ganos中。单条记录写入 HBase Ganos通过GeoTools API中的SimpleFeatureWriter写入单条数据，SimpleFeatureWriter支持事务，可以通过DataStore的...
数据传输服务（上传）场景与工具
流式数据通道：提供了以流式的方式把数据写入MaxCompute的能力。实时数据通道：DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，支持流式数据归档至MaxCompute。功能介绍 ...
列存索引配置参数说明
本文介绍了与列存索引相关的参数，以及参数说明内容。参数 说明 loose_imci_auto_update_statistic 当统计信息过旧时，列存索引（IMCI）优化器是否重新...大于4 KB的数据在写入时完全不考虑4 KB Extent，每次写入最多产生1个16 KB的内部碎片。
数据读写
类别 限制项 说明 备注 Project 写入流量 原始数据写入流量最大为100GB/min。超过限制时，返回状态码403，提示Inflow Quota Exceed。如果您有更大的使用需求，请提 工单 申请。写入次数 写入次数最大为600000次/min。超过限制时，返回状态...
Kafka兼容说明
本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看连接地址。创建流表。如何创建，请参见 流表。获取Kafka Topic名称。Kafka Topic名称的格式为：LINSTREAM-+Database名+“.”+流...
产品功能
高效压缩存储 TSDB 使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。时序数据计算能力 TSDB 提供专业全面的时序数据计算函数，支持降采样、数据插值和空间聚合...
基本操作
Transaction Table2.0 支持更多能力，同时在DDL，DML和DQL以及数据管理上都...DDL操作 表操作 分区和列操作 CLONE TABLE 数据写入 SQL写入 Flink近实时写入 数据查询：Time travel查询与Incremental查询 数据合并：COMPACTION 数据备份与恢复
应用开发概览
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
输出数据
输出的数据写入已有数据表中。重要 分区表：每次写入会删除表中原有数据，并插入新数据，请谨慎操作。非分区表：覆盖数据：每次写入会覆盖之前的数据，请谨慎操作。追加数据：主键/约束不冲突时，插入数据；主键/约束冲突时，则会报错。...
引擎功能
数据写入 支持以下方式进行数据写入：使用SQL的INSERT语句（推荐使用JDBC）。兼容InfluxDB的写入Line Protocol。兼容OpenTSDB协议的写入API。支持 Prometheus 以 Remote Storage 的形式将监控数据写入。数据查询 支持通过SQL进行数据查询，...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
行协议写入
本文介绍通过InfluxDB行协议将数据写入Lindorm时序引擎的方法和示例。背景信息 Lindorm时序引擎兼容InfluxDB的行协议（Line Protocol）格式。对于通过行协议发送数据的应用或设备，都可以将数据写入Lindorm时序引擎中。支持的数据类型 行...
通过Logstash导入数仓版
Logstash是一个开源的服务器端数据处理管道，起初用于将日志类数据写入ES中。随着开源社区的不断发展，Logstash可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到您需要的“存储端”。以日志数据为例，由于 AnalyticDB MySQL ...
配置Hologres输出组件
写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：Hologres 0.8版本推荐选择SDK模式。Hologres 0.9及之后版本推荐选择SQL模式。加载策略 向目标数据源（Hologres数据源）...
配置ClickHouse输出组件
解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写准备语句 和 填写完成语句，适用场景说明如下：填写准备语句：导入前执行的SQL脚本。例如数据同步至ClickHouse...
静态脱敏
系统支持在代码任务中引用脱敏算法函数脱敏字段，将脱敏后的数据写入开发环境或生产环境的目标表。静态脱敏入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 静态脱敏 页面。静态脱敏操作指引 步骤一：安装算法包 在...
创建物化视图的跨机并行加速和批量写入
数据写入：将上一步中扫描到的数据写入到一个新的物化视图或表中。PolarDB PostgreSQL版 对上述两个步骤分别引入了ePQ并行扫描和批量数据写入的优化。当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ...
静态脱敏
系统支持在代码任务中引用脱敏算法函数脱敏字段，将脱敏后的数据写入开发环境或生产环境的目标表。静态脱敏入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 静态脱敏 页面。静态脱敏操作指引 步骤一：安装算法包 在...
- 产品推荐
- 这些文档可能帮助您