将时空数据写入宽表引擎
写入数据，使用Kafka客户端写入数据到数据流表，具体操作请参见 通过开源Kafka客户端写入Lindorm流引擎数据。完整的代码示例如下：import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer....
通过开源Kafka客户端写入Lindorm流引擎数据
指定数据流表的物理数据存储在某个Topic上 String topic="log_topic;props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS...
创建数据流
表名 输入数据流写入数据的目标表。覆盖目标表 打开或关闭 覆盖目标表 开关。开关关闭：直接写入数据。开关打开：如果表已存在，先清空目标表或者分区数据，再写入数据。文件格式 选择文件存储格式。支持4种文件存储格式：Parquet、ORC、...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
性能测试
以时空轨迹数据为7.6 GB为例，写入耗时的测试结果如下：数据库 写入耗时 云原生多模数据库 Lindorm Ganos引擎 7分钟 开源GeoMesa（HBase）13分钟 云数据库MongoDB分片集群 34分钟 创建时空索引后的时空数据存储空间占用情况 创建时空主键...
Kafka兼容说明
例如数据库default中一个名为t1的流表，对应的Kafka Topic的名称为-LINSTREAM-default.t1。重要 如果Database或流表名称中含有下划线（_），则需要将下划线替换为短横线（-）。将流表中的数据写入Kafka Topic。具体操作，请参见 通过开源...
业务切换流程
注意事项 由于执行业务切换操作需要停止数据库写入并暂停业务，请选择业务低峰期操作以降低影响。为便于区分会话信息以及提升数据安全性，建议单独创建并授权一个数据库账号以供数据迁移使用。操作步骤 等待数据迁移任务的进度变更为 增量...
业务切换流程
注意事项 由于执行业务切换操作需要停止数据库写入并暂停业务，请选择业务低峰期操作以降低影响。为便于区分会话信息以及提升数据安全性，建议单独创建并授权一个数据库账号以供数据迁移使用。操作步骤 等待数据迁移任务的进度变更为 增量...
基于Indexing Service实现数据流管理
注意事项 因为数据流写入依赖时间字段@timestamp，所以请确保写入数据中存在@timestamp 字段的数据，否则数据流写入过程中会报错。如果源数据中没有@timestamp 字段数据，您可以使用 ingest pipeline 指定_ingest.timestamp，获取元数据值...
创建账号和数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
Azure Cosmos DB API for MongoDB迁移至阿里云
使用MongoDB数据库自带的备份还原工具，您可以将Azure Cosmos DB API for MongoDB迁移至阿里云。注意事项 该操作为全量迁移，为避免迁移前后数据不一致，迁移开始前请停止数据库写入。如果您之前使用 mongodump 命令对数据库进行过备份操作...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
创建数据库账号
如果不需要数据库写入操作，请分配只读权限。为保障数据库的安全，请将数据库账号的密码设置为强密码，并定期更换。登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在页面左侧单击 实例列表>MySQL。找到目标实例，单击 操作 列...
全球多活使用限制
写入条件不满足 子实例A在1.1时刻收到命令（setnx key->value_A），并于1.2时刻将数据写入至数据库。子实例B在2.1时刻收到命令（setnx key->value_B），并于2.2时刻将数据写入至数据库。在3时刻子实例间执行数据同步将形成冲突。说明 可能...
全球多活使用限制
写入条件不满足 子实例A在1.1时刻收到命令（setnx key->value_A），并于1.2时刻将数据写入至数据库。子实例B在2.1时刻收到命令（setnx key->value_B），并于2.2时刻将数据写入至数据库。在3时刻子实例间执行数据同步将形成冲突。说明 可能...
创建账号
CREATE DATABASE 命令默认通过复制template1来创建数据库。通过该方式创建的数据库，Public Schema的Owner均为第一个高权限账号。第一个高权限账号的Comment开头会包含说明：template1 public schema owner。普通账号 可以通过控制台、API...
自媒体：易撰
客户价值 在获取数据并写入数据库时并发较高，MySQL单机数据库无法满足写入并发要求，PolarDB-X+RDS满足了高并发写的诉求，实现了更高的业务承载量。分钟级计算节点升配和增加节点，解决客户业务高峰的资源瓶颈。高弹性海量存储，解决客户...
限制说明
事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
查询结果不符合预期的常见原因
在执行写入操作时，数据会被先写入预写日志（Write-Ahead-Log，WAL）中，再写入数据库。只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
部分参数默认值调整说明
自数据库内核小版本V1.1.28（PostgreSQL 11）和V14.5.1.1（PostgreSQL 14）起，PolarDB PostgreSQL版 调整了部分参数的默认值。简介 PolarDB PostgreSQL版 调整了部分参数的默认值，仅针对新建集群生效，参数默认值的调整可以明显提升数据...
一键实时同步至MaxCompute
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
一键实时同步至MaxCompute
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
命令行界面
clear[database|db|retention policy|rp]清除当前数据库或保留策略的上下文。connect在不退出Shell的情况下，连接到其它服务器。默认情况下，influx 连接到 localhost:8086。如果您没有指定host或者port，influx 假设未指定的参数使用默认...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
TOP Objects
平均逻辑写 数据库对象平均每次执行的逻辑写入。总逻辑IO 重启实例或清理缓存后数据库对象总的逻辑IO消耗。平均逻辑IO 数据库对象平均每次执行的逻辑IO消耗。TOP Objects列表详情：若需要查看某一个具体数据库对象中每个步骤的性能消耗，...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
HTTP API
db=database_name 对依赖数据库的查询是必需的（大多数 SELECT 查询和 SHOW 查询需要此参数）。设置查询的目标数据库 epoch=[ns,u,µ,ms,s,m,h]可选。返回具有特定精度的epoch时间戳。TSDB For InfluxDB®默认返回RFC3339格式的时间戳，...
数据集成侧同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
流表
流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间，默认为7天。流表中的时间属性：表示在某一时间、某个地点、某人发生了某一事件。时间属性包含了摄取时间、事件时间...
一键实时同步至DataHub
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
命令行界面介绍
Influx的命令行界面（CLI），它是一个用来跟数据库进行交互的轻量级工具。有关如何下载使用CLI，可参考文档命令行界面。CLI默认通过端口3242向TSDB For InfluxDB® HTTP API发送请求，直接与TSDB For InfluxDB®通信。说明 也可以向数据库...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
CREATE CONTINUOUS QUERY
attr_identifier '=' attr_val 使用说明 数据库名（database_identifier）持续查询对象所属数据库的名称，不指定时默认是当前数据库。使用时必须在数据库名前后添加反引号（`），例如 `db_sensor`。持续查询名称（cq_identifier）使用时...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
- 产品推荐
- 这些文档可能帮助您