数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
一键实时同步至DataHub
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
JDBC数据源
事务隔离级别 脏读 不可重复读 幻读 READ_UNCOMMITTED 是 是 是 READ_COMMITTED 否 是 是 REPEATABLE_READ 否 否 是 SERIALIZABLE 否 否 否 NONE 无 无 无 写入数据 当您需要向数据库中写入数据时，可以通过以下命令设置一个关联的SQL ...
部分参数默认值调整说明
自数据库内核小版本V1.1.28（PostgreSQL 11）和V14.5.1.1（PostgreSQL 14）起，PolarDB PostgreSQL版 调整了部分参数的默认值。简介 PolarDB PostgreSQL版 调整了部分参数的默认值，仅针对新建集群生效，参数默认值的调整可以明显提升数据...
Azure Cosmos DB API for MongoDB迁移至阿里云
使用MongoDB数据库自带的备份还原工具，您可以将Azure Cosmos DB API for MongoDB迁移至阿里云。注意事项 该操作为全量迁移，为避免迁移前后数据不一致，迁移开始前请停止数据库写入。如果您之前使用 mongodump 命令对数据库进行过备份操作...
消费组监控与告警
消费进度：消费者当前读取的数据对应的写入时间。消费落后时长：当前消费进度和队列中最新的数据写入时间的差值，单位为秒。消费组的消费落后时长取其包含的所有Shard的消费落后时长的最大值，当超过您预设的阈值时，则认定消费落后太多，...
一键实时同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
数据版本和生命周期
属性列数据的有效版本范围为[max{数据写入时间-有效版本偏差,数据写入时间-数据生命周期}，数据写入时间+有效版本偏差)。只有当属性列数据的版本号（单位为毫秒）除以1000换算为秒后在有效版本范围时，才能成功写入数据。例如当数据表的...
数据写入
Lindorm时序引擎支持六种数据写入方法：Native SDK写入、行协议写入、标准SQL写入、时间序列数据库TSDB接口写入、remote write数据写入、Flink数据写入。本文介绍数据写入的六种方法。Native SDK写入 Native SDK适用于Java开发者，Native ...
集群参数默认值说明
本文介绍了数据库集群参数默认值的详细信息。参数说明 PolarDB PostgreSQL版 参数默认值的设置，综合了性能、可用性以及可靠性方面的考虑，与社区版本默认值不一定相同。特别是以下参数，PolarDB根据最优性能原则进行了默认设定，您可以...
创建反向实例
背景信息 DTS支持为正常运行的同步实例一键创建反向增量同步实例，在业务写入数据库由原同步实例的源库切换为目标库时，帮助您将数据库切换后的增量业务数据同步至原业务写入数据库，常应用于数据库容灾场景下的数据回传。前提条件 原实例...
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（Oracle 模式）。基于 spring-boot 集成 spring-...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（MySQL 模式）。基于 spring-boot 集成 spring-batch...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
授权概述
需具备数据写入权限，详细说明如下：默认角色：默认角色AliyunLogETLRole具备写入SQL分析结果到目标Logstore、目标MetricStore的权限，因此您可以授权定时SQL任务扮演默认角色来获取数据写入权限。具体操作，请参见 配置默认角色。自定义...
更新数据表
属性列的有效版本范围为[max{数据写入时间-有效版本偏差,数据写入时间-数据生命周期}，数据写入时间+有效版本偏差)。单位为秒。allow_update：是否允许UpdateRow相关更新写入操作。默认值为true，表示允许UpdateRow相关更新写入操作；当...
入门概述
快速入门介绍购买并使用 云数据库 SelectDB 版 的完整过程，旨在帮助新用户快速使用 云数据库 SelectDB 版。使用流程 在本教程中，您将进行以下操作。...创建数据库并写入数据：介绍如何为 云数据库 SelectDB 版 实例创建数据库并写入数据。
冷热分离介绍
未设置自定义时间戳时，默认时间戳的值为数据写入时间。具体内容，请参见 按时间戳冷热分离。使用限制 按自定义时间列冷热分离：仅支持Lindorm SQL，不支持HBase兼容使用方式。推荐Lindorm SQL用户使用该方式。按时间戳冷热分离：支持...
解决因磁盘空间耗尽导致的锁定或无法写入问题
故障表现 部署的应用程序突然无法将数据写入数据库，但是可以正常读取数据。管理人员通过Mongo Shell连接数据库进行排查时，测试写入一条数据，返回错误信息：not authorized on xxxx to execute command，例如：db.customer.insert({"name...
主键列自增
如果需要获取写入数据后系统自动生成的自增列的值，将ReturnType设置为RT_PK，可以在数据写入成功后返回自增列的值。查询数据时，需要完整的主键值。通过设置PutRow、UpdateRow或者BatchWriteRow中的ReturnType为RT_PK可以获取完整的主键值...
创建数据表
属性列的有效版本范围为[max{数据写入时间-有效版本偏差,数据写入时间-数据生命周期}，数据写入时间+有效版本偏差)。创建数据表时，如果未设置有效版本偏差，系统会使用默认值86400；创建数据表后，可以通过UpdateTable接口动态修改有效...
设置数据时效
数据时效说明 此处设置的数据时效的计算不是对数据自身带入的时间戳为基准进行计算，而是基于数据实际写入到数据库的时间为基准进行计算。数据在数据库中的时间超过设置的数据时效后并不会立刻失效，而是会由数据库后台慢慢自行清理。数据...
数据集成概述
数据集成是稳定高效、弹性伸缩...在数据集成同步任务配置前，您可以在DataWorks 数据源管理 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。
按时间戳冷热分离
未设置自定义时间戳时，默认时间戳的值为数据写入时间。前提条件 已开通冷存储功能。如何开通，请参见 冷存储介绍。宽表引擎为2.1.8及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。已连接宽表引擎。如何通过...
写入
重要 写入时间线元数据会覆盖该时间线元数据的原有数据。示例代码 写入数据点。构造时间线标识。TimestreamIdentifier identifier=new TimestreamIdentifier.Builder("cpu").addTag("Role","OTSServer").build();构造数据点，支持多个值。...
pg_dump
即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在执行备份时不会阻止其他用户访问数据库（读取或写入）。更多详情请参见 pg_dump官网。备份文件格式 脚本文件：脚本文件为纯文本文件，其中包含将数据库重建到备份时...
创建数据库并写入数据
在进行数据写入和查询前，您需要先创建数据库。本文介绍如何为 云数据库 SelectDB 版 实例创建 数据库并写入数据。前提条件 已通过 MySQL协议连接 云数据库 SelectDB 版 实例。具体操作，请参见 连接实例。注意事项 每个 云数据库 SelectDB...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Kafka。...同时，执行同步任务会将源端数据库读取的数据，以JSON格式写入到Kafka topic中，您可以通过 附录：消息格式 获取写入Kafka的消息的状态及变更等信息。
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
版本说明
修复通过写入时间戳进行检查判断会报错的问题。V1.0.2 放宽字符串校验规则。V1.0.1 增加HTTPS支持。将依赖的okhttp3库的依赖包重命名，避免依赖冲突。增加带参数的同步写入方法writeSync，提高写入方式的灵活性。增加强制flush方法，用于...
使用ClickHouse-Local迁移上云
clickhouse local 示例1：使用集成引擎从MySQL迁移到云数据库ClickHouse企业版 您可以使用集成表引擎（通过MySQL表函数动态创建）从源MySQL数据库读取数据，并使用remoteSecure表函数将数据写入云数据库ClickHouse企业版集群上的目标表。...
- 产品推荐
- 这些文档可能帮助您