基本操作
Transaction Table2.0 支持更多能力，同时在DDL，DML和DQL以及数据管理上都...DDL操作 表操作 分区和列操作 CLONE TABLE 数据写入 SQL写入 Flink近实时写入 数据查询：Time travel查询与Incremental查询 数据合并：COMPACTION 数据备份与恢复
DataStudio侧实时同步任务配置
说明 您可以在 数据集成>配置选项>实时同步DDL消息处理策略 页面，针对每个写入的目标数据库类型，设置DDL处理策略。不同DDL消息处理策略如下表所示。DDL消息类型 处理策略 新建表 DataWorks收到对应类型的DDL消息时，处理策略如下：正常...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
采集客户端数据的高可用方案
由于Logstore A的数据通过数据加工实时写入Logstore B，正常情况下Logstore A和B的数据均实时可用。当Logstore A出现故障时，您需要将数据采集及时切换到Logstore B上，使Logstore B的数据实时可用。当Logstore B故障时，Logstore A的数据...
性能测试
以时空轨迹数据为7.6 GB为例，写入耗时的测试结果如下：数据库 写入耗时 云原生多模数据库 Lindorm Ganos引擎 7分钟 开源GeoMesa（HBase）13分钟 云数据库MongoDB分片集群 34分钟 创建时空索引后的时空数据存储空间占用情况 创建时空主键...
通过DTS实现数据库的垂直拆分
当RDS实例负载过大时，可以将该实例的一个数据库或表垂直拆分至另外一个单独的实例中。本文介绍如何通过双写方案和简易拆分方案实现垂直拆分。背景信息 假设一个RDS实例上有数据库A和B，随着业务增长实例瓶颈也日趋可见，如想要减轻该实例...
配置并管理实时同步任务
库过滤 搜索框和 表过滤 搜索框中填写正则表达式，实时同步运行过程中会自动识别源端数据库binlog中数据库名和表名符合正则表达式的变更，识别到这类变更后按照下面设置的 表名到Topic的映射规则 计算源端变更应该写入的 kafka topic 名称...
限制说明
事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版...
分区（Shard）
当您实时写入数据流量达到14 MB/s时，建议分裂其中一个Shard，使readwrite状态的Shard数量达到3个。当您实时写入数据流量仅为3 MB/s时，建议您合并两个Shard。重要 当写入数据的API持续报告403或者500错误时，您可以通过Logstore云监控查看...
JDBC数据源
事务隔离级别 脏读 不可重复读 幻读 READ_UNCOMMITTED 是 是 是 READ_COMMITTED 否 是 是 REPEATABLE_READ 否 否 是 SERIALIZABLE 否 否 否 NONE 无 无 无 写入数据 当您需要向数据库中写入数据时，可以通过以下命令设置一个关联的SQL ...
实时数据API
在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。实时数据业务痛点。处理实时数据业务的整个链路中，要求数据库提供高...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
Azure Cosmos DB API for MongoDB迁移至阿里云
使用MongoDB数据库自带的备份还原工具，您可以将Azure Cosmos DB API for MongoDB迁移至阿里云。注意事项 该操作为全量迁移，为避免迁移前后数据不一致，迁移开始前请停止数据库写入。如果您之前使用 mongodump 命令对数据库进行过备份操作...
配置流程
数据库传输服务DTS为数据同步过程提供了流式的ETL功能，您可以在源库和目标库之间添加各种转换组件，实现丰富的转换操作，并将处理后的数据实时写入目标库。例如将两张流表做JOIN操作后形成一张大表，写入目标库；或者给源表新增一个字段，...
部分参数默认值调整说明
自数据库内核小版本V1.1.28（PostgreSQL 11）和V14.5.1.1（PostgreSQL 14）起，PolarDB PostgreSQL版 调整了部分参数的默认值。简介 PolarDB PostgreSQL版 调整了部分参数的默认值，仅针对新建集群生效，参数默认值的调整可以明显提升数据...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
通过HTTP API写入数据
数据写入的时候，需要设置参数 db 的值，该值必须是一个已有的数据库。如果您没有通过参数 rp 来设置数据保留策略的话，那么数据会写到 db 默认的数据保留策略中。想要获得完整的参数信息，请参阅文档 HTTP API 。我们称POST的主体内容，...
使用写入高可用特性
写入请求将经过异步数据处理组件（包含消息队列），再将数据实时写入Elasticsearch，来提高Elasticsearch的写入性能及稳定性。同步写入模式 未开启写入高可用的集群，默认采用同步写入模式。即查询和写入请求均直接由代理服务转发给...
典型使用场景
AnalyticDB PostgreSQL版 典型的使用场景如下所示：数据通过实时写入或批量加载方式入库，形成ODS（Operational Data Model）层。典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/...
用户行为分析（UV）概述
解决方案与优势 Hologres是基于分析服务一体化理念（Hybrid Serving&Analytical Processing，HSAP）设计的实时数仓产品，采用分布式架构，支持数据实时写入，高并发、低延时的分析处理PB级数据，兼容PostgreSQL协议，使用最熟悉的工具就能...
全球多活使用限制
写入条件不满足 子实例A在1.1时刻收到命令（setnx key->value_A），并于1.2时刻将数据写入至数据库。子实例B在2.1时刻收到命令（setnx key->value_B），并于2.2时刻将数据写入至数据库。在3时刻子实例间执行数据同步将形成冲突。说明 可能...
全球多活使用限制
写入条件不满足 子实例A在1.1时刻收到命令（setnx key->value_A），并于1.2时刻将数据写入至数据库。子实例B在2.1时刻收到命令（setnx key->value_B），并于2.2时刻将数据写入至数据库。在3时刻子实例间执行数据同步将形成冲突。说明 可能...
命令行界面介绍
Influx的命令行界面（CLI），它是一个用来跟数据库进行交互的轻量级工具。有关如何下载使用CLI，可参考文档命令行界面。CLI默认通过端口3242向TSDB For InfluxDB® HTTP API发送请求，直接与TSDB For InfluxDB®通信。说明 也可以向数据库...
集群参数默认值说明
本文介绍了数据库集群参数默认值的详细信息。参数说明 PolarDB PostgreSQL版 参数默认值的设置，综合了性能、可用性以及可靠性方面的考虑，与社区版本默认值不一定相同。特别是以下参数，PolarDB根据最优性能原则进行了默认设定，您可以...
创建反向实例
背景信息 DTS支持为正常运行的同步实例一键创建反向增量同步实例，在业务写入数据库由原同步实例的源库切换为目标库时，帮助您将数据库切换后的增量业务数据同步至原业务写入数据库，常应用于数据库容灾场景下的数据回传。前提条件 原实例...
命令行界面
clear[database|db|retention policy|rp]清除当前数据库或保留策略的上下文。connect在不退出Shell的情况下，连接到其它服务器。默认情况下，influx 连接到 localhost:8086。如果您没有指定host或者port，influx 假设未指定的参数使用默认...
数据转发到时序数据库（TSDB）
您可以配置数据流转规则，将处理过的数据转发到时序数据库（TSDB）的实例中存储。本文介绍将数据流转到数据目的地的完整流程。前提条件 已确认当前物联网平台实例及所在地域支持将数据转发到时序数据库（TSDB）。支持的地域详细信息，请...
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（Oracle 模式）。基于 spring-boot 集成 spring-...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（MySQL 模式）。基于 spring-boot 集成 spring-batch...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
写入语法
INSERT INTO INSERT INTO 用于实时写入数据。语法定义：INSERT INTO tbl_name[(col_name,.)]VALUES({CONSTANT|NULL|DEFAULT},.),(.),.判断数据冲突与否的依据是主键，不定义主键也可以使用 INSERT INTO。如遇数据重复（主键冲突），默认...
CREATE CONTINUOUS QUERY
attr_identifier '=' attr_val 使用说明 数据库名（database_identifier）持续查询对象所属数据库的名称，不指定时默认是当前数据库。使用时必须在数据库名前后添加反引号（`），例如 `db_sensor`。持续查询名称（cq_identifier）使用时...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
- 产品推荐
- 这些文档可能帮助您