近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
专业术语
identifier（标识符）关于连续查询（continuous query）的名字、数据库（database）名、field key、measurement的名字、保留策略（retention policy）的名字、tag key和用户（user）名的标记。相关术语：database，field key，measurement...
设置数据时效
数据时效说明 此处设置的数据时效的计算不是对数据自身带入的时间戳为基准进行计算，而是基于数据实际写入到数据库的时间为基准进行计算。数据在数据库中的时间超过设置的数据时效后并不会立刻失效，而是会由数据库后台慢慢自行清理。数据...
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（Oracle 模式）。基于 spring-boot 集成 spring-...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
SQL Server迁移上云指南
上云方案简介 上云方案 实现流程 操作步骤 物理备份上云 使用OSS（手动上云）将数据库日志恢复模式（backup_type）修改为FULL。将全量数据进行备份，并上传到OSS Bucket（存储空间）。定时备份和上传增量日志。停止源库的数据写入，最后...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（MySQL 模式）。基于 spring-boot 集成 spring-batch...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
如何解决增量迁移延迟或同步延迟
原因5：当DTS无法连接数据库或由于其他报错导致DTS写入数据至目标库发生异常时，DTS会进行多次重试，从而表现出同步延迟。此时您可以在控制台上查看任务是否处于 重试中 状态，并单击 查看原因并修复，查看重试原因并进行相应修复。比如，...
查看同步任务详情
在任务详情页，您可以查看以下信息：数据来源信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际写入至源数据库的时间差。源端数据源配置信息：包括源端数据库主机、端口、名称，数据表及用户名等。数据去向信息：下游...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据...
数据模型
当您需要在不同业务场景中使用 云数据库 SelectDB 版 时，深入了解其数据模型对于您的业务设计具有重要帮助。本文档将指导您了解其数据模型，以帮助您设计出更优的数据存储方案。基本概念 在 云数据库 SelectDB 版 中，数据以表（Table）的...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
Tablestore Stream配置同步任务
Tablestore Stream插件主要用于导出Tablestore增量数据，本文将为您介绍如何通过Tablestore Stream配置同步任务。背景信息 Tablestore Stream插件与全量导出插件不同，增量导出插件仅支持多版本模式，且不支持指定列。增量数据可以看作操作...
CREATE STREAM
创建一张流表，可以不断记录随时间而发生的事件。数据流表仅支持新增数据，不支持更新数据和删除数据。本文介绍如何通过DDL语句创建流表。语法 CREATE STREAM[IF NOT EXISTS][catalog_name.][db_name.]stream_name({|...
更新数据表
只有当写入数据所有列的版本号与写入时间的差值在数据有效版本偏差范围内，数据才能成功写入。属性列的有效版本范围为[max{数据写入时间-有效版本偏差,数据写入时间-数据生命周期}，数据写入时间+有效版本偏差)。单位为秒。allow_update：...
名词解释
背景信息 时间序列数据库 TSDB：英文全称为 Time Series Database，提供高效存取时序数据和统计分析功能的数据管理系统。时序数据（Time Series Data）：基于稳定频率持续产生的一系列指标监测数据。例如，监测某城市的空气质量时，每秒...
定时SQL Exactly-Once
日志服务定时SQL保证每次任务的计算结果都以Exactly-Once方式写入到目标存储库（Logstore和MetricStore），确保数据不会重复写入，也不会丢失。日志服务基于Logstore的幂等写入来实现定时SQL结果数据的Exactly-Once。说明 本文内容适用于...
冷数据归档
功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
创建数据流
数据库：配置项 描述 数据库类型 选择输出数据的目标数据库类型。数据库 搜索并选择输出数据的目标数据库。说明 如果数据库未登录，在 登录实例 对话框中，输入 数据库账号 和 数据库密码 登录数据库。表名 选择或输入数据流输出数据的目标...
Kafka集群的数据存储格式
参数说明 参数 说明 time 数据库中事务的提交时间，格式为yyyy-MM-ddTHH:mm:ssZ（UTC时间）。userid 提交事务的用户ID。op 数据操作类型，包括INSERT,UPDATE,DELETE,TRUNCATE,DROP COLUMN,UPDATE BEFORE,UPDATE AFTER。scn 系统变化编号SCN...
Kafka集群的数据存储格式
参数说明 参数 说明 time 数据库中事务的提交时间，格式为yyyy-MM-ddTHH:mm:ssZ（UTC时间）。userid 提交事务的用户ID。op 数据操作类型，包括INSERT,UPDATE,DELETE,TRUNCATE,DROP COLUMN,UPDATE BEFORE,UPDATE AFTER。scn 系统变化编号SCN...
CREATE MATERIALIZED VIEW
本文介绍如何在 云数据库ClickHouse 中创建物化视图。创建物化视图 语法：CREATE MATERIALIZED VIEW[IF NOT EXISTS][db.]Materialized_name[TO[db.]name][ON CLUSTER cluster]ENGINE=engine_name()ORDER BY expr[POPULATE]AS SELECT.参数...
REPLACE INTO
写入数据时，会先根据主键判断待写入的数据是否已经存在于表中，并根据判断结果选择不同的方式写入数据：如果待写入数据已经存在，则先删除该行数据，然后插入新的数据。如果待写入数据不存在，则直接插入新数据。说明 本文所指的主键既...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
写数据表
写数据表组件将数据写入MaxCompute表。本文为您介绍写数据表的参数配置。前提条件 如果您需要写入分区表，则需要先创建待写入的分区表，再使用该组件写入数据，关于如何创建分区表，详情请参见 创建分区表。使用限制 支持的计算引擎为...
REPLACE SELECT FROM
写入数据时，根据主键判断待写入的数据是否已经存在于表中，如果已经存在，则先删除该行数据，然后插入新的数据；如果不存在，则直接插入新数据。语法 REPLACE INTO table_name[(column_name,.)]query;参数 query：可以是 SELECT FROM ...
云监控控制台查看监控
在 数据库 区域，选择 云数据库ClickHouse 或 云数据库ClickHouse社区兼容版。在云数据库ClickHouse的监控页面，单击目标集群的ID或 操作 列的 监控图表，默认展示最新1小时的集群监控信息。说明 您最多可连续查看最近30天的监控数据。监控...
测试数据构建
准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本示例通过测试数据构建功能在 big_table 表中批量生成100万条测试数据。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 数据...
创建同步OSS
2）文件格式同步到OSS中的文件名称采用 ConnectorId 等有含义信息拼接而成，暂时不支持用户修改3）二级目录DataHub同步会根据数据写入DataHub的时间来生成二级目录，默认 Asia/Shanghai 时区，更多配置可参考SDK方式创建。创建同步任务 ...
数据变更最佳实践
向表中写入数据时，可以通过批量打包方式INSERT和REPLACE INTO提高数据写入性能。建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入...
数据存储
时序数据存储 时序数据库对时序数据的写入、聚合以及检索都做了特定优化，AnalyticDB采集到的时序数据主要存在时序数据库中。目前每个AnalyticDB实例有一个独立的时序数据库进行服务，只保存当前AnalyticDB实例的时序数据。日志数据存储 ...
Kafka兼容说明
例如数据库default中一个名为t1的流表，对应的Kafka Topic的名称为-LINSTREAM-default.t1。重要 如果Database或流表名称中含有下划线（_），则需要将下划线替换为短横线（-）。将流表中的数据写入Kafka Topic。具体操作，请参见 通过开源...
分区（Shard）
日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定保存在某一个Shard中。Shard范围 每个Shard均有范围，为MD5左闭右开区间[BeginKey,EndKey)。每个Shard范围不会相互覆盖，且属于整个MD5范围内...
导出至OSS
在 adb_demo 数据库中创建外表，详情请参见 不带分区的数据文件创建OSS外表。根据外表类型选择执行写入语句，将源数据写入到步骤2创建的外表中。不同的外表类型支持的语法，请参见 未做分区的普通外表语法支持 和 分区外表语法支持。待步骤...
通配符列
通配符列是指列名由通配符组成的列，多用于模糊...DML 写入 写入数据时，写入列的 列名 需要满足以下两点要求：符合通配符列的匹配规则。数据类型符合通配符列的定义类型。UPSERT INTO tb(pk,c1,c2,c21,c22,c31)values(1,'a1',2,21,22,'c3');
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
- 产品推荐
- 这些文档可能帮助您