整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
DB2数据源
jdbcUrl":"jdbc:db2:/ip:port/database",/DB2数据库的JDBC连接信息。column":["id"],"batchSize":1024,/一次性批量提交的记录数大小。table":"",/表名。username":"",/用户名。preSql":[]/执行数据同步任务之前执行的SQL语句。},"name...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
实时同步常见问题
可在数据库执行以下命令，查看当前这个数据库实例正在写入的binlog文件。show master status 对比日志中读到的binlog文件，在日志中搜 journalName=MySQL-bin.000001,position=50，确认是否有数据写入数据库。如果有数据在写入，但是binlog...
基于Client SDK数据写入
setDatabase(String database)需要连接的 AnalyticDB PostgreSQL版 数据库名称。setUser(String username)需要连接的 AnalyticDB PostgreSQL版 使用的用户名。setPassword(String pwd)设置连接的 AnalyticDB PostgreSQL版 使用的密码。...
行协议教程
TSDB For InfluxDB®的行协议（Line Protocol）是一种基于文本的格式，用于将数据点写入数据库。数据点必须符合行协议格式，TSDB For InfluxDB®才能成功解析和写入数据点。语法 行协议中，一行数据表示TSDB For InfluxDB®中的一个数据点...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
行协议参考
在实践中的行协议 关于如何将行协议数据写入数据库，请查看工具章节。重复数据点 measurement的名字、tag set和时间戳唯一标识一个数据点。如果您提交的数据具有相同measurement、tag set和时间戳但具有不同field set，那么数据的field set...
PostgreSQL数据源
增量数据同步的方式 PostgreSQL Reader使用JDBC SELECT语句完成数据抽取工作，因此可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
时序引擎应用开发简介
因为其提供了更加高效易用的使用方法，支持底层连接管理、数据攒批写入、错误重试等功能，优化了数据传输编码，写入效率更高。其他语言开发的应用程序：Lindorm提供 基于HTTP协议的API 和 行协议写入。推荐开发者使用 行协议写入 数据，并...
DRDS（PolarDB-X）数据源
增量数据同步的方式 DRDS（PolarDB-X）Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑...
解决因磁盘空间耗尽导致的锁定或无法写入问题
管理人员通过Mongo Shell连接数据库进行排查时，测试写入一条数据，返回错误信息：not authorized on xxxx to execute command，例如：db.customer.insert({"name":"zhangsan"})WriteCommandError({"operationTime":Timestamp(1563437183,1...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
SQL Server数据源
增量数据同步的方式 SQL Server Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
什么是云数据库SelectDB版
在业界知名的ClickBench全球分析型数据库性能排行榜上，查询性能位列第一，写入效率位列第二。低成本：通过存算分离架构大幅度降低存储成本，通过弹性伸缩、按需启停等能力，提高计算资源利用率并降低成本支出。灵活弹性 在计费方式方面，...
入门概览
本文介绍 云原生多模数据库 Lindorm 时序引擎的使用流程，帮助您快速连接使用Lindorm时序引擎。操作流程 从创建Lindorm实例到Lindorm时序引擎的应用开发，您需要完成以下操作：创建Lindorm实例，创建时选择数据引擎为时序引擎，具体操作请...
连续查询
Lindorm时序引擎支持设置每个数据库的保数据有效期（TTL），您可以结合连续查询，将数据降精度后写入到有效期更长的数据库中。以下示例介绍了如何通过连续查询与数据库TTL设置来实现数据降精度与长期存储。示例 假设，原始数据采样周期为1...
使用Flink写入时序引擎
false：异步写入，默认值，写入效率高。true：同步写入。使用示例 以datagen_source随机数据生成器为例，将生成的数据写入Lindorm时序表mytable中。示例代码如下：CREATE TEMPORARY TABLE datagen_source(id INTEGER,score DOUBLE,name ...
权益分发
DB写入数据至缓存时只写一次，可能会因为网络抖动等原因导致数据写入失败，进而造成数据更新不及时的结果。例如，库存原定需设置100,000，但运营策略变成10个，如果数据没有及时同步，那么就无法通知到下游，造成资损。方案架构 因为 云...
支持Flink可恢复性写入JindoFS或OSS
SmartData 3.0.x版本支持Flink可恢复性写入...目前支持配置参数 oss.upload.max.concurrent.uploads，用来控制上传数据块的并行度，如果设置较高的数值则可能会提高写入效率（但也会占用更多资源）。默认情况下，该值为当前可用的处理器数量。
基本概念
本文介绍 云原生多模数据库 Lindorm 帮助文档中的相关名词和术语的解释。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在Lindorm实例的白名单中添加安全组后，该安全组中的ECS实例就可以访问Lindorm实例。更多...
使用SSMS迁移上云
本文以Azure SQL Database为例，介绍如何使用SQL Server Management Studio（SSMS）将您本地自建或其他云的SQL Server数据库迁移到 RDS SQL Server。前提条件 已创建存储空间大于源库的目标 RDS SQL Server 实例，且 RDS SQL Server 实例需...
通过Kafka导入数据
database.server.name=test123#需要同步的数据库和表，默认是同步所有数据库和表 database.include.list=test table.include.list=test.test_table database.history.kafka.bootstrap.servers=localhost:9092#用于存储数据库表结构变化的 ...
通配符列
如果此时想要写入新的列，则需要执行ALTER TABLE语句，这样的操作非常影响写入效率。Lindorm支持动态列，可以动态写入数据并执行查询。但动态列支持的数据类型较少，目前仅支持VARBINARY类型的数据写入。为解决这一问题，Lindorm推出通配符...
常见问题
写入效率：全局每秒需要写入时序数据库的平均数据点数（数据记录数）。计算公式：时间线数×单条时间线每秒需要写入的平均数据点数。说明 在多值模型中，数据点数=数据点的个数×每个数据点中的字段个数 TSDB 支持公网访问吗？TSDB 支持...
功能特性
SLS增量导入 TSDB全量迁移至时序引擎 时间序列数据库（Time Series Database，简称TSDB）全量迁移至Lindorm时序引擎。TSDB全量迁移至时序引擎 导入MongoDB数据 通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。导入MongoDB数据 通用...
EMR Flink写入OSS-HDFS服务
熵注入可以匹配写入路径的一段特定字符串，用一段随机的字符串进行替换，以削弱所谓片区效应，提高写入效率。当写入场景为OSS-HDFS时，需要完成下列配置。oss.entropy.key=<user-defined-key>oss.entropy.length=写入新文件时，路径中与...
索引诊断
本文档向您介绍 PolarDB-X 的索引诊断功能，您可以使用此功能诊断和发现数据库中低效的索引，进而采取措施提升数据库的性能。背景信息“建立索引”是数据库中加速查询的常用手段，可以显著提高查询效率。但索引会在数据表更新的时候同步...
SmartData 3.1.x版本简介
该功能有利于提高写入效率。详情请参见 支持Flink可恢复性写入JindoFS或OSS。支持JindoFS Tensorflow Connector，通过实现Tensorflow Filesystem，支持原生的Tensorflow IO接口。支持Tensorflow 1.15及后续版本和Tensorflow 2.3后续版本。
入门概述
快速入门介绍购买并使用 云数据库 SelectDB 版 的完整过程，旨在帮助新用户快速使用 云数据库 SelectDB 版。使用流程 在本教程中，您将进行以下操作。...创建数据库并写入数据：介绍如何为 云数据库 SelectDB 版 实例创建数据库并写入数据。
开源Flink写入OSS-HDFS服务
熵注入可以匹配写入路径的一段特定字符串，用一段随机的字符串进行替换，以削弱所谓片区效应，提高写入效率。当写入场景为OSS-HDFS时，需要完成下列配置。oss.entropy.key=<user-defined-key>oss.entropy.length=写入新文件时，路径中与...
Prometheus Remote Write配置
为了提高写入效率，Prometheus在将采集到的samples写入远程存储之前，会先缓存在内存队列中，然后打包发送给远端存储。而这个内存队列的配置参数，对于Prometheus写入远程存储的效率影响较大，其包括的配置项主要如下所示。Configures the ...
使用Flink写入数据（Transaction Table2.0）
Flink Upsert写入任务的Checkpoint间隔建议设置3分钟以上，设置太小的话，写入效率得不到保障，并且可能引入大量小文件。MaxCompute与实时计算Flink版的字段类型对照关系如下。Flink 数据类型 MaxCompute 数据类型 CHAR(p)CHAR(p)VARCHAR(p...
实时物化视图
更新逻辑如下：在数据库内核中，会先对基表执行更新，然后再执行对物化视图的更新。当基表更新失败时，物化视图中的数据不会发生变化。如果对物化视图更新失败，则基表的更新也将失败，基表将不会有任何变化，同时对基表执行的语句将返回...
使用MongoDB存储日志数据
同时，为了达到最优的写入效率，用户还可以考虑批量的写入方式，一次网络请求写入多条日志。格式如下所示：db.events.insert([doc1,doc2,.])查询日志 当日志按上述方式存储到MongoDB后，就可以按照各种查询需求查询日志了。查询所有访问/...
- 产品推荐
- 这些文档可能帮助您