迁移时源库为SQL Server的注意事项及限制
避免该任务被自动恢复后，源端数据覆盖目标实例的数据。若迁移任务包含增量数据迁移，则不支持重建索引操作，否则可能造成任务失败，甚至数据丢失。说明 已开启CDC的表不支持进行主键相关的变更。若单次迁移任务中开启CDC的表数量大于1000...
RDS实例间的数据迁移
DROP TABLE RENAME TABLE TRUNCATE TABLE RDS PostgreSQL间迁移 DML INSERT、UPDATE、DELETE DDL ALTER TABLE、ADD INDEX CREATE TABLE、CREATE INDEX 说明 CREATE TABLE不支持分区表、表内定义包含函数的表。DROP TABLE RENAME TABLE 数据...
RDS实例间数据迁移
DROP TABLE RENAME TABLE TRUNCATE TABLE RDS PostgreSQL间迁移 DML INSERT、UPDATE、DELETE DDL ALTER TABLE、ADD INDEX CREATE TABLE、CREATE INDEX 说明 CREATE TABLE不支持分区表、表内定义包含函数的表。DROP TABLE RENAME TABLE 数据...
数据集成侧同步任务能力说明
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
通过PrestoDB使用Tablestore
步骤三：创建Schema和映射表 使用Meta表动态配置的Schema配置模式时，您需要手动创建并使用Schema用于配置对接的Tablestore实例和进行用户鉴权，然后再创建Tablestore表的映射表用于数据查询和分析。说明 如果使用的是本地静态文件配置的...
迁移时源库为PostgreSQL的注意事项及限制
避免该任务被自动恢复后，源端数据覆盖目标实例的数据。特殊情况 当源实例为RDS PostgreSQL时，迁移期间，请勿修改RDS PostgreSQL的连接地址和可用区，否则会导致迁移失败。自建PostgreSQL迁移至RDS PostgreSQL 类型 说明 源库限制 带宽...
PolarDB MySQL版8.0.2版本发布日志
联邦查询引擎支持将Order语法下推至远端数据库，Order语法与Limit Offset结合使用以降低网络代价。支持在混合分区表（InnoDB+ORC）上创建列存索引。新增 ALTER TABLE table_name CHANGE PARTITION partition_name ENGINE=CSV/ORC FORCE;...
OceanBase（MySQL模式）迁移至RDS MySQL
避免该任务被自动恢复后，源端数据覆盖目标实例的数据。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库...
模式
角色和一些其他对象类型被整个集群共享，连接到服务器的客户端只能访问单个数据库中的数据，在连接请求中指定的那一个。注意事项 一个集群的用户并不必拥有访问集群中每一个数据库的权限。角色名的共享意味着不可能在同一个集群中出现重名...
REINDEX
语法 REINDEX[(option[,.])]{ INDEX|TABLE|SCHEMA|DATABASE|SYSTEM }[CONCURRENTLY]name 其中 选项 可以是以下之一：VERBOSE 简介 REINDEX 使用索引的表里存储的数据重建一个索引，并且替换该索引的旧拷贝。有一些场景需要使用 REINDEX：...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
通过Kafka写入数据
Lindorm流引擎提供了100%兼容Flink SQL的能力。您可以将原始数据存储在Kafka Topic，并通过Flink SQL在流引擎中创建实时计算任务，对原始数据进行高效计算和...通过宽表引擎的集群管理系统查询处理结果，具体操作请参见 数据查询。
从自建PostgreSQL（10.1~13版本）增量迁移至RDS ...
当您需要将业务切换至目标实例，请务必先终止或释放该任务，避免该任务被自动恢复后，导致源端数据覆盖目标实例的数据。若源库有长事务，且实例包含增量迁移任务，则可能会导致源库长事务提交前的预写日志WAL（Write-Ahead Logging）无法...
使用Flink SQL消费实时变更数据示例
Table API接入方式 Table API是Flink提供的API接口，支持使用Flink SQL进行数据查询。Lindorm CDC的变更消息采用Debezium Format格式。Table API支持Debezium-Json格式，相关内容请参见 解析说明。如果您在开源Flink上消费数据，需要配置...
同步EMR Kafka数据至Hive
通过SSH方式连接DataLake集群，在客户端配置Hive参数并查询表中的数据。set hive.support.concurrency=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;配置好...
大版本升级常见问题
schema=t2.TABLE_SCHEMA AND t1.table_name=t2.TABLE_NAME AND t2.CONSTRAINT_NAME IN("PRIMARY")WHERE t2.table_name IS NULL AND t1.table_type="BASE TABLE"AND t1.TABLE_SCHEMA NOT IN("information_schema","performance_schema",...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
数据加密
您可以使用云数据库MongoDB提供的服务器端根证书来验证目标地址和端口的数据库服务是不是云数据库MongoDB提供的，以有效避免被其他人攻击。除此之外，云数据库MongoDB还提供了服务器端SSL证书的启用和更新能力，方便您按需更新SSL证书以...
lo-funcs
服务器端函数 下表中列出了为从SQL操纵大对象定制的服务器端函数。面向 SQL 的大对象函数 函数 描述 例子 lo_from_bytea(loid oid,data bytea)→oid 创建一个大对象并在其中存储 数据。如果 loid 为0，则系统将选择一个空闲OID，否则该OID...
轨迹生成
Lindorm流引擎读取车辆的实时位置点数据，定期（每小时、每天）将位置点拼接为轨迹，再将聚合后的轨迹线数据写入至数据库，不仅保证了对车辆行驶轨迹数据的实时处理和分析能力，同时也减轻了数据库在处理高频率追加写入操作时的IO压力。...
性能对比
table_options)con:query(query)if(sysbench.opt.table_size>0)then print(string.format("Inserting%d records into 'sbtest%d'",sysbench.opt.table_size,table_num))end value_template=string.rep("#",sysbench.opt.value_length)query...
常见问题
您可以通过在源RDS实例上通过高权限账号连接数据库，并执行如下SQL，查询没有主键的表：SELECT t1.table_schema,t1.table_name FROM information_schema.TABLES t1 LEFT OUTER JOIN information_schema.TABLE_CONSTRAINTS t2 ON t1.table_...
ClickHouse数据源
是 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize值过大会造成数据同步进程OOM，需要根据ClickHouse负载情况递增。否 1,...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
ALTER TABLE
ALTER TABLE语法用于修改表的结构，例如增加列、删除列、修改列的数据类型、新增表属性等。本文介绍ALTER TABLE语法在不同引擎中的使用方法和差异。引擎与版本 ALTER TABLE语法适用于宽表引擎和时序引擎。无版本限制。注意事项 ALTER TABLE...
DM（达梦）数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo {...
数据共享SQL
参数说明：参数 说明 share_name.schema_name.table_name 目标端查询的共享表名字，需为3段式表示：share_name：Share的本地别名（若没有设置别名可使用Share的名称）。schema_name：共享表所在源库的Schema的名称。table_name：共享表的表...
电子围栏
而车辆的实时数据（坐标信息）是实时上传的，可以将车辆的实时数据存储到Kafka中，再由Lindorm流引擎通过订阅Kafka中的实时数据，实时计算多个车辆位置和地理围栏之间的关系。本示例提供的Lindorm流引擎电子围栏查询支持内存索引和并行计算...
区域统计
Lindorm Ganos时空服务提供了丰富的函数和数据类型，方便您对时空数据进行计算和分析。您可以通过Ganos时空服务预先设定地理围栏，并根据业务需求灵活使用时空函数，结合Lindorm流引擎的实时计算能力，实现基于地理围栏的实时区域统计功能...
基本概念
本文将向您介绍 云数据库ClickHouse 产品中涉及的一些基本名词概念，以便于您更好地理解 云数据库ClickHouse 产品。地域（Region）购买 云数据库ClickHouse 的服务器所处地理位置。您需要在购买 云数据库ClickHouse 服务时指定Region，...
方案概述
CREATE TABLE、DROP TABLE ALTER TABLE（包括RENAME TABLE、ADD COLUMN、ADD COLUMN DEFAULT、ALTER COLUMN TYPE、DROP COLUMN、ADD CONSTRAINT、ADD CONSTRAINT CHECK、ALTER COLUMN DROP DEFAULT）TRUNCATE TABLE（源库PostgreSQL为...
Serverless Java API访问
} DML操作/Table 为非线程安全对象，每个线程在对Table操作时，都必须从Connection中获取相应的Table对象 try(Table table=connection.getTable(TableName.valueOf("tablename"))){/插入数据 Put put=new Put(Bytes.toBytes("row"));...
Linux系统的ECS中没有禁ping却ping不通的解决方法
排查结果分析 在服务器中，出现以下抓包结果，可以看到客户端以5秒一次的频率进行数据包的发送动作，但是服务器端没有发出响应包。分析可能是服务器的防火墙或第三方安全软件进行了ban设置。登录服务器，执行以下命令，查看防火墙配置信息...
优化器（Analyze）
MaxCompute的优化器是基于代价的优化器，需要基于数据的一些特征（即元数据），例如行数、字符串平均长度，准确估算代价。本文为您介绍MaxCompute收集元数据的方法，为优化查询性能提供帮助。背景信息 如果获取不到准确的元数据，优化器会...
AnalyticDB for PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 Writer脚本Demo {"type...
Flink Table Store与Hive集成
E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Hive中查询Flink Table Store中的数据。操作步骤 ...
Tablestore
add_df.write.format("Tablestore").mode("append").saveAsTable("delta_order_source")/数据查询 spark.table("delta_order_source").where("user_id='1086'").show()说明 结果已经写入Tablestore 说明 Tablestore结合spark 参考文档：...
Vertica数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
ApsaraDB For OceanBase数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
GBase8a数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
- 产品推荐
- 这些文档可能帮助您