数据缓存
概述 云数据库 SelectDB 版 的数据存储在远端服务器上，为了加速对数据的访问，云数据库SelectDB实现了一个基于本地硬盘的缓存。缓存提供了两种管理策略：LRU策略和TTL策略。云数据库 SelectDB 版 的 缓存对索引相关的数据做了优化，让缓存...
PostgreSQL数据源
一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如一次同步任务启动运行过程中，当该库存在其他数据写入方写入数据时，由于数据库本身的快照特性，PostgreSQL Reader完全不会获取到写入的更新...
迁移时源库为MongoDB的注意事项及限制
避免该任务被自动恢复后，源端数据覆盖目标实例的数据。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用 db.$table_name.aggregate([{$count:"myCount"}])语法查询。请...
设置连接池类型
开启事务级连接池后，当客户端发送请求时，会先与数据库代理建连，代理不会马上将其与后端数据库建连，而是先从事务级连接池里查找是否存在可用的连接（判断是否为可用连接的条件：user、dbname 和系统变量这3个参数值是否一致）。...
一键实时同步至AnalyticDB for MySQL 3.0
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 同步解决方案默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建...
概述
如果您只是想访问和查询这些存量数据，可以使用Impala访问和查询，而无需迁移存量数据至Kudu。组件 Kudu包含如下两种类型的组件：Master Server：负责管理元数据，其中包括Tablet Server的服务器信息和Tablet的信息。Master Server通过Raft...
设置连接池
例如，可能有一个Web服务器或应用程序服务器打开许多到MySQL服务器的连接，并保持它们打开，直到客户端（Web/Application服务器）停止，可能要持续数月。优点是与数据库建立连接的次数相对较少，耗费 MySQL数据库主线程的开销小。缺点是...
客户端使用说明
通过全密态客户端查询（代码示例）警告 本示例所展示的代码仅用于演示配置方式，请勿在实际业务代码中将 password、mek 以明文方式设置在代码中，建议使用外部配置文件或环境变量等其他方式进行处理后，再在代码中引用。URL配置说明 您可以...
客户端使用说明
通过全密态客户端查询（代码示例）警告 本示例所展示的代码仅用于演示配置方式，请勿在实际业务代码中将 password、mek 以明文方式设置在代码中，建议使用外部配置文件或环境变量等其他方式进行处理后，再在代码中引用。URL配置说明 您可以...
一键实时同步至Hologres
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 单击 Hologres表名 列的表名可编辑目标表结构，例如，为目标表添加PK和Distribution Key，修改字段类型映射等。同步至Hologres可能...
OSS Foreign Table功能概览
与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table，具体信息如下：功能 OSS Foreign Table OSS External Table 导入OSS数据或导出数据到OSS 支持 支持 OSS数据分析（大数据量场景）大数据量...
导入与导出
数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，导致写入TPS不满足预期。您可以调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。DataWorks导入数据至...
常见问题
由于DTS的传输性能受DTS内部、源端和目标端数据库实例的负载、待传输的数据量、DTS实例是否存在增量任务、网络等多种因素影响，所以无法预估DTS任务所需的时间，若对性能有较高要求，建议选择性能上限较大的规格。关于规格的更多信息，请...
常用SQL
针对源端为OSS的元数据操作 MSCK REPAIR TABLE：同步OSS数据源上实际的数据分区信息到元数据分区中。MSCK REPAIR TABLE SYNC_DIR：同步OSS数据源一个目录的分区信息到元数据分区中。针对源端为数据库的元数据操作 MSCK REPAIR DATABASE：...
查看会话日志
通过查看会话日志，您可以查询客户端与服务器端之间建立的会话信息。本文介绍如何在云盾数据库审计系统和日志服务控制台查询会话日志。在数据库审计系统查看会话日志 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航...
ODC 常见问题
客户端版 ODC 安装问题 Q：客户端版 ODC 安装预检查时会检查哪些项目？A：客户端版 ODC 预检查项目如下所示：Windows 操作系统版本检查：仅支持 Windows 7 及以上版本。端口检查：查看 8989 是否被占用。在 ODC V2.3.0 后采用动态端口将...
MySQL分库分表同步至Hologres（方案1.0）
DB_NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 步骤五：设置表粒度同步规则 即当源表发生插入、更新、删除时，您可以在此处定义对应的处理策略。正常处理：源端DML消息将会继续下发给目标数据...
数仓场景：增量数据实时统计
本文通过示例为您介绍如何基于StarRocks构建数仓场景-增量数据实时统计。前提条件 已创建DataFlow或自定义集群，具体操作请参见 创建集群。已创建EMR Serverless StarRocks实例，具体操作请参见 创建实例。已创建RDS MySQL，具体操作请参见...
如何设计Rowkey
云数据库HBase的Rowkey设计在数据分区和数据查询中很重要，本节介绍设计Rowkey前需要考虑的一些问题以及设计示例。问题考虑 问题一：Rowkey是唯一的吗？相同的Rowkey在HBase中认为是同一条数据的多个版本，查询时默认返回最新版本的数据，...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将...
mysqlclient 连接 OceanBase 数据库
本文将介绍如何使用 mysqlclient 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 python-mysqlclient 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase 数据库并且创建了 ...
DescribeProject-查询项目的详情
本接口用于查询数据迁移或数据同步项目的项目详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称...
Presto FAQ
异步执行主要针对ETL类SQL(INSERT.SELECT.)，这种SQL耗时较长，如果使用同步执行，那么这段时间客户端与服务器端之间的连接会始终被占用，如果有网络异常还会导致查询失败。而异步执行则是提交SQL之后立即返回一个ID，后续只需使用 SHOW ...
连接池
开启事务级连接池后，当客户端发送请求时，会先与 PolarDB 代理建连，代理不会马上将其与后端数据库建连，而是先从事务级连接池里查找是否存在可用的连接（判断是否为可用连接的条件：user、dbname 和系统变量这3个参数值是否一致）。...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标Hologres表...
MySQL数据源
如果您的表数字后缀的长度一致，例如 'table_000'、'table_001'、'table_002' 直到 'table_999'，您可以配置为 '"table":["table_00[0-9]","table_0[10-99]","table_[100-999]"]'。说明 任务会读取匹配到的所有表，具体读取这些表中 column...
查看会话日志
通过查看会话日志，您可以查询客户端与服务器端之间建立的会话信息。本文介绍如何在云盾数据库审计系统和日志服务控制台查询会话日志。在数据库审计系统查看会话日志 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航...
CREATE FOREIGN TABLE
语法 CREATE FOREIGN TABLE[IF NOT EXISTS]table_name([{ column_name data_type[OPTIONS(option 'value'[,.])][COLLATE collation][column_constraint[.]]|table_constraint }[,.]])[INHERITS(parent_table[,.])]SERVER server_name...
CREATE FOREIGN TABLE
语法 CREATE FOREIGN TABLE[IF NOT EXISTS]table_name([{ column_name data_type[OPTIONS(option 'value'[,.])][COLLATE collation][column_constraint[.]]|table_constraint }[,.]])[INHERITS(parent_table[,.])]SERVER server_name...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
COPY
即使数据会被服务器直接从一个文件读取或者写入一个文件而不通过客户端，输入数据也会被根据 ENCODING 选项或者当前客户端编码解释，并且输出数据会被根据 ENCODING 或者当前客户端编码进行编码。COPY 会在第一个错误处停止操作。这在 COPY...
Kafka数据源
durationMs_get_batch 每个batch获取source端数据处理时间。durationMs_add_batch 每个batch写入sink端处理时间。offset延迟指标 lag 每个batch当前streaming的已经消费的最新endoffset和kafka当前的latest offset做差值，指标粒度是topic+...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
XML 类型
在使用文本模式向服务器传递查询以及向客户端传递查询结果（在普通模式）时，PostgreSQL 将所有在客户端和服务器之间传递的字符数据转换为目标端的字符编码。这也包括了表示 XML 值的串，正如上面的例子所述。这也通常意味着由于字符数据会...
流式读写
本文介绍Delta Lake作为数据源和数据接收端如何流式读写数据。Delta Table作为数据源（Source）spark.readStream.format("delta").option("maxFilesPerTrigger",1000).load("/tmp/delta_table")maxFilesPerTrigger 指定了一个批次最多处理...
使用ping命令丢包或不通时的链路测试方法
当客户端访问目标服务器或负载均衡，使用ping命令测试出现丢包或网络不通时，可以通过链路测试工具进行链路测试来判断问题来源。本文介绍如何使用链路测试工具进行链路测试。链路测试流程 通常情况下，链路测试流程如下图所示。链路测试...
租户参数列表说明
sql_throttle_rt 指定 RT 值，单位是微秒，如果查询的 RT 值不小于该值，则不允许执行该查询。ob_enable_transmission_checksum Proxy 和 server 之间是否进行数据包校验和。ob_early_lock_release 事务是否开启 ELR 优化。writing_...
RDS MySQL 5.6开放参数一览表
这些信息可用于调试和相关目的，例如在无法从行更新中重建主查询时获取主服务器上发出的原始查询。binlog_row_image 5.6 1 full[full|minimal]无限制 Binlog是否保存每个列或仅保存实际所需列在Binlog中的图像。binlog_stmt_cache_size 5.6...
- 产品推荐
- 这些文档可能帮助您