配置ClickHouse输出组件
如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步的速度取决于第一个达到预设值的参数。解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写...
配置ClickHouse输出组件
如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步的速度取决于第一个达到预设值的参数。解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写...
从Flink SQL导入
创建源表、结果表，并将源表数据插入到结果表中。创建源表sls_test_single_local。CREATE TEMPORARY TABLE sls_test_single_local(id INT,name VARCHAR,age BIGINT,rate FLOAT)WITH('connector'='datagen','rows-per-second'='50');创建...
基本概念
本文介绍数据资源平台的基本概念。任务实例说明 任务（Task）：数据处理作业单元，任务定义了...数据API：API的源头为数据表，可以是单表也可以是多表，请求后最终以类SQL的形式到数据库查询并返回符合条件的数据，将数据组装成报文格式返回。
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
与标准SQL的主要区别及解决方法
数据插入表的字段映射不是根据SELECT的别名执行，而是根据SELECT字段的顺序和表中字段的顺序执行映射。无。UPDATE和DELETE 仅支持对Transactional表执行UPDATE和DELETE语句。解决方案请参见 如何删除MaxCompute表或分区中的数据？和 如何...
MySQL分库分表同步至Hologres（方案1.0）
注意事项 同步数据至Hologres时，目前仅支持将数据写入分区表子表，暂不支持写入数据至分区表父表。需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 ...
ANALYZE
如果没有 table_and_columns 列表，则 ANALYZE 处理当前用户有权分析的当前数据库中的每个表和物化视图。使用列表，ANALYZE 仅处理那些表。还可以给出表的列名列表，在这种情况下，仅收集这些列的统计信息。当选项列表用括号括起来时，选项...
插入或覆写数据（INSERT INTO|INSERT OVERWRITE）
您可以在 insert 语句中直接指定分区值，将数据插入指定的分区。如果您需要插入少量测试数据，可以配合 VALUES 使用。insert overwrite：先清空表或静态分区中的原有数据，再向表或静态分区中插入数据。说明 MaxCompute的 insert 语法与...
如何支持超大事务
即把两个表id>x的部分拉到CN做hash join。通过x来控制拉取的数据量，即CN需要计算的数据量。当x=0，会拉取所有的数据到CN做hash join，此时CN总共需要处理约32 GB的数据，并且单个CN节点的内存只有16 GB。测试结果 测试结论 单个事务导致...
RDS增量数据同步至MaxCompute
上述的两条数据作为历史数据，需要先进行一次全量数据同步，将历史数据同步至昨天的分区。在 数据开发 页面，右键单击业务流程下的 表，选择 新建表。在 新建表 对话框中，输入 表名（ods_oplog），单击 提交。双击ods_oplog表，在右侧的...
RDS增量数据同步至MaxCompute
上述的两条数据作为历史数据，需要先进行一次全量数据同步，将历史数据同步至昨天的分区。在 数据开发 页面，右键单击业务流程下的 表，选择 新建表。在 新建表 对话框中，输入 表名（ods_oplog），单击 提交。双击ods_oplog表，在右侧的...
约束
因此，下面的两个表定义接受相同的数据：CREATE TABLE products(product_no integer UNIQUE NOT NULL,name text,price numeric);CREATE TABLE products(product_no integer PRIMARY KEY,name text,price numeric);主键也可以包含多于一个列...
CREATE INDEX
会导致重复项的数据插入或者更新尝试将会产生一个错误。当唯一索引被应用在分区边上时会有额外的限制，请参考 CREATE TABLE。CONCURRENTLY 当使用了这个选项时，PolarDB在构建索引时不会取得任何会阻止该表上并发插入、更新或者删除的锁。...
INSERT
从表 tmp_films 中获得一些行插入到表 films 中，两个表具有相同的列布局：INSERT INTO films SELECT*FROM tmp_films WHERE date_prod;插入数组列：为 noughts-and-crosses 游戏创建一个空的 3x3 棋盘 INSERT INTO tictactoe(game,board[1:...
创建表
任何无法满足表达式的插入或者更新操作记录都将产生一个错误异常，并且插入和更新操作不能改变数据库的记录值。指定为列级约束的检查约束只能访问相关列的值，同时出现在表级约束的表达式可以引用多列值。说明 CHECK 表达式不能包含子查询...
OpenSearch数据源
例如，您需要导入的字段列表有b、c两个字段，但OpenSearch表中的字段有a、b、c三列，在列配置中可以写为"column":["c","b"]，表示会把Reader的第一列和第二列导入OpenSearch的c字段和b字段，而OpenSearch表中新插入的a字段会被置为默认值或...
流式数据湖仓Paimon
当两个Flink作业同时写入一张Paimon表时，如果两个作业的数据没有写入同一个分桶，则能保证serializable级别的一致性。如果两个作业的数据写入了同一个分桶，则只能保证snapshot isolation级别的一致性。也就是说，表中的数据可能混合了两...
自动优化
query)print(f"Inserted {i+1} entries.")在OSS browser里刷新，可以看到在向表中插入数据时产生了大量的小文件，在我们的代码里执行单行插入，对每一行都会生成一个单独的小文件，同时产生了两个delta log文件。当插入了50条数据时，delta...
事务隔离
在第二次执行中，该事务将见到作为其初始数据库视图一部分的之前提交的改变，这样在使用行的新版本作为新事务更新的起点时就不会有逻辑冲突。注意只有更新事务可能需要被重试；只读事务将永远不会有序列化冲突。可重复读模式提供了一种严格...
Tunnel命令常见问题
如果无法更换数据中的分隔符，可以将数据作为单独一行上传，然后使用UDF解析。如下示例数据中包含回车，使用“,”作为列分隔符-rd，使用“@”作为行分隔符-fd，可以正常上传。shopx,x_id,100@shopy,y_id,200@shopz,z_id,300@上传命令示例...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
CREATE POLICY
策略名称是针对每个表的。因此，一个策略名称可以被用于很多个不同的表并且对于不同的表呈现适合于该表的定义。策略可以被应用于特定的命令或者特定的角色。除非特别指定，新创建的策略的默认行为是适用于所有命令和角色。多个策略可以应用...
表分区
这个表将不包含数据。不要在这个表上定义任何检查约束，除非想让它们应用到所有的子表上。同样，在这个表上定义索引或者唯一约束也没有意义。对于我们的例子来说，主表是最初定义的 measurement 表。创建数个“子”表，每一个都从主表继承...
二级索引
但不是所有场景都会产生写放大，比如日志场景只有数据插入没有更新操作，此时索引表不存在老数据，只需要做写索引和写主表操作。所以Lindorm提出了Mutability的概念。Mutability是指对主表的写入模式进行分类，并以此组织索引数据，针对...
通过文件管理优化性能
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0，...
触发器行为概述
一个触发器声明了当执行一种特定类型的操作时数据库应该自动执行一个特殊的函数。触发器可以被附加到表（分区的或者不分区的）、视图和外部表。在表和外部表上，触发器可以被定义为在 INSERT、UPDATE 或 DELETE 操作之前或之后被执行，可以...
企业版和标准版功能对比
支持 支持 库表恢复 PolarDB 提供的库表恢复功能，不会覆盖和删除原集群中已有的库表，不会将数据写入原集群的库表中，而是在原集群中新建库表。您可以在库表恢复过程中指定新的库名或表名，通过指定库和表的方式，将db1的备份数据恢复到db...
离线同步常见问题
脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有数据中位于第一条时）。如何排查离线同步任务运行时间长的问题？可能原因1：...
黄牛账号识别之GraphCompute解决方案
【方案一】【方案二】【方案三】特点：relation异构表 与原始的数据结构最贴近、表配置量过多 特点：relation同构表 图配置简单，只需要2张表：User用户表和设备关联表 特点：增加设备作为独立节点 对于热门设备的关系变更更加友好 问题：...
导入概述
系统会在两个参数中取较小者，作为最终的BE导入任务内存使用上限。load_process_max_memory_limit_percent：表示对BE总内存限制的百分比。默认为80。总内存限制mem_limit默认为80%，表示对物理内存的百分比。即假设物理内存为M，则默认导入...
RDS SQL Server空间不足问题
以上操作通常可以有效降低数据空间大小，但是如果实例空间仍然有压力，可以执行 DBCC SHRINKFILE 命令收缩数据文件，将数据文件中未分配空间释放给操作系统。以上图为例，一个区（Extent）的大小为64 KB，因此数据文件的总空间大小为104584...
导入概述
系统会在两个参数中取较小者，作为最终的BE导入任务内存使用上限。load_process_max_memory_limit_percent：表示对BE总内存限制的百分比。默认为80。总内存限制mem_limit默认为80%，表示对物理内存的百分比。即假设物理内存为M，则默认导入...
JDBC 连接池配置示例
OceanBase 的 JDBC 驱动在默认情况下会无视 executeBatch()语句，把批量执行的一组 SQL 语句拆散，一条一条地发给数据库，此时批量插入实际上是单条插入，直接造成较低的性能。要想实际执行批量插入，需要将该参数置为 TRUE，驱动才会批量...
REINDEX
使用此选项时，PolarDB必须对需要重新生成的每个索引执行两次表扫描，并等待可能使用索引的所有现有事务的终止。此方法需要比标准索引重建更大的工作量，并且需要相当长的时间才能完成，因为它需要等待可能修改索引的未完成的事务。但是，...
深度解析Lindorm搜索索引（SearchIndex）特性
宽表引擎负责存储原始数据，具备极低的存储成本，搜索引擎负责索引和检索，两个引擎可以配置不同的CPU、内存资源，并且可以独立扩缩容。Lindorm SearchIndex 功能解析 使用举例 使用SearchIndex创建索引表时只需要枚举出索引列名即可，查询...
分区分桶
概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB 版 按分治思想对数据进行分割处理，将数据分散到分布式系统中进行处理。SelectDB中 所有的表引擎都支持如下两种的数据划分。一层：仅使用一层分区时。建表时不写分区语句即可...
实时同步常见问题
如果发生数据异常，可以重新进行全量数据初始化方案（只需要将中间加列的表剔除，然后重新进行数据初始化，不需要将整个任务所有表进行全量初始化），恢复正确数据。源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
更新或删除数据（UPDATE|DELETE）
当用户需要更新表或分区中的少量数据时，如果通过 insert 操作实现，需要先读取表的全量数据，然后通过 select 操作更新数据，最后通过 insert 操作将全量数据写回表中，效率较低。使用 delete、update 功能后，系统无需写回全部数据，写...
- 产品推荐
- 这些文档可能帮助您