DISTRIBUTED MAPJOIN
Distributed MapJoin是MapJoin的升级版，适用于大表Join中表的场景，二者的核心目的都是为了减少大表侧的Shuffle和排序。注意事项 Join两侧的表数据量要求不同，大表侧数据在10 TB以上，中表侧数据在[1 GB,100 GB]范围内。小表侧的数据需要...
DISTRIBUTED MAPJOIN
Distributed MapJoin是MapJoin的升级版，适用于大表Join中表的场景，二者的核心目的都是为了减少大表侧的Shuffle和排序。注意事项 Join两侧的表数据量要求不同，大表侧数据在10 TB以上，中表侧数据在[1 GB,100 GB]范围内。小表侧的数据需要...
性能调优
说明 对于数据量非常大的表，如果分片值太小，会导致分片数量过多，从而导致Tablestore服务压力增大，经常产生超时，影响数据写入链路的稳定性。如果当前要访问的Tablestore数据量大于10GB，则当前分片值建议为256MB；如果Tablestore数据量...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
立林人行设备接入
功能定义：选择已有模型，对应设备名称选择“智慧社区/人员通行/人脸门禁”门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为 192.168.1.200 端口号：立林 门禁设备对外提供的网络访问端口号固定是 ...
艾特人行设备接入
配置示例为：人脸门禁设备000028 功能定义：艾特门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：艾特 ...
时序分析存储概述
分析存储能够自动同步时序表数据，在数据写入速率稳定的情况下，同步操作的延迟通常在10分钟内，如果业务压力过大，分析存储会优先保证存储稳定性，同步延迟会略微增加。功能特性 分析存储支持的功能特性说明请参见下表。功能特性 说明 ...
狄耐克人行设备接入
配置示例为：人脸门禁设备000028 功能定义：狄耐克门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：狄...
海康人行设备接入
配置示例为：人脸门禁设备000028功能定义：海康门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：海康 ...
太川人行设备
配置示例为：人脸门禁设备000028 功能定义：太川 门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：太川 ...
冠林人行设备接入
配置示例为：人脸门禁设备000028 功能定义：冠林门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：冠林...
中证科技人行设备
配置示例为：人脸门禁设备000028 功能定义：中证科技门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：...
京希人行设备
配置示例为：人脸门禁设备000028 功能定义：选择已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：京希 门禁设备对外...
大华人行设备接入
配置示例为：人脸门禁设备000028 功能定义：大华 门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：大华 ...
富士人行设备
配置示例为：人脸门禁设备000028 功能定义：富士门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：富士...
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
罗格朗人行设备接入
其中：设备名称：参照甲方提供的设备信息表>，在 人行-罗格朗 TAB页查看设备 IP,例如10.249.38.253。然后在设备信息表>的 通用模板 TAB页，根据IP地址查找门禁控制器 设备IP 对应的 IoT编码，每个门禁设备的IoT编码不同。人脸门禁配置示例...
通力人行设备
配置示例为：人脸门禁设备000028 功能定义：通力 门禁设备为已有模型，对应设备名称选择"智慧社区-人员通行-人脸门禁"门禁类型：选择“人脸门禁”IP：参照甲方提供的<设备信息表>中的该门禁 设备IP。输入示例为10.249.32.40 端口号：通力 ...
宇视人行设备接入
其中：设备名称：参照甲方提供的<设备信息表>中的门禁设备的 IoT编码，每个门禁设备的IoT编码不同。人脸门禁配置示例为：HJSB-000205.1。其中"HJSB-000205"是该设备的IoT编码，".1"标识人脸门禁设备 设备别名：参照甲方提供的<设备信息表>...
数据湖管理FAQ
您的库表中表的数量过多，有几千个表，可能会导致同步超时。同步超时的表没有索引字段或者整型UNIQUE KEY字段，导致Presto计算Split任务运行超时。解决方案：您可以调整建仓高级配置，设置并发数为 connections-per-job=1。详情请参见文档 ...
OOM常见问题排查指南
关于该问题产生的原因、主要影响和解决方法具体如下：产生原因 元数据占用内存多 表现为Meta内存使用率高：表数据量增加，数据总量也随之增加，元数据占用内存多，当没有任务运行时，内存水位也会高，通常建议一个Table Group下不要超过...
表分区
PolarDB支持基本的表划分。本节介绍为何以及怎样把划分实现为数据库设计的一部分。简介 划分指的是将逻辑上的一个大表分成一些小的物理上的片。划分有很多益处：在某些情况下查询性能能够显著提升，特别是当那些访问压力大的行在一个分区...
通过DTS导入数据
否则您需要在 配置任务对象高级配置 步骤中勾选 库表结构同步，并在 配置库表字段 把该表配置为unique模型，同时需要您手动配置主键列。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报...
PolarDB MySQL版8.0.2版本发布日志
支持在多主集群（库表）中使用Concurrency Control和Statement Outline，当在多主集群（库表）的某个主节点上增加或删除Concurrency Control和Statement Outline后，集群上的其他主节点会自动同步增加或删除Concurrency Control和Statement...
测试指标
由于所有的压力测试为同步请求，故请求QPS与压力器数量和平均延时呈一定的关系，关系如下：Total QPS=1000/平均延时*5（压力器数量）*每台压力器的线程数 例如，在 4分区-5Runner-5 线程的场景下，如果平均延时为4ms，那么单线程的理论QPS...
宽表模型设计
数据表结构 假设存储车辆元数据的数据表名称为vehicles_metadata，表结构请参见下表。说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String 车辆识别代码，即车架号，用于唯一标识车辆。v_color String ...
Flink数据导入
步骤二：数据写入 通过SQL语句在Flink中创建源表和结果表，并通过源表和结果表将数据写入 AnalyticDB MySQL 中。步骤三：数据验证 登录 AnalyticDB MySQL 目标数据库，来查看并验证源数据是否成功导入。步骤一：数据准备 在其中一个Flink...
MySQL整库离线同步到OSS
并发数大，同步任务速率高，但相对也会消耗更多的资源组槽位，并发数小，同步速率相对较低，相对消耗的资源组槽位也较少 离线任务是否开启限流 您可以通过限流控制同步速率，以保护读取端数据库，避免抽取速度过大，给源库造成太大的压力，...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您通过 匹配规则 入口选择同步对象，RDS PostgreSQL 实例需要订阅已选数据库的所有表（包括已选表、未选表和新增表），且所有表均需要包含主键，或者表级复制标识 REPLICA IDENTITY 为 FULL，否则将导致业务数据更新、删除操作失败。...
PolarDB-X 2.0迁移至Tablestore
若迁移对象为表级别，且需进行编辑（如表列名映射），单次迁移任务的表数量超过5000时，建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务，否则任务提交后可能会显示请求报错。若源端 PolarDB-X 2.0 待迁移的表名中含大写...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
SQLServer增量同步模式 非堆表用日志解析增量同步，堆表用CDC增量同步：优点：支持源库堆表、无主键表、压缩表、含计算列表等场景。链路稳定性较高。能拿到完整的DDL语句，DDL场景支持丰富。缺点：DTS会在源库中创建触发器dts_cdc_sync_ddl...
2024-01-04版本
MySQL MongoDB作为源表支持表结构变更同步和自动加列 MongoDB作为源表时可以通过CTAS或CDAS语句将表结构变更同步到下游存储，支持自动加列。CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句 支持将MongoDB作为维表 MongoDB...
RDS MySQL迁移至云原生数据仓库 AnalyticDB ...
如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。Binlog日志：需开启Binlog...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。Binlog日志：在PolarDB-X 2.0控制台参数设置...
Blink和Flink常见问题及诊断
表类型 默认连接数（Flink作业的每个并发）Binlog源表 0 批量源表 1 维表 3（可以通过 connectionSize 参数调整）结果表 3（可以通过 connectionSize 参数调整）连接数计算方法 默认情况 默认情况下，作业使用的最大连接数可以通过如下公式...
使用数据传输迁移数据
全部表：指具备主键的表、唯一键表和无唯一键表，但不包含临时表。数据传输仅支持对具备有主键的表或具备非空唯一键的表进行全量数据校验。单击 下一步。如果您选择场景类型为 仅支持唯一键表迁移，还需要单击弹出提示框中的 我知道了。在 ...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
全部表：指具备主键的表、唯一键表和无唯一键表，但不包含临时表。数据传输仅支持对具备有主键的表或具备非空唯一键的表进行全量数据校验。单击 下一步。如果您选择场景类型为 仅支持唯一键表迁移，还需要单击弹出提示框中的 我知道了。在 ...
RDS MySQL同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
SQLServer增量同步模式 非堆表用日志解析增量同步，堆表用CDC增量同步：优点：支持源库堆表、无主键表、压缩表、含计算列表等场景。链路稳定性较高。能拿到完整的DDL语句，DDL场景支持丰富。缺点：DTS会在源库中创建触发器dts_cdc_sync_ddl...
- 产品推荐
- 这些文档可能帮助您