使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查...因此在目标库有数据的情况下，DTS不支持进行数据迁移，所以DTS数据迁移不会覆盖掉已存在的数据。适用于 数据传输服务 DTS
PolarDB HTAP实时数据分析技术解密
优化器在确定一个表的访问方式时，会根据需要访问的数据量来决定是否启用并行执行。如果确定启用并行执行，则会参考一系列状态数据决定并行度，包括当前系统可用的CPU、Memory、IO资源、目前已经调度和在排队的任务信息、统计信息、query ...
列存索引技术架构介绍
除物理算子需要支持并行外，IMCI的优化器也支持生成并行执行计划，优化器在确定一个表的访问方式时，会根据需要访问的数据量来决定是否启用并行执行，如果确定启用并行执行，则会参考一系列状态数据（包括当前系统可用的CPU/Memory/IO资源...
数据库
所有临时文件都会被统计，忽略创建这些临时文件（例如排序或哈希）的原因，并且忽略 log_temp_files 的设置。temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略...
数据库
所有临时文件都会被统计，忽略创建这些临时文件（例如排序或哈希）的原因，并且忽略 log_temp_files 的设置。temp_bytes bigint 在数据库中被查询写到临时文件中的数据总量。所有临时文件都会被统计，忽略创建这些临时文件的原因，并且忽略...
离线同步任务调优
} } throttle 包括 true 和 false：当 throttle 设置为 true 时，表示限速，您必须设置 mbps 具体的数据值。如果没有设置 mbps，程序运行将会出错或者速率异常。当 throttle 设置为 false 时，表示不限速，则 mbps 的配置无意义。流量度量...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
PolarDB处理TPC-H查询的挑战和机遇
如果您从事查询优化和执行的工作，即使是使用OLTP（在线交易）型的数据库系统，也会和TPC-H打上交道。TPC-H是用来评估在线分析处理的基准程序，主要模拟了一个供应商和采购商之间的交易行为，其中包含针对8张表的22条分析型查询。说明 该...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
导入与导出
若源库中存在 AnalyticDB MySQL 不支持的数据类型（例如地理位置数据等类型），AnalyticDB MySQL 在进行结构初始化时会丢弃掉不支持数据类型的列。支持的数据类型，请参见 基础数据类型 和 复杂数据类型 DTS同步数据至AnalyticDB MySQL集群...
PolarDB PostgreSQL版架构介绍
未来页面的解法 未来页面 的原因是主节点刷脏的速度超过了任一只读节点的回放速度（虽然只读节点的Lazy回放已经很快了）。因此，解法就是对主节点刷脏进度时做控制：不能超过最慢的只读节点的回放位点。如下图所示：只读节点回放到T4位点。...
PolarDB PostgreSQL版架构介绍
未来页面的解法 未来页面 的原因是主节点刷脏的速度超过了任一只读节点的回放速度（虽然只读节点的Lazy回放已经很快了）。因此，解法就是对主节点刷脏进度时做控制：不能超过最慢的只读节点的回放位点。如下图所示：只读节点回放到T4位点。...
管理Dataphin数据源权限
如果需要查看字段的数据，则选择 查询权限。权限账号 系统默认选择为 应用。权限账号所属项目 系统默认选择为默认项目。应用 选择应用的分组及应用。有效期至 选择权限的截至时间。您也可以选择自定义后，指定截至时间。申请原因 填写申请...
快速开始
本章节介绍了如何快速使用弹性并行查询。注意事项 只读节点和主节点都支持并行查询功能。主节点上并行查询默认关闭。开启并行查询 在控制台基本信息的集群地址区域，单击 编辑配置，打开 编辑地址配置 页面，设置并行度参数及并行引擎，...
应用场景
数据处理流水线 使用 云工作流 可以快速搭建一个高可用的数据处理流水线（Data Pipeline）。例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做...
基于OSS外表的单表多文件查询
一般情况下，OSS外表存储的数据是冷数据，数据量比较大，当单个CSV格式的数据文件过大时，对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍...
数据导入常见问题
but got 1.Row:2023-01-01T18:29:20Z,cpu2,59.44 报错原因 发生该错误的原因是导入命令或导入语句中指定的列分隔符与源数据中的列分隔符不一致。例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入...
CREATE INDEX
这种特性可以被用来获得对基于基本数据某种变换的数据的快速访问。例如，一个在 upper(col)上计算的索引可以允许子句 WHERE upper(col)='JIM' 使用索引。PolarDB提供了索引方法 B-树、哈希、GiST、SP-GiST、GIN 以及 BRIN。用户也可以定义...
如何将一棵LSM-Tree塞进NVM
在实际的应用场景中，云上基于LSM-tree的OLTP引擎通常不会设计较大的内存表，通常为256 MB，这主要是由于以下两个原因：云上用户通常会购买较小内存的数据库实例。LSM-tree需要维持小的内存表以保证快速的刷盘操作。对于256 MB的内存表，将...
配置任务常见错误码及排查方法
DTS.Msg.InvalidIpAddress 配置 接入方式 为 公网IP、专线/VPN网关/智能网关 或 云企业网CEN 的数据库实例的DTS任务时。原因：输入的IP地址格式错误，导致无法解析。解决方法：输入正确的IP地址后重试。DTS.Msg.PauseDenied....
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
OSS/OSS-HDFS的性能优化最佳实践
OSS可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。从OSS上传和下载数据时，您的应用程序可以轻松实现每秒数千个事务的请求性能。您的应用程序可以实现存储空间（Bucket）中每个...
创建PolarDB MySQL版数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。操作步骤 购买数据订阅通道，详情请参见 购买...
创建RDS MySQL数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。操作步骤 购买数据订阅通道，详情请参见 购买...
规划工作空间
数据清洗层（ODS）：按部门划分，不同部门内数据统一口径，清洗掉不宜公开的数据，例如“ods_人力资源部”、“ods_生产部”等。任务节点：只有单一输入、单一产出的SQL任务。数据表：ODS层表。空间成员：各部门委派的数据清洗人员。资源...
并行查询
测试示例 用于测试的 AnalyticDB PostgreSQL 实例规格如下：Segment节点规格：4C32G Segment节点数量：4 在数据库中导入10 GB测试数据，并行加速前后的单表查询时间耗时如下：并行加速前 并行加速后 并行加速前 并行加速后 17456.066ms ...
热点行优化
背景信息 热点行面临以下问题：数据库中那些会被频繁执行增删改查操作的数据行称为热点行。当一个事务对一行数据进行更新时，会对目标数据行加锁，直到事务提交或回滚时才释放。同一时段内，对于同一个数据行，只有一个事务能够进行更新，...
Kyuubi概述
Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。Kyuubi和Livy以及Spark ThriftServer对比 对比项 Kyuubi Livy Spark ThriftServer 支持接口 SQL、...
DQL操作常见问题
子查询 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？交集、并集和补集 ...
数据处理
不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，返回结果可为任意类型。表格中仅提供 其他配置 中的参数说明，其他参数配置请参见 公共参数说明。输出结果：每个处理方法对相应上游节点的...
如何备份RDS只读实例
备份任务默认不支持备份后续新创建的数据库，如需备份该库，您可在备份计划配置中添加该库便于后续备份，具体操作请参见 修改备份对象。物理备份：仅支持备份整个实例。在 配置备份时间 页面，配置备份时间等信息，并单击页面右下角的 下...
RDS MySQL只读实例逻辑备份
备份任务默认不支持备份后续新创建的数据库，如需备份该库，您可在备份计划配置中添加该库便于后续备份，具体操作请参见 修改备份对象。物理备份：仅支持备份整个实例。在 配置备份时间 页面，配置备份时间等信息，并单击页面右下角的 下...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
基本概念
用户可以选择多个Mongos作为请求的入口，防止其中一个挂掉所有的MongoDB请求都无法操作。Shard MongoDB分片集群中的分片。单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
- 产品推荐
- 这些文档可能帮助您