数据质量概述
配置数据质量规则去噪 去噪管理功能支持对当前工作空间某一时间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行。报告模板管理 报告模板管理页面支持您创建报告模板，添加规则配置和规则运行的各项指标，根据设置的统计周期、...
OceanBase 数据库之间的数据迁移
仅适用于 OceanBase 数据库 Oracle 租户的注意事项：如果您在迁移过程中，跳过"源端-主库-数据库 ROW_MOVEMENT 检查"预检查项，同步 ROW_MOVEMENT 为 enable 的表，会出现数据不一致的情况。支持的源端和目标端实例类型 下表中，OceanBase ...
我是普通用户
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数仓开发 数仓开发以数据库为主要计算...
修复同步作业预检查失败的问题
DTS在执行数据同步作业之前，会对源库和目标执行预检查，本文介绍各类检查项失败可能的原因及修复方法。预检查项目 失败可能的原因 修复方法 源库连接性检查 目标库连接性检查 数据库账号或密码不正确。获取到正确的密码，然后修改同步作业...
添加数据
倾斜摄影数据、三维模型数据不支持 本地上传。OSS添加：在 添加数据 配置向导页的 对象存储添加 页签，选择云计算资源、桶名称和文件，操作完成后单击 确定。说明 数据格式选择Shapefile、GeoTiff、Images三种类型时，支持批量纳管，可一次...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果目标端字段类型的精度小于源端字段类型的精度，则可能发生截断现象，导致源端和目标端的数据不一致。如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。节点之间的时钟不同步，或者电脑终端和服务器...
全增量同步任务运维
由于各种原因导致目标表数据出现了缺失或者不正确的问题。重要 强制重跑会同步源表的列到目标表，如果目标表缺失了源表的列则会进行加列补齐。执行强制重跑前，需要确认是否可能和正在运行或者即将运行的Merge任务实例产生冲突（同时运行时...
数据追踪
在DMS的SQL窗口中对数据库进行变更操作时，可能由于误更新、误删除、误写入等原因导致数据不符合预期。DMS 的数据追踪功能支持按需查找目标时间段内（数据库Binlog保存时长内）的相关更新信息，并生成回滚脚本，帮助您快速将数据恢复到变更...
FineBI
数据库与BI数据不同步 处理方法：更多详情，请参见 数据库与 BI 数据不同步。更新数据后没有结果 处理方法：单行没有结果可能是该行的计算结果为null；若整列没有结果，如果是列上有函数，可能是该函数在 AnalyticDB MySQL版 中不兼容，请...
生成测试数据
ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。规则设置 设置数据生成规则。在 规则 和 细则 列中对选择...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。如果创建数据迁移项目时，您仅配置了 增量同步，数据传输要求源端数据库的本地增量日志保存 48 小时以上。如果创建数据迁移项目时，您配置...
数据集成概述
数据一致性：数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型需要注意精度，如果目标端字段类型最大值小于源端最大值（或最小值大于源端...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
如果您在迁移过程中，跳过"源端-主库-数据库 ROW_MOVEMENT 检查"预检查项，同步 ROW_MOVEMENT 为 enable 的表，会出现数据不一致的情况。在源端为 OceanBase 数据库并开启同步 DDL 的数据迁移项目中，如果源端库表发生重命名（RENAME）操作...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的时区，否则将导致数据迁移过程中产生数据不一致的问题。库表汇聚场景下：建议您使用导入对象或匹配规则的方式映射源端和...
我是安全管理员
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据...
什么是数据传输服务DTS
什么是ETL 数据校验 为数据迁移或同步任务配置数据校验功能，监控源库与目标库数据的差异，以便及时发现数据不一致的问题。配置数据校验 DTS支持的数据库 DTS支持多种数据源类型，详情请参见 支持的数据库。使用方法 您可以通过以下方式...
本地通信HAL
接口说明：调用此接口从指定的UDP句柄接收指定长度数据到缓冲区，阻塞时间不超过指定时长，且指定长度若接收完需提前返回，源地址保存在 p_remote参数中。参数说明：参数 数据类型 方向 说明 sockfd intptr_t 输入 UDP socket句柄。p_...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
我是DBA
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
产品概述
全密态数据库如何保证数据不在云端泄漏？数据是在客户端时，用户用自己的密钥加密后发送给云数据库的。数据库无法直接接触到数据密钥，因此无法在非受信环境外解密并泄漏数据。全密态数据库如何保证密文数据还能被数据库处理？当数据需要被...
我是管理员
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL...
功能特性
结构订正 查看数据校验详情 全量数据订正 当校验出全量数据不一致时，可以根据校验结果并下载订正SQL进行订正。查看数据校验详情 增量数据订正 当校验出增量数据不一致时，可以根据校验结果进行订正。查看数据校验详情 场景化解决方案产品 ...
资产安全概述
数据分类 数据分类是对数据使用领域的设定，用于辅助对数据的敏感程度进行区分（例如公司业务数据较敏感，但是生产车间的传感器数据不敏感）。Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者...
资产安全概述
数据分类 数据分类是对数据使用领域的设定，用于辅助对数据的敏感程度进行区分（例如公司业务数据较敏感，但是生产车间的传感器数据不敏感）。Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者...
应用场景
由于缓存中的数据不能持久化，一旦缓存异常退出，那么内存中的数据将会丢失。DTS提供的数据订阅功能，可以帮助您异步订阅数据库的增量数据，并更新缓存的数据，实现轻量级的缓存更新策略。该架构具有以下优势：更新路径短，延迟低 业务完成...
MongoDB 4.4
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 5.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
查看数据迁移项目的详情
重要 如果您选择跳过，可能导致源端和目标端的数据不一致，请谨慎操作。停止正向同步 该步骤将停止正向同步服务。停止服务后，该项目中源端产生的任何数据库变更将不再同步至目标端。如果停止服务失败，数据传输提供 重试 或 跳过 操作。...
MongoDB 4.0
升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份数据恢复至自建数据库。如何将备份数据恢复至自建数据库，请参见 逻辑备份恢复至自建数据库 或 将MongoDB物理备份文件恢复至自建...
MongoDB 7.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 6.0
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 计费管理 功能 独享型云盘版 功能影响及建议 按量...
MongoDB 4.2
使用MongoShake工具实现MongoDB实例间同步（副本集间单向同步）在全量数据同步完成之前，请勿对源库进行DDL操作，否则可能导致数据不一致。不支持同步admin和local数据库。分片集群实例 说明 代表支持，代表不支持。计费管理 功能 通用型...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
Oracle数据源
支持 不支持 STRUCT 支持 支持 不支持 User-Defined Types 不支持 不支持 不支持 AnyType 不支持 不支持 不支持 AnyData 不支持 不支持 不支持 AnyDataSet 不支持 不支持 不支持 XmlType 不支持 不支持 不支持 Spatial Types 不支持 不支持...
版本发布说明
修复数据迁移/添加索引等过程中，如果表存在字符串类型，可能会导致该类型在目标表数据不正确的问题。修复TruncateTable后TableDetail视图的GSI相关数据会丢失的问题。修复alter table修改AVG_ROW_LENGTH时，执行失败的问题。修复部分非...
常用端口
如果不使用SQL Server浏览器服务，建议将UDP端口1434关闭或限制访问，以提高安全性。1521 Oracle Oracle通信端口，ECS实例上部署了Oracle SQL需要放行的端口。3306 MySQL 用于MySQL数据库对外提供服务的端口。3389 Windows Server Remote ...
添加数据源
问题现象 在 数据源管理 页面添加 RDS MySQL 数据源时，报错：失败原因：[DB_QUERY_ERROR]{"jdbcUrl":"jdbc:mysq:/10.10.10.1:5119?allowLoadLocallnfile=false&autoDeserialize=false&allowLocalInfile=false&allowUrlInLocalInfile=false...
源库连接性检查
在预检查阶段，系统会检查DTS服务器是否能够连通源端数据库。本文将介绍源库连接性检查失败的可能原因及修复方法。当源库连接性预检查失败时，可能是以下几种原因。数据库账号名或密码不正确 报错示例 Access denied for user 'XXX'@'XXX'...
- 产品推荐
- 这些文档可能帮助您