OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
使用数据传输迁移数据
如果开启，请设置 RPS（反向增量同步阶段每秒最多可以同步至源端的数据行数的最大值限制）和 BPS（反向增量同步阶段每秒最多可以同步至源端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，反向增量同步实际可以...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
索引重建导数原理
RDS数据源+DTS增量+API推送 OpenSearch数据源+DTS增量+索引重建中API增量 OpenSearch数据源+RDS全量+DTS增量+索引重建中API增量 OpenSearch数据源+RDS全量+DTS增量+索引重建中API增量 OpenSearch数据源+主表条件过滤+DTS增量+索引重建中API...
图编辑
需配置索引字段和pkey（主键）字段 字段结构 该数据表包含的字段属性 导入字段：如果是MaxCompute数据源，提前进行可读权限授权，具体请参考 离线存储授权 数据TTL及Done分区 数据TTL:数据生命周期 如果是API更新（即增量表）需要填入合适...
新功能发布记录
批量导出与导入 单表导出与导入 导出导入任务列表 导出任务 2023 年 2 月 27 日 功能名称 功能描述 相关文档 新增功能 备份恢复 支持通过异地备份文件将集群恢复到异地备份所在地域；支持集群用所在地域的其他集群的异地备份文件进行恢复，...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的增量数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
导入历史日志文件
Logtail只采集增量日志。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1...
功能特性
功能集 功能 功能描述 参考文档 导入迁移源 通过命令行一键导入迁移源 您可以在SMC控制台按需生成激活码命令，然后在源服务器中一键执行该激活码命令，以导入迁移源。通过命令行一键导入迁移源 通过控制台自动导入迁移源 在SMC控制台简单...
跨租户发布概述
跨租户发布过程中，若需要导出或导入标签架构、标签、质量对象，请先开启相关功能。进行跨租户发布前，请确保目标环境已完成租户的计算引擎设置。更多信息，请参见 计算设置概述。来源环境与目标环境所设置的 计算引擎需保持一致，否则将...
实时物化视图
应用增量（Apply Delta）：指对实时物化视图插入/删除计算出来的物化视图增量数据，以保持实时物化视图与基表的数据一致性。使用限制 实时物化视图的视图定义具有以下限制：基表必须是普通表和列存表，不能是分区表或继承表。仅支持使用 ...
实时物化视图
应用增量（Apply Delta）：指对实时物化视图插入/删除计算出来的物化视图增量数据，以保持实时物化视图与基表的数据一致性。使用限制 实时物化视图的视图定义具有以下限制：基表必须是普通表，不能是分区表和继承表。仅支持使用 INNER JOIN...
实时物化视图
应用增量（Apply Delta）：指对实时物化视图插入/删除计算出来的物化视图增量数据，以保持实时物化视图与基表的数据一致性。使用限制 实时物化视图的视图定义具有以下限制：基表必须是普通表，不能是分区表、继承表或列存表。仅支持使用 ...
MaxCompute（原ODPS）数据源配置
如果您要导入到OpenSearch的数据是由MaxCompute平台计算而产生的，则可以在应用中配置MaxCompute源信息，在触发应用索引重建任务后，系统会自动去获取 MaxCompute 表中的全量数据，后续的增量需通过调用SDK API推送过来。设置账号AccessKey...
跨租户发布概述
步骤四：在目标环境导入发布文件 在目标环境中，跨租户发布使用人导入发布包文件。具体操作，请参见 导入发布包。步骤五：在目标环境发布待发布对象 在目标环境中，根据业务需求选择导入的发布包并发布待发布对象。具体操作，请参见 发布包...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您需要进行增量同步，请完成以下前置操作：增量同步时，数据传输不支持 DDL 的自动同步。如果待同步的表需要进行 DDL，请先手动在目标端执行该 DDL 语句，再在源端 RDS PostgreSQL 实例中执行。为确保执行 DDL 语句后的增量 DML 能够...
索引重建导数原理
应用类型 某用户的数据来源 定时索引重建 线下变更 高性能检索版 RDS/polarDB RDS/polarDB全量 RDS/polarDB全量 RDS/polarDB+DTS增量 RDS/polarDB全量+DTS增量 RDS/polarDB全量+DTS增量 MaxCompute全量+API推送增量 MaxCompute全量 ...
MaxCompute（原ODPS）数据源配置
如果您要导入到OpenSearch-行业算法版的数据是由MaxCompute平台计算而产生的，则可以在应用中配置MaxCompute源信息，在触发应用索引重建任务后，系统会自动去获取 MaxCompute 表中的全量数据，后续的增量需通过调用SDK API推送过来。...
OceanBase 数据库 MySQL 租户之间的数据同步
如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的...
批量助手
批量助手简介 批量助手功能可以帮助您实现对数据库迁移任务的批量发起，支持多种源端数据库到阿里云数据库的迁移，支持自定义迁移的库表映射关系，支持全量迁移任务和全量+增量迁移任务，适用于数据上云迁移、阿里云内部跨实例数据迁移等...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
在 导入同步对象 对话框中，导入需要导入的对象。您可以通过导入 CSV 文件的方式进行库表重命名、设置行过滤条件等操作。详情请参见 下载和导入同步对象配置。单击 检验合法性。完成同步对象导入后，请先检验合法性。o'o'o'o目前暂不支持列...
同步 OceanBase 数据库的数据至 RocketMQ
如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的...
创建和查看DataWorks导出任务
数据质量导入步骤会依赖周期任务导入步骤成功才会执行，因为同一个导入包里面如果同时有数据质量规则和关联的调度节点信息，您需要先把关联的节点先导入目标空间且成功提交发布了，才能将调度节点和正确的质量规则关联上。如果只单独导入...
统计表
配置统计表结构，用于导入统计表数据。统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在...
查看数据迁移项目的详情
当全量数据迁移完成后，数据传输会启动增量数据回放模块，从增量数据拉取模块中获取增量数据。增量数据经过过滤、映射和转换后，再同步至目标实例中。如果您在源端执行 DDL 后，造成 JDBCWriter 异常，从而造成数据迁移项目运行失败，页面...
概述
Tablestore中的增量数据及全量数据可以通过DataWorks的数据集成同步到MaxCompute中。背景信息 表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量...
同步 OceanBase 数据库的数据至 Kafka
如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的...
数据迁移或同步方案概览
方案 数据量 全量迁移 增量迁移 DTS：PolarDB-X 1.0间同步 PolarDB-X 1.0同步至RDS MySQL PolarDB-X 1.0同步至PolarDB MySQL 说明 仅基于RDS MySQL创建的 PolarDB-X 1.0 数据库支持通过DTS进行数据同步。大√大×大√大√评估导入导出：从...
新建增量定义
通过新建增量定义属性，方便后续命名规则设置使用，让逻辑表的命名更规范统一。本文介绍如何新建增量定义属性。背景信息 您在增量定义中创建的命名属性，可以成功的通过模型命名规则的校验。操作步骤 登录 数据资源平台控制台。在页面左上...
新建增量定义
通过新建增量定义属性，方便后续命名规则设置使用，让逻辑表的命名更规范统一。本文介绍如何新建增量定义属性。背景信息 您在增量定义中创建的命名属性，可以成功的通过模型命名规则的校验。操作步骤 登录企业数据智能平台。在页面左上角，...
订单明细
配置订单明细表结构，用于导入订单明细表数据。基于订单明细数据，可以进行 人群筛选，还可以生成 RFM模型、偏好类标签 等自定义标签，RFM模型可用于 RFM分析、人群筛选 等。前提条件 已在您配置的 计算源 中存储订单明细表，数据格式请...
用户行为
配置用户行为表结构，用于导入用户行为表数据。用户行为表记录用户的浏览、加购、收藏、购买等行为。基于用户行为数据，可以进行 人群筛选，还可以生成 AIPL模型、偏好类标签 等自定义标签，AIPL模型可用于 AIPL用户分析、AIPL流转分析、...
使用数据传输同步数据
数据传输支持通过文本导入对象，并支持对目标端对象进行更改 Topic、设置行过滤、移除单个对象或全部对象等操作。目标端对象的结构为 Topic>DataBase>Table。单击 下一步。在 同步选项 页面，配置各项参数。全量同步 在 选择同步类型 页面...
使用DTS迁移Redis
相关文档 若您的数据库无需在线迁移，您可以通过轻量级工具redis-cli，导入AOF文件进行数据迁移，更多信息请参见 使用AOF文件进行迁移。常见问题 为什么测试连接失败？请排查以下几方面：账号密码错误，Redis的密码格式为 user:password，...
产品/底座升级
在完成初次部署之后，如果需要对产品/底座进行升级，可以通过增量部署包完成。升级场景 只升级底座版本：需要使用更强的运维管控能力、或者是为了对K8s版本做升级 只升级产品版本：产品有更新，需要进行增量升级，但是无需升级底座版本 ...
查看增量定义
创建完增量定义以后，您可以通过查看增量定义详情和操作日志，了解增量定义的基本信息和操作变更详情。本文介绍如何查看增量定义。前提条件 已存在增量定义，具体操作，请参见 新建增量定义。操作步骤 登录 数据资源平台控制台。在页面左上...
开启或关闭增量日志备份
增量备份通过记录数据库事务日志，准确追踪数据库的变化操作，如插入、更新和删除。开启增量日志备份后，支持恢复到自备份后的任意时间点，增量备份的数据生命周期信息与全量备份一致。本文介绍开启或关闭增量日志备份的方法。前提条件 ...
表设计规范
其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，减少流式小量数据导入。多次导入并定时查询与计算。导入后生成中间表进行计算。合理的...
查看增量定义
创建完增量定义以后，您可以通过查看增量定义详情和操作日志，了解增量定义的基本信息和操作变更详情。本文介绍如何查看增量定义。前提条件 已存在增量定义，具体操作，请参见 新建增量定义。操作步骤 登录企业数据智能平台。在页面左上角...
- 产品推荐
- 这些文档可能帮助您