配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
结束和释放数据迁移项目
结束数据迁移项目 结束数据迁移项目后，数据传输仍保留当前项目的源端、目标端、迁移对象、监控和告警等配置信息。您可以根据业务需求，选择清空项目配置后重新配置或者释放当前项目。重要 数据传输支持结束处于 已暂停、失败 和 已完成 ...
API概览
本产品（云数据库 OceanBase 版/2019-09-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足...
新建 TiDB 数据源
建议您为数据迁移项目创建一个专属的数据库用户，该用户必须具备相关的数据操作权限。详情请参见 创建 TiDB 数据库用户。如果您需要订阅 TiDB 增量日志，请准备 Kafka 数据源和 Kafka Topic。并且，请根据 TiDB 官方文档，提前创建 TiDB ...
启动和暂停数据迁移项目
启动数据迁移项目 配置数据迁移项目时，如果在预检查完成后仅保存该数据迁移项目，未进行启动，则需要在迁移项目列表中手动启动数据迁移项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击未...
查看工作空间信息
您可通过数据地图查看当前租户下的工作空间列表以及工作空间的详细信息，并对工作空间的项目或数据库执行相关管理操作。进入工作空间 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入...
数据开发概述
Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod 项目支持 规范建模 和 数据处理 功能。数据开发入口 在Dataphin首页，单击顶部菜单栏 研发。在数据 开发 页面，左侧导航栏为您展示数据开发各功能模块的入口按钮。数据开发界面...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
设置告警
数据传输支持对数据迁移和数据同步项目进行监控项的配置。项目创建完成后，您可以对单个项目设置告警监控，也可以选择多个项目进行批量操作。本文以数据迁移项目为例，为您介绍如何设置告警监控。背景信息 告警监控功能是数据传输重要的运...
数据开发概述
Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod 项目支持 规范建模 和 数据处理 功能。智能编辑器：Dataphin代码编辑器不仅支持基本的代码高亮、代码补全，还支持智能代码提示、权限校验等功能。助您降低开发成本，更快的交付...
修改告警
数据传输支持修改已启动告警监控功能的数据迁移和数据同步项目的告警监控设置。本文以数据迁移项目为例，为您介绍如何修改告警监控。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。如果您需要设置数据同步...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
项目协同管理
背景信息 Web 版 ODC V4.2.0 支持拥有创建项目权限的用户创建项目和添加项目成员，成员可以在项目中添加和变更数据库。本篇文档旨在介绍如何通过项目协同实现数据库变更。原理介绍 ODC 系统管理员授予用户创建项目的角色后，该用户创建项目...
ProjectProtection
相关命令 ADD TRUSTEDPROJECT：在当前项目空间中添加可信的项目空间，通过项目互信的方式确保数据顺利流转。LIST TRUSTEDPROJECTS：在当前项目空间中查看已添加的可信的项目空间。REMOVE TRUSTEDPROJECT：在当前项目中删除已添加的可信的...
结束数据同步项目
本文为您介绍如何结束数据同步项目。使用限制 数据传输支持结束处于 已暂停、失败 和 已完成 状态的数据同步项目。操作步骤 项目结束后，仍保留当前项目的配置信息，您可以根据需要选择清空项目配置后重新配置。详情请参见 清空项目配置。...
下载和导入同步对象配置
数据传输支持下载数据同步项目的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。下载对象配置 新建数据同步项目后，您可以下载同步对象的配置信息。...
权限管控与隔离
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
权限管控与隔离
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
新建 Oracle 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
数据迁移流程
数据传输提供数据迁移功能，帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
附录：数据地图权限管控能力总览
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
批量操作数据同步项目
本文为您介绍如何使用数据传输对数据同步项目进行批量操作。背景信息 数据传输支持在 同步项目列表 页面，对数据同步项目进行批量操作。不同状态的数据同步项目支持不同的批量操作。数据同步项目的状态 支持的批量操作 未配置 无 未启动 ...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
批量操作数据迁移项目
本文为您介绍如何使用数据传输对数据迁移项目进行批量操作。背景信息 数据传输支持在 迁移项目列表 页面，对数据迁移项目进行批量操作。不同状态的数据迁移项目支持不同的批量操作。数据迁移项目的状态 支持的批量操作 未配置 无 未启动 ...
新建 MySQL 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
引用和清空数据迁移项目配置
本文为您介绍如何引用和清空已有数据迁移项目的配置。引用项目配置 重要 目前处于 未配置 状态的数据迁移项目支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击未配置的目标...
引用和清空数据同步项目配置
本文为您介绍如何引用和清空已有数据同步项目的配置。引用项目配置 重要 目前处于 未配置 状态的数据同步项目支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 数据同步 页面，单击未配置的目标...
新建 PolarDB-X 1.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB 数据源。背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的 PolarDB 分布式版数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生...
使用限制
研发工作台 数据处理 不支持项目所属的计算引擎源在跨集群的情况下读取数据。非Dataphin创建的表，Dataphin中元数据可能无法获取或者更新相关信息。研发工作台 即席查询 逻辑表查询时，必须使用业务板块的英文名作为前缀。跨项目物理表使用...
新建 DataHub 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 DataHub 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
授权与回收表权限
② 列表区 为您展示数据对象的名称、数据板块、表所在项目、数据负责人、权限个数信息，同时，您可以在 操作 列下对数据表进行 授权、查看权限列表 操作。授权：可选择单个数据表进行授权，在 表授权 对话框，填写需授权的用户、权限类型及...
授权与回收表权限
② 列表区 为您展示数据对象的名称、数据板块、表所在项目、数据负责人、权限个数信息，同时，您可以在 操作 列下对数据表进行 授权、查看权限列表 操作。授权：可选择单个数据表进行授权，在 表授权 对话框，填写需授权的用户、权限类型及...
云数据库 OceanBase 版数据传输服务等级协议
1.定义 1.1 OceanBase 数据传输服务项目：指 OceanBase 数据传输服务根据用户不同使用场景建立的数据传输链路，用户可基于项目的维度使用和管理数据传输链路（如数据迁移项目，数据同步项目等）。1.2 服务周期：一个服务周期为一个自然月。...
配置匹配规则
在增量同步的过程中，如果新建表满足匹配规则，相关的 DDL 语句会被忽略，但数据传输会继续同步 DML 语句，这样会造成无法写入目标端对象而造成数据迁移或数据同步项目中断，因此您需要在目标端新建表或者将表加入黑名单。
下载和导入迁移对象配置
数据传输支持下载数据迁移项目的迁移对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认迁移对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。导入对象功能通常适用于百+对象进行批量重命名和设置操作。下载对象...
- 产品推荐
- 这些文档可能帮助您