数据地图概述
如果 数据类型 为 MaxCompute，则输入格式为 odps.项目名称.表名称 的 表GUID 后，单击 刷新。如果 数据类型 为 E-MapReduce，则配置 集群ID、数据库 和 表名 后，单击 刷新。完成上述操作后您可以在数据地图的全部数据中再次搜索关键词...
发现并处理大Key和热Key
Redis原生工具提供了 bigkeys 参数能够使redis-cli以遍历的方式分析 Tair 实例中的所有Key，并返回Key的整体统计信息与每个数据类型中Top1的大Key，bigkeys 仅能分析并输入六种数据类型（STRING、LIST、HASH、SET、ZSET、STREAM），命令...
路况层
说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。蓝图交互 在当前场景编辑器页面，单击左侧图层列表中 路况...
动态轨迹层
说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。蓝图交互 在当前场景编辑器页面，单击左侧图层列表中 动态...
超图REST栅格瓦片
说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。表 2.配置项说明 配置项 说明 受控模式 打开开关，资产...
发现并处理Redis的大Key和热Key
Redis提供了 bigkeys 参数能够使redis-cli以遍历的方式分析Redis实例中的所有Key，并返回Key的整体统计信息与每个数据类型中Top1的大Key，bigkeys 仅能分析并输入六种数据类型（STRING、LIST、HASH、SET、ZSET、STREAM），命令示例为 redis...
添加 Oracle 数据库的白名单
本文为您介绍如何添加 VPC 内自建数据库类型 Oracle 数据库的白名单。背景信息 Oracle>>OceanBase Oracle Mode 的实例类型包括 VPC 内自建数据库 和 公网 IP 自建数据库。公网 IP 是 OMA 服务的公网出口，仅访问公网数据源时，需要添加白...
创建Hologres外部表
MaxCompute与Hologres的数据类型映射，请参见 MaxCompute与Hologres的数据类型映射。提交并发布Hologres外部表。表结构定义完成后，您需将其提交至开发环境与生产环境，提交成功后才可在环境对应的引擎项目查看该表。说明 如果您使用的是...
UTL_ENCODE
UTL_ENCODE子程序总览 子程序 描述 BASE64_DECODE Function 读取BASE64编码的RAW类型输入数据，并将其解码为原始的RAW类型数据。BASE64_ENCODE Function 读取RAW类型的输入数据，将其编码为BASE64符号序列并返回对应的RAW类型数据。...
配置列映射
type：宽表中需要映射的列的数据类型，配置时区分大小写，包括以下数据类型：INT LONG STRING BOOLEAN FLOAT DOUBLE 说明 确保宽表的数据类型与配置的数据类型一致，否则会影响到索引数据的生成。在宽表引擎中需要您通过调用 Bytes.toBytes...
创建Oracle数据订阅通道
配置 说明 需要订阅的数据类型 数据更新 订阅已选择对象的增量数据更新，包含数据的INSERT、DELETE和UPDATE操作。结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。说明 如果选择整个库作为...
管理数据源
查看数据源 创建数据源后，您可以在数据源列表查看所有已创建数据源的基本信息、详情和网络连接等信息，也可以根据数据源类型进行筛选、根据数据源的创建时间进行排序，以及模糊搜索指定数据源。登录 OceanBase 管理控制台。在左侧导航栏，...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
UTL_RAW
UTL_RAW内置包提供了用于操作RAW类型数据的函数。UTL_RAW子程序总览 子程序 说明 BIT_AND Function 对RAW r1和RAW r2的值按位进行逻辑“与”运算，并返回RAW类型的计算结果。BIT_COMPLEMENT Function 对输入的RAW类型数据的值按位进行逻辑...
添加 MySQL 数据库的白名单
本文为您介绍如何添加 RDS 实例、PolarDB 实例和 VPC 内自建数据库类型 MySQL 数据库的白名单。背景信息 MySQL>>OceanBase MySQL Mode 的实例类型包括 RDS 实例、POLAR 实例、VPC 内自建数据库 和 公网 IP 自建数据库。公网 IP 是 OMA 服务...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
配置数据订阅任务
其他限制 请确认DTS对数据类型为FLOAT或DOUBLE的列的订阅精度是否符合业务预期。DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS对FLOAT的订阅精度为38位，对DOUBLE的订阅精度为308位。由于使用pt-...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
添加 Oracle 数据源的白名单
本文为您介绍如何添加 VPC 内自建数据库和数据库网关类型 Oracle 数据源的白名单。背景信息 Oracle 数据源的实例类型包括 VPC 内自建数据库、数据库网关 和 公网 IP 自建数据库。公网 IP 是 OMS 服务的公网出口，仅访问公网数据源时，需要...
自定义配置 DDL/DML
背景信息 您在配置数据迁移或数据同步项目时，如果在 选择迁移类型 或 选择同步类型 步骤选择了 增量同步，则会默认支持 DML 同步，您可以自定义配置 DML 或 DDL。DML 同步：配置数据迁移或数据同步项目时，您可以对需要同步的 DML SQL ...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
配置订阅实例
SubscriptionDataType.DDL Boolean 是 true 是否订阅DDL类型的数据，取值：true：是，为默认值。false：否。SubscriptionDataType.DML Boolean 是 true 是否订阅DML类型的数据，取值：true：是，为默认值。false：否。SubscriptionObject ...
设置增量同步位点
本文为您介绍创建数据迁移或数据同步项目时，增量同步位点的使用限制、适用场景和操作步骤。使用限制 您在创建数据迁移或数据同步项目时，迁移/同步类型选择了 增量同步，并且未选择 全量迁移/全量同步，才会支持设置增量同步位点。设置...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
数据迁移流程
数据传输提供数据迁移功能，帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据...
添加 MySQL 数据源的白名单
本文为您介绍如何添加 RDS 实例、PolarDB 实例、VPC 内自建数据库和数据库网关类型 MySQL 数据源的白名单。背景信息 MySQL 数据源的实例类型包括 RDS 实例、PolarDB 实例、VPC 内自建数据库、数据库网关 和 公网 IP 自建数据库。公网 IP 是...
新增离线数据同步任务
字段数据类型 时间字符串、整体字符串、浮点字符串、字符串。数据字段选项仅适用于关系型数据库例如：MySQL、Oracle、SQL Server、PostgreSQL等类型的数据源。适用的字段类型包括字符串类型字段，类如：Oracle字符串类型varchar,varchar2,...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
新增离线数据同步任务
字段数据类型 时间字符串、整体字符串、浮点字符串、字符串。数据字段选项仅适用于关系型数据库例如：MySQL、Oracle、SQL Server、PostgreSQL等类型的数据源。适用的字段类型包括字符串类型字段，类如：Oracle字符串类型varchar,varchar2,...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
申请、续期和交还表权限
字段列表为您展示 序号、字段名、字段描述、数据类型、数据分类、数据分级 信息。数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）。申请理由 填写申请表权限的原因。单击 提交，完成表权限的申请。数据表权限详情 在数据表权限页面，...
申请、续期和交还表权限
字段列表为您展示 序号、字段名、字段描述、数据类型、数据分类、数据分级 信息。数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）。申请理由 填写申请表权限的原因。单击 提交，完成表权限的申请。数据表权限详情 在数据表权限页面，...
2023年
什么是DTS专属集群 2023年07月 类型 重点内容 相关文档 新增 新增支持数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而实现对更多数据源类型的支持。数据投递 优化 配置 PolarDB PostgreSQL版...
- 产品推荐
- 这些文档可能帮助您