迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您通过 匹配规则 入口选择同步对象，RDS PostgreSQL 实例需要订阅已选数据库的所有表（包括已选表、未选表和新增表），且所有表均需要包含主键，或者表级复制标识 REPLICA IDENTITY 为 FULL，否则将导致业务数据更新、删除操作失败。...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您通过 匹配规则 入口选择同步对象，RDS PostgreSQL 实例需要订阅已选数据库的所有表（包括已选表、未选表和新增表），且所有表均需要包含主键，或者表级复制标识 REPLICA IDENTITY 为 FULL，否则将导致业务数据更新、删除操作失败。...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
创建混合分区
比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能，也不影响对热数据执行DML操作。说明 创建混合分区表功能目前处于灰度阶段。如需使用，请前往 配额中心，根据 配额ID ...
基于MaxFrame实现分布式Pandas处理
MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据，通过MaxFrame，您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。前提条件 已安装MaxFrame...
文档更新动态（2022年）
更新说明 配置离线单条管道 2022年07月19日 汇总逻辑表升级 新增衍生指标，可以基于已有的派生指标，通过二次运算快速创建新的指标。汇总逻辑表注册上挂指标取消来源表负责人为当前操作人的限制，允许上挂所有的有读权限的物理表字段。更新...
Kafka单表实时入湖OSS（HUDI）
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与OSS表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个OSS表列，不允许多个上游列映射到一个OSS表列，当上游列未配置到OSS表列的映射时，...
外部表自动加载（Auto Load）
本文为您介绍如何使用Auto Load外部表自动加载的功能，实现MaxCompute和OSS数据的按需自动加载以及全量自动加载。应用场景 Hologres与 云原生大数据计算服务MaxCompute、阿里云数据湖构建（Data Lake Formation，DLF）和 阿里云对象存储...
OSS数据湖加速
创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public schema，并且检验是否存在该外部表，若存在，则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
共享集群（OSS数据湖加速）
创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema，并且检验是否存在该外部表，若存在，则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER dlf_...
产品计费
1~20个实例 200元/实例/月 2,000元/实例/月 21~50个实例 1,800元/实例/月 51~100个实例 1,600元/实例/月 101~200个实例 1,400元/实例/月 200个以上实例 1,200元/实例/月 OSS存储容量 1,000 GB~10,000 GB 150元/1000 GB/月，购买步长为1000...
使用数据传输迁移数据
全部表：指具备主键的表、唯一键表和无唯一键表，但不包含临时表。数据传输仅支持对具备有主键的表或具备非空唯一键的表进行全量数据校验。单击 下一步。如果您选择场景类型为 仅支持唯一键表迁移，还需要单击弹出提示框中的 我知道了。在 ...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
数据脱敏
脱敏源为 RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表 时配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括：RDS表、PolarDB-X表、MaxCompute表、...
OceanBase 数据库之间的数据迁移
本文为您介绍如何使用数据传输迁移 OceanBase 数据库的数据至 OceanBase 数据库同类型租户中。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
迁移ECS自建MySQL数据库至MaxCompute
本文为您介绍如何使用独享数据集成资源，将您在ECS上自建的MySQL数据库中的数据，迁移到MaxCompute。前提条件 已拥有至少一个绑定专有网络VPC的ECS（请勿使用经典网络），并在ECS上安装好MySQL数据库，数据库中已创建好用户和测试数据。...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
文档修订记录
Tablestore数据源 Tablestore Stream数据源 2023.4.7 新增功能 数据集成 DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表。IoT数据源 2023年3月更新记录 时间 特性 类别 描述 ...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 快速创建RDS MySQL实例。已创建目标 AnalyticDB PostgreSQL版Serverless模式 实例，且实例内核版本为V1.0.3...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
Check节点
策略二：检查目标分区在指定时长是否有更新 若Check节点检查到MaxCompute分区表的目标分区在指定时长内未更新，则表示该分区的数据已产出完成，平台即认为MaxCompute分区表数据已可用。FTP文件或OSS文件 若Check节点检查到目标FTP文件或OSS...
功能更新动态（2023年）
数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 数据探查 新增数据探查功能（需开通质量模块才可使用该功能），支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务。支持配置探查数据范围...
文档更新动态（2023年）
新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看及管理资产专题 资产全景及目录-数据探查（需开通质量模块才可使用该功能）新增数据探查功能，支持针对物理表、物理视图、逻辑表配置自动探查和手动探查任务...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
数据湖管理FAQ
在SLS投递数据所在的OSS region上，使用“OSS元数据发现”来替代“SLS元数据发现”任务，进而实现自动建表时查询SLS所投递的数据。OSS存储CSV格式文件时，为什么OSS元数据发现不出任何表？这种情况一般原因有：某个字段值超过了4096字节...
OSS与ClickHouse间的数据导入与导出
OSS兼容S3协议，您能够在EMR ClickHouse集群上通过S3表引擎或S3表函数读写OSS中的数据。本文为您介绍如何将OSS中的数据导入至ClickHouse集群及如何将ClickHouse集群上的数据导出至OSS。前提条件 已在OSS上创建存储空间，详情请参见 控制台...
公告
监控告警新增对象根据项目和数据表级别自动配置对应的告警，减少批量配置成本，支持按照任务类型和调度类型配置项目级别的告警，支持逻辑表整表配置表级别的监控告警。数据标准新增数据分级、数据分类、值域、是否唯一值等系统属性，此类...
同步 OceanBase 数据库的数据至 DataHub
例如，已选择结构同步的情况下，您使用了新建 Topic 和选择已有 Topic 两种映射方式，或通过重命名的方式更改了 Topic 的名称，会因为选项冲突导致预检查报错。参数 描述 新建 Topic 在文本框中输入新建 Topic 的名称。支持 128 位以内的...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
迁移服务（MMA）
步骤一：安装UDTF 使用MaxCompute迁移功能时，需要在Hive服务器上安装UDTF（Unified Data Transfer Service）并自定义Hive UDTF函数，利用Hive UDTF函数来获取、转换、上传数据到MaxCompute，以实现复杂数据的迁移。关于Hive UDTF详情，请...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
EMR 3.32及之前版本和EMR 4.5及之前版本，创建时会自动绑定该角色。在EMR集群之上运行的应用程序通过该角色来获得与其他云服务交互的权限，实现以免AccessKey的方式访问阿里云资源，避免了在配置文件中暴露AccessKey的风险。前提条件 已...
- 产品推荐
- 这些文档可能帮助您