OceanBase 数据库之间的数据迁移
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。注意事项 如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。请确保源端和目标端数据库的时钟同步。RDS MySQL 数据库实例、自建数据库所在的 VPC 必须和 OceanBase 数据库实例位于同一个地域。...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。数据传输不支持 ...
云数据库录入
使用该参数的前提是数据库已开启SSL连接，当前支持如下选项：默认（DMS与数据库服务自动协商是否开启）：系统将自动识别目标数据库是否已开启SSL连接，若数据库已开启SSL连接，则DMS将通过SSL连接数据库；若数据库未开启SSL连接，则通过...
查看数据迁移项目的详情
正向切换是数据迁移必不可少的一个流程，通过正向切换，数据传输可以确保完成了数据正向迁移的相关工作，并且您可以根据业务需求启动反向增量组件。正向切换主要涉及的工作如下：您需要自行确认已完成数据迁移，并等待正向同步延迟被追平。...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
2020年
暂无 2020年8月 支持从MySQL（例如RDS MySQL、Polar MySQL、自建MySQL）迁移至有公网IP的自建Kafka，是数据同步场景的补充。从RDS MySQL迁移至自建Kafka 支持RDS PPAS 9.3、9.6、10.0版本到PolarDB O引擎的数据迁移。从RDS PPAS迁移至...
MongoDB 4.0
如果应用连接的是数据库的虚拟IP，则与数据库的连接会断开。说明 建议使用ConnectionstringURI地址来连接实例以保障高可用性，副本集实例请参见 副本集实例连接说明，分片集群实例请参见 分片集群实例连接说明。副本集实例设置主备切换 ...
设置列索引的排序键
列数据块有不同次序的组织方式，进而会产生不同组合的列数据块集合，Pruner也会有不同的过滤效果，因此，用户可以根据查询条件来修改列数据块的排列顺序，以提高查询性能。如上图所示，当执行以下SQL语句时，针对无序列数据块集合，需要...
基本概念
逻辑库（数据库）逻辑库，是数据库在逻辑上的组织结构，包括表、视图、索引等。CREATE DATABASE创建的就是逻辑数据库。一个 AnalyticDB for MySQL 集群最多可创建256个逻辑数据库。AnalyticDB for MySQL 文档中提到的数据库，都是指逻辑库...
数据服务
API分组是一个特定功能或场景的API集合，是数据服务中API的最小组织单元，对应于API网关中的分组概念。数据服务中的API发布至API网关时，系统会在API网关中自动创建一个同名的分组。如何合理设置API分组？通常将解决同一个问题或者相似功能...
专业术语
TSDB For InfluxDB® schema的基础是数据库（database）、保留策略（retention policy）、序列（series）、measurement、tag key、tag value和field key。相关术语：database，field key，measurement，retention policy，series，tag key...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
数据开发概述
类型 描述 对象组织及管理 DataWorks数据开发提供的对象组织与管理机制如下：对象组织：提供 解决方案>业务流程 两级管理模式。DataWorks基于业务流程提供目录树与可视化面板两种对象组织方式。您可通过目录树创建所需对象，或使用业务流程...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
名词解释
TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表的列名和列类型。在宽表引擎中创建的表称为 宽表，在时序引擎中创建的表称为 时序表。PRIMARY KEY 〇 〇 Primary ...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
支持的数据源
数据源类别 数据库类型 阿里云数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 MongoDB Redis PolarDB分布式版 自建数据库：ECS上的自建数据库 有公网IP:Port的自建数据库 通过专线/VPN...
常见问题
内置云安全内部保障模板是数据安全中心结合多年安全保障经验，依据以下原则制定：S3：能直接定位到具体的主体 S2：比较明显的主体特征信息 S1：相对泛化的主体特征信息 水印功能相关问题 数据安全中心支持为图片、视频的添加水印吗？...
数据标准
【数据标准】模块，主要用来对数据标准进行相关操作。添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
TPC-DS数据
简介 TPC Benchmark TM DS（TPC-DS）是全球最知名的数据管理系统评测基准标准化组织TPC（事务性管理委员会）制定的标准规范，并由TPC管理测试结果的发布。MaxCompute通过TPC-DS官方工具生成了10GB、100GB、1TB、10TB四个规格的TPC-DS数据，...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
管理数据集
本文为您介绍可视分析创作间中数据集的预览、复制、重命名、删除和编辑操作。前提条件 已完成数据集创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。（可选）在搜索框中输入关键字，...
新建 PolarDB-X 2.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB-X 2.0 数据源。背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的云原生分布式数据库，为您提供高吞吐、大...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
了解数据资源平台用户和角色体系
什么是租户 租户是数据资源平台产品使用的基本主体，为最高级权限隔离的命名空间，数据可以在租户内共享，不同租户之间数据完全隔离。一个阿里云账号即一个租户；使用阿里云账号购买数据资源平台后，该阿里云账号和其RAM子账号登录平台后，...
新建 DataHub 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 DataHub 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
创建RDS MySQL数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
- 产品推荐
- 这些文档可能帮助您