外部数据
简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问...
PyODPS节点实现避免将数据下载到本地
当数据量大于10 MB时，不建议进行本地数据处理。常见的将数据下载到本地的操作如下：Head、Tail和To_pandas方法的调用。通常，可以调用 head、tail 方法返回少量数据进行数据探查，当数据量较大时，建议调用Persist方法，将数据直接保存在...
数据开发：开发者
您也可以在创建表后，使用直接上传方式，将本地数据上传至DataWorks的源表，再通过计算节点进行清洗加工，将加工后的数据存储至结果表。本文使用直接上传本地数据，并通过计算类型节点清洗该表数据为例进行说明。进入数据开发 登录 ...
下载备份
若归档日志是用于恢复到本地数据库，请注意如下事项：归档日志的所在实例编号必须与数据备份的备份所在实例编号一致。归档日志的起始时间段必须在您选择的数据备份时间点之后，在要恢复数据的时间点之前。在弹出的对话框中，阅读并勾选相关...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）逻辑表实例 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）离线整库迁移 为了满足更丰富的场景，Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle...
文档更新动态（2022年之前）
更新说明 逻辑表实例 2021年08月24日 离线整库迁移 为了丰富元表的数据来源，支持基于Hologres数据源新建元表为了满足更丰富的场景，Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for ...
PyODPS概述
需要注意的是，PyODPS提供了多种方便拉取数据到本地的操作，如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，...
迁移RDS PostgreSQL数据到本地PostgreSQL
阿里云数据库PostgreSQL版支持通过逻辑备份文件将云上数据迁移到本地数据库。前提条件 本地已安装PostgreSQL，且数据库大版本与RDS PostgreSQL相同。说明 本文所使用的备份工具pg_dump是PostgreSQL的自带工具，在本地安装PostgreSQL的同时...
数据迁移和同步方案概览
云数据库ClickHouse提供了多种数据迁移和同步方案，可满足不同业务场景下数据库的数据迁移和同步需求。...阿里云云数据库ClickHouse 云数据库ClickHouse实例间的数据迁移 从本地数据导入 本地数据 从clickhouse-client导入 从Spark导入
准备工作概览
例如待迁移的本地数据库具备公网地址（即数据库服务开放至公网），执行完对应的准备工作后，即可在配置数据迁移任务时，选择实例 接入方式 为 公网IP。准备工作概览 适用场景 传输数据所用的网络 需执行的准备工作 配置时需选择的接入方式 ...
同步数据
通过Kettle将关系型数据库、Hbase等NoSQL数据源，以及Excel、Access中的数据导入分析型数据库MySQL版中，详细操作步骤请参见 使用kettle将本地数据导入分析型数据库MySQL版。通过 Logstash 插件将采集到的日志等数据等实时写入分析型数据库...
数据迁移方案概览
下表列出了RDS支持的上云、迁云、数据导出场景以及相关的操作链接：使用场景 相关操作 将本地数据库迁移到云数据库 SQL Server实例级别迁移上云 自建SQL Server迁移至RDS SQL Server 自建SQL Server通过物理网关迁移上云（自建数据库所在...
工作原理
数据库网关提供私网数据库远程...通道建立后，当您在云端使用某数据库产品（如DMS、DBS）需要访问该网络内的本地数据库时，数据库产品会通过已建立好的通道，访问至您的本地网络。相关操作 准备工作 新建数据库网关 添加数据库 查看网关状态
通过VPN网关实现本地IDC与DTS云服务互通
企业可以通过公网网络类型的VPN网关在本地数据中心和VPC之间建立IPsec-VPN连接，实现本地数据中心和VPC之间的加密互通，然后在本地数据中心和VPC之间加密互通的基础上使用DTS实现本地数据中心下的数据自动同步至VPC的数据库中。前提条件 您...
上传数据
前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可参见 创建MaxCompute表。使用限制 当前仅支持上传本地数据至MaxCompute表。上传数据操作入口 您可以在数据...
备份下载的常见问题
RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到本地数据库。详情请参见 RDS MySQL物理备份文件恢复到自建数据库、RDS MySQL逻辑备份文件恢复到自建数据库 或 RDS MySQL快照备份文件恢复到自建数据库。...
备份下载的常见问题
RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到本地数据库。详情请参见 RDS MySQL物理备份文件恢复到自建数据库、RDS MySQL逻辑备份文件恢复到自建数据库 或 RDS MySQL快照备份文件恢复到自建数据库。...
备份下载的常见问题
RDS控制台下载的备份文件无法直接恢复到新的RDS实例中，您可以：先将RDS备份恢复到本地数据库。详情请参见 RDS MySQL物理备份文件恢复到自建数据库、RDS MySQL逻辑备份文件恢复到自建数据库 或 RDS MySQL CSV或SQL文件恢复到自建数据库。...
创建数据库
如果您要迁移本地数据库到RDS，请在RDS实例中创建与本地数据库一致的迁移账号和数据库。创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 数据库管理。单击 创建数据库。设置如下参数。参数 说明 数据...
什么是数据库网关
通道建立后，当您在云端使用某数据库产品（如DMS、DBS）需要访问该网络内的本地数据库时，数据库产品会通过已建立好的通道，访问至您的本地网络。DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）...
数据迁移方案概览
RDS提供了多种数据迁移方案，可满足不同上云或迁云的业务需求，使您可以在不影响业务的情况下将数据在其他...RDS实例间的数据库迁移 使用DTS迁移实例 使用一键上云迁移实例 将RDS数据迁移到本地数据库 迁移RDS PostgreSQL数据到本地PostgreSQL
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
迁移流程
创建及执行数据迁移任务，完成本地数据到闪电立方III型设备的迁移。具体操作，请参见 复制本地数据。设备下电和通知阿里云取回设备。具体操作，请参见 数据上云及校验。说明 当本地迁移完成后，由阿里云工作人员完成以下两步操作。阿里云...
迁移流程
创建及执行数据迁移任务，完成本地数据到闪电立方II型设备的迁移。具体操作，请参见 复制本地数据。设备下电和通知阿里云取回设备。具体操作，请参见 数据上云及校验。说明 当本地迁移完成后，由阿里云工作人员完成以下两步操作。阿里云...
添加适配数据源
如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 说明 当前数据集功能支持以下数据源类型：RDS for PostgreSQL、RDS for MySQL、兼容MySQL数据库、交互式分析 Hologres。操作步骤 登录 DataV控制台。在 功能导航 模块单击...
添加适配数据源
如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 当前数据集功能仅支持以下三种数据源类型：RDS for MySQL 兼容MySQL数据库 RDS for PostgreSQL 操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据源...
数据集成支持的数据源
例如，将本地数据库MySQL的数据迁移至阿里云数据库RDS中。整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移...相关信息 使用DTS同步RDS MySQL数据 使用数据集成迁移数据至分析型数据库MySQL版 使用kettle将本地数据导入分析型数据库MySQL版 在程序中通过AnalyticDB MySQL版Client高效写入数据
常见问题
如何恢复到原实例或已有实例或本地数据库？恢复位置 恢复方法 恢复到原实例 方法一：先 恢复到新实例，验证数据后，再将部分或全部库表数据 迁移至原实例。方法二：使用库表恢复功能将全量数据恢复至原实例，具体请参见 恢复库表。方法三：...
调试实时任务
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
流程简介
接入数据 配置模型编排中使用到的数据表、本地数据及API。接入算子 配置模型编排中使用到的算子。系统支持的脚本算子类型有：SQL。创建模型 模型为数据探索的核心部分，将数据及算子编排成模型，并对模型列表进行统一管理，包含模型版本...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
什么是数据库网关
简单易用：无需大量的网络配置和路由配置，仅需要简单几步，就可以将本地数据库接入阿里云。使用低成本：提供免费的数据库接入服务。无需单独购买ECS（Elastic Compute Service）、无需单独购买VPC（Virtual Private Cloud）网络、无需单独...
添加数据库
您可以选择以下任意一种方式：在创建数据库网关时，进入 添加本地数据库 步骤，单击 添加数据库 按钮。有关创建数据库网关的信息，请参见 新建数据库网关。进入控制台，单击左侧导航栏中的 网关列表，进入 网关列表 页面，然后单击运行中的...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
使用mysqldump将自建MariaDB数据库迁移上云
mysqldump-h localhost-u<本地数据库用户名>-p-opt-default-character-set=utf8-hex-blob<想要迁移的数据库名>-skip-triggers>/tmp/<想要迁移的数据库名>.sql 示例 说明 下文中的user用户需要具备相关权限，权限设置的详细操作，请参见 ...
- 产品推荐
- 这些文档可能帮助您