网络类型
注意事项 若当前数据库所属地域没有创建专有网络和交换机，请前往 专有网络管理控制台 创建专有网络和交换机。详情，请参见 搭建IPv4专有网络 中的步骤一创建专有网络和交换机。新建VPC后，数据库访问方式属于混访模式，即经典网络和VPC...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
ClickHouse整库数据离线同步至Hologres
本文以ClickHouse离线同步写入Hologres场景为例，为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。使用限制 ClickHouse离线同步仅支持阿里云ClickHouse 20.8、21.8版本。ClickHouse离线同步仅支持使用独享数据集成资源...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
新增和使用独享数据集成资源组
添加白名单 独享数据集成资源组和数据源同可用区时，如果同专有网络、交换机的情况下仍未连通网络，则可能是因为数据源有白名单限制。请添加以下内容至数据源的白名单列表中。使用内网连通数据源与独享资源组：添加独享资源组绑定专有网络...
创建Oracle数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文为您介绍如何创建Oracle数据订阅通道。前提条件 自建Oracle数据库的版本为9i、10g、11g版本，且不...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
重要组件
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
DLA Lakehouse实时入湖
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义；分析数据湖数据，实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS MySQL从入湖到分析的操作步骤。背景信息 数据湖分析（Data Lake Analytics）是⽬前炙⼿可热的⽅向，主要是...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
术语
硬件压缩盘（Smart-SSD）Smart-SSD是存储物理硬盘层的一种高压缩技术，SSD硬盘内嵌专用FPGA/ASIC压缩计算芯片，在数据读写访问过程中由内嵌专用芯片实时对数据进行解压缩、压缩，大幅降低了数据存储成本。同时，面向 PolarDB 专用场景进行...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
数据迁移流程
数据传输提供数据迁移功能，帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
添加AnalyticDB for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加AnalyticDB for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
DataV连接
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过 DescribeDBInstanceNetInfo-查看实例的连接地址信息 接口获取DataV需要的 AnalyticDB PostgreSQL版 VPC实例ID。域名 ...
添加RDS for PostgreSQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
添加RDS for PostgreSQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置 VPC网络需要的实例ID。因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
添加RDS for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加RDS for MySQL数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
基础版
说明 由于基础版只有一个数据节点，没有备节点作为热备份，因此当该节点意外宕机或者执行变更配置、版本升级等任务时，会出现一段时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版，可选择其他系列（如高可用版）。基础...
管理Dataphin数据源权限
申请原因 填写申请Dataphin数据源权限的原因。对象信息 区域参数不支持修改。如果需要修改，则单击页面下方的 上一步 进行修改。单击 确定。您可以在任务中心查看我发起任务的当前审批状态，详情请参见 查看我发起的任务。交还Dataphin数据...
Quick BI如何接入TSDB
TSQL地址和端口 TSDB数据库的外网地址和外网端口。AccessKey ID和AccessKey Secret TSDB实例访问权限的AccessKey ID和AccessKey Secret。单击 连接测试，进行数据源连通性测试。测试成功后，单击 确定，完成数据源的添加。您可以在数据列表...
添加PolarDB PostgreSQL数据库
本文为你介绍如何添加PolarDB PostgreSQL数据库。前提条件 添加数据库之前请先安装Ganos插件，详情请参见 GanosBase时空数据库。添加数据库前请先参见 创建PolarDB PostgreSQL实例，开通对应数据库服务并添加白名单。外网连接数据库 登录 ...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
网格热力图（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
添加PolarDB for Oracle数据源
本文为您介绍在DataV中添加PolarDB for Oracle数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容Oracle语法。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作...
添加PolarDB for MySQL数据源
本文为您介绍在DataV中添加PolarDB for MySQL数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容MySQL语法。通过内网添加数据源操作步骤 登录 DataV控制台。在 工作台...
添加PolarDB for MySQL数据源
本文为您介绍在DataV中添加PolarDB for MySQL数据源的方法，以及相关参数配置说明。云原生关系型数据库PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，100%兼容MySQL语法。通过外网添加数据源操作步骤 登录 DataV控制台。在 我的...
- 产品推荐
- 这些文档可能帮助您