数据集成：全领域数据汇聚
数据集成资源组与网络连通 如上图所示，进行数据同步前，需通过合适的网络连通方案将数据库和数据集成资源组间的网络打通。DataWorks当前支持使用独享数据集成资源组或自定义数据集成资源组，不同资源组的属性与适用场景不同，网络连通方案...
ClickHouse整库数据离线同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...
区域下钻热力层（v2.x版本）
以下以浙江省为例，为您展示自定义数据的配置方法。参考默认区域的配置方法，修改默认数据的 area_id 为浙江省的area_id（330000）。修改默认全国范围的 area_tree.json 文件，提取浙江省范围的数据。区域层级关系为 省或直辖市>地市级>区...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果选择 全量校验，建议您在全量校验开始前，收集 OceanBase 数据库 MySQL 租户的统计信息，并使用 ANALYZE 语句收集 MySQL 数据库的统计信息。如果您选择了 增量同步，且 DML 同步 选项中未选择所有的 DML，则数据传输不支持本场景下的全...
管理数据源
查看数据源 创建数据源后，您可以在数据源列表查看所有已创建数据源的基本信息、详情和网络连接等信息，也可以根据数据源类型进行筛选、根据数据源的创建时间进行排序，以及模糊搜索指定数据源。登录 OceanBase 管理控制台。在左侧导航栏，...
OceanBase 数据库之间的数据迁移
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
如果选择 全量校验，建议您在全量校验开始前，收集 OceanBase 数据库 Oracle 租户的统计信息，并使用 GATHER_SCHEMA_STATS 或 GATHER_TABLE_STATS 语句收集 Oracle 数据库的统计信息。如果您选择了 增量同步，且 DML 同步 选项中未选择所有...
MySQL节点
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保独享调度资源组和MySQL数据库的网络已连通，关于独享调度资源组网络连通方案，详情请参见：绑定专有网络。配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
专有网络VPC的数据源连通独享数据集成资源组
本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件 购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见 快速创建RDS MySQL实例。在目标实例...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
新建 TiDB 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 TiDB 数据源。前提条件 已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
MySQL整库实时同步至OSS数据湖
分区信息 设置数据入湖存储时的分区，后续入湖同步写入数据时，根据来源端数据的写入时间落入相应的分区里。分区设置注意事项如下：支持使用${yyyy}（年）、${MM}（月）、${dd}（日）、${HH}（时）这些变量，最小粒度到小时，不支持分钟、...
新建 Oracle 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
新建 MySQL 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
新建 PolarDB-X 2.0 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PolarDB-X 2.0 数据源。背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的云原生分布式数据库，为您提供高吞吐、大...
采集数据
创建OSS数据源（oss_workshop_log）在您的工作空间中新建OSS数据源，用于后续读取平台提供的存放于OSS中的用户网站访问测试数据，并测试该数据源与同步数据的资源组网络是否连通。进入数据源页面。登录 DataWorks控制台，切换至目标地域后...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
配置MySQL输入
已配置数据同步资源组与数据库的网络连通，详情请参见 配置资源组与网络连通。使用限制 数据集成不支持同步MySQL只读库实例的数据。DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL...
独享资源组模式
如果数据库有白名单访问控制，请参考以下部分为数据库添加对应的白名单：获取独享资源组EIP、独享资源组绑定的专有网络IP及数据源的网络环境的方式，请参见 使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。绑定成功后，如果...
采集数据
1、配置同步网络链接 此步骤中，使用 独享数据集成资源组 测试与源端OSS数据源 oss_workshop_log，以及目标端MaxCompute的odps_first数据源的网络连通。数据来源：数据来源选择 OSS，数据源名称选择 oss_workshop_log，即 步骤二：创建数据...
整库离线同步至Elasticsearch
并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称、任务存放位置等信息。在 数据来源 区域，确认需要同步的源端数据源相关信息。在 选择同步的源表 ...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见 基础数据类型。ADB 的建表、分区表和分布表的详情请参见 ...
通过DataV展示数据
参考 配置数据库白名单，根据您数据库的网络类型，将DataV的白名单添加到您的RDS数据库中。登录 DataV控制台。选择 我的数据>添加数据。填写RDS实例的相关信息，单击 确定。说明 进入 云数据库RDS控制台，单击RDS MySQL实例链接，进入实例...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
添加白名单
前提条件 您需保障数据源与数据集成资源组间的网络时连通状态：如果您目前需要连通的数据库网络较复杂（不是同步同阿里云账号下同Region的数据库），您需要根据数据集成资源组网络能力来选择合适的方案访问您特殊场景下的数据库，详情可...
整库离线同步至OSS
已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备...
如何恢复误删除的数据
详细信息 恢复大量数据方法 恢复MySQL数据 恢复SQL Server数据 恢复PostgreSQL数据 恢复MariaDB数据 恢复少量数据方法 阿里云的 数据管理（DMS）提供的数据追踪功能可以逐条恢复数据，且会自动生成回滚语句，便于少量数据的恢复。...
权限自查建议
数据流动 数据下载统计 统计各个项目的数据下载请求任务，分析规划可下载数据的项目。您可以通过MaxCompute元数据服务 Information_Schema 提供的TUNNELS_HISTORY视图进行分析统计。权限调整建议 权限调整过程中，您可以参考如下建议。调整...
统计信息
在 统计信息 页，查看数据库实例的统计信息。在 统计信息总览 区域，查看统计信息的概况。单击 更新统计信息 按钮并确认，系统后台会异步更新实例上所有统计信息。单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，...
DROP STATISTICS
DROP STATISTICS 用于删除数据库中的统计对象。注意事项 只有统计对象的所有者、模式的所有者或超级用户可以删除统计对象。语法 DROP STATISTICS[IF EXISTS]name[,.]参数 name 要删除的统计对象的名称（可以有模式修饰）。示例 删除不同...
如何统计冷存数据
本文介绍统计冷存数据的最佳实践。场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过...
如何统计冷存数据
本文介绍统计冷存数据的最佳实践。场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版（兼容Oracle）提供了冷存数据存储空间统计函数...
CREATE STATISTICS
CREATE STATISTICS 用于创建一个新的扩展统计对象，追踪指定表、外部表或物化视图的数据。简介 CREATE STATISTICS 将创建一个新的扩展统计对象，追踪指定表、外部表或物化视图的数据。该统计对象将在当前数据库中创建，被发出该命令的用户...
存储成本优化
如果小时调度的统计任务也按天分区，数据每小时追加，则每小时将多读取大量的无用数据，增加不必要的费用。您可以根据实际的业务情况选择分区字段，除了日期和时间，也可以使用其他的枚举值个数相对固定的字段，例如渠道、国家和省份地市。...
- 产品推荐
- 这些文档可能帮助您