数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
管理实例
列表中的 PolarDB-X 1.0存储资源主实例 是 PolarDB-X 1.0计算资源主实例 对应的数据库正在使用的主实例，列表以 PolarDB-X 1.0存储资源主实例 为单位进行分组。单击列表右侧 操作 栏中的 选用，即可选择目标 PolarDB-X 1.0存储资源实例 在...
支持的数据脱敏算法
保留前n后m n、m 敏感类型：个人敏感 适用场景：数据使用 数据分享 保留自x至y x、y 遮盖前n后m n、m 遮盖自x至y x、y 特殊字符前遮盖（针对首次出现该字符）“@”、”&”、“.”特殊字符后遮盖（针对首次出现该字符）“@”、”&”、“.”...
切换交换机
您可以根据业务需求，切换MyBase MySQL实例的专有网络和交换机。注意事项 MyBase MySQL云盘实例支持切换专有网络和交换机。MyBase MySQL本地盘实例仅支持切换交换机。影响 切换过程会有30秒闪断，请确保应用程序具有重连机制。切换交换机会...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
Doris数据源
Doris 版本 是否支持 0.x.x 支持 1.1.x 支持 1.2.x 支持 2.x 支持 使用限制 数据集成仅支持离线写入Doris。支持的字段类型 不同Doris版本支持不同的数据类型和聚合模型。各版本Doris的全量字段类型请参见 Doris的官方文档，下面为您介绍...
条形图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
RAM资源授权
本文汇总了 PolarDB-X 1.0 支持的RAM资源授权规则以及已经开通了RAM服务的地域。支持的资源授权规则 说明 您需要将表格中的$regionId 根据目标实例所在地域替换成 支持RAM的区域 中对应的regionId。您需要将表格中$开头的参数根据业务需求...
高压缩引擎（X-Engine）介绍
历史数据归档的诉求 为了解决历史数据的读取和更新问题，可以使用一个单独的数据库用来存储归档的数据，即高压缩引擎（X-Engine）。业务对单独的高压缩引擎（X-Engine）一般有如下诉求：具备大容量存储空间，支持业务持续将线上数据保存到...
三节点企业版的RDS MySQL迁移到PolarDB-X 2.0标准版
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现将三节点企业版的 RDS MySQL 实例的数据迁移到PolarDB-X 2.0标准版。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 创建RDS MySQL实例。已创建目标...
柱状图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道，本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写：支持PolarDB-X 2.0，...
切换专有网络VPC和虚拟交换机
您可以直接切换部分实例的专有网络VPC和虚拟交换机。说明 PostgreSQL引擎切换专有网络VPC和虚拟交换机请参见 切换虚拟交换机。前提条件 实例的计费类型为包年包月或按量付费。说明 Serverless实例不支持切换专有网络VPC和虚拟交换机。使用...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
创建PolarDB-X数据源
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
创建单物理表服务单元
当数据源类型为Hbase 0.9.4/1.1.x/1.2.1/2.x、ElasticSearch或MongoDB时，需要完成元数据的创建。具体操作，请参见 创建元数据。使用限制 支持 项目管理员 和 开发用户 创建服务单元。如果没有创建服务单元的权限，您可以申请该权限。具体...
概述
全局一致性 PolarDB-X 是一款分布式数据库，数据存放在多个数据节点（DN）上，当分布式事务存在的情况下，恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
附录：ECS自建数据库的安全组配置
如果您使用的是ECS自建数据库，必须添加安全组才能保证资源组可正常读写数据源的数据，本文为您介绍选择不同区域的DataWorks时，如何配置ECS自建数据库的安全组。前提条件 已完成资源组与数据源之间的网络连通配置，详情可参见 选择网络...
产品架构
PolarDB-X 1.0 承担着OLTP在线核心数据库的职责与定位，可与数据集成、数据传输，缓存、大数据生态配合使用。产品架构图 内核架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分。如同...
PolarDB-X 2.0迁移至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构迁移过程...
数据服务权限列表
Y N N N 批量移除服务项目成员 Y N N N 查看分组 Y Y Y Y 创建服务单元分组 Y Y N N 编辑服务单元分组 Y Y N N 删除服务单元分组 Y Y N N 创建应用分组 Y N Y Y 编辑应用分组 Y N 应用分组责任人：Y 非应用分组责任人：N 应用分组责任人：Y...
创建多物理表服务单元
当数据源类型为Hbase 0.9.4/1.1.x/1.2.1/2.x、ElasticSearch或MongoDB时，需要完成元数据的创建。具体操作，请参见 创建元数据。使用限制 支持 项目管理员 和 开发用户 创建服务单元。如果没有创建服务单元的权限，您可以申请该权限。具体...
创建PolarDB-X 1.0数据订阅任务
本文介绍如何创建 PolarDB-X 1.0 数据订阅任务。前提条件 已创建 PolarDB-X 1.0...根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费PolarDB-X 1.0订阅数据 使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
使用mysqldump导入导出数据
本文介绍了通过mysqldump工具将 PolarDB-X 数据导入导出的几种常见场景和详细操作步骤。PolarDB-X 支持MySQL官方数据导出工具mysqldump。mysqldump命令的详细说明请参见 MySQL 官方文档。说明 mysqldump适合小数据量（低于1000万）的离线...
添加HBase数据源
HBase数据源类型和添加方式 HBase数据源类型 添加HBase数据源的方式 云数据库HBase标准版 如果云数据库HBase标准版或者云数据库HBase增强版与LTS使用相同的专有网络ID，添加方法请参见 通过Lindorm控制台添加HBase数据源。如果云数据库...
新建租户
租户的总可使用资源=单节点分配资源量*资源分布节点数*副本数量 字符集 在 UTF8MB4、GBK 中选择数据库要用的字符集。时区 设定时区信息。访问 VPC 选择 ECS 所在网络的专有网络 ID。如果没有合适的 VPC，请根据页面提示创建一个 VPC，详情...
网络连通与白名单配置
11.194.121.51,11.194.121.50,39.107.223.0/26,39.107.223.128/26,39.107.223.192/26,39.107.223.64/26 华东2（上海）金融云 140.205.46.128/25,140.205.48.0/25,140.205.48.128/25,140.205.49.0/25,140.205.49.128/25,11.192.156.0/25,11....
概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。数据域面向业务分析，一个...
PolarDB-X 2.0同步至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至 RDS MySQL，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。已创建目标 RDS MySQL 实例，创建方式，请...
PolarDB-X 2.0间的单向同步
使用数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB-X 2.0 间的单向数据同步。前提条件 已创建源和目标 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标 PolarDB-X 2.0 实例的存储空间须大于源 PolarDB-X 2.0 实例占用...
配置数据源网络
在该ECS实例的 实例详情 页面查看安全组ID和虚拟交换机ID，如下图所示：方法2：使用目标数据源已有的交换机ID和安全组ID 您可以在目标数据源的基础信息页面获取交换机ID和安全组ID，以E-MapReduce为例：当目标数据源的基础信息页面中不存在...
恢复数据
数据恢复功能可以最大程度地减少因数据库误操作引起的损失。本文介绍GDB实例的数据恢复方法。前提条件 实例已产生备份集，您可以在GDB控制台中，获取当前实例的数据备份信息。更多信息，请参见 查看备份文件列表。注意事项 数据恢复仅支持...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB-X 2.0 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容...
创建Impala数据源
仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照下图操作指引，进入 新建数据源 对话框。在 新建数据源 对话框的 大数据存储 区域，选择 Impala。如果您...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
PolarDB-X 2.0迁移至Tablestore
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 迁移至表格存储Tablestore。前提条件 已创建Tablestore实例。具体操作，请参见 使用流程。已获取Tablestore实例所属阿里云账号（主账号）的AccessKey ID和AccessKey ...
新增和使用独享数据服务资源组
网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下需要添加...
- 产品推荐
- 这些文档可能帮助您