数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
数据迁移流程
数据传输提供数据迁移功能，帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据...
Grafana数据可视化
操作步骤 步骤一：添加数据源 登录 ARMS控制台，在左侧导航栏选择 Grafana服务>工作区管理。在 工作区管理 页面，单击目标工作区右侧的 访问地址url 链接进入Grafana。说明 如果需要登录Grafana，可以使用Grafana的Admin账号和创建工作区时...
Bucket Shuffle Join
工作原理 SelectDB支持的常规分布式Join方式包括Shuffle Join和Broadcast Join。这两种Join都会导致相当大的网络开销。例如，当前存在A表与B表的Join查询，它的Join方式为Hash Join，不同Join类型的开销如下：Broadcast Join：如果根据数据...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
新建工作组并添加成员
租户下各工作组数据互相隔离，同一个租户下可以新建多个工作组。本文介绍如何新建工作组并添加成员。前提条件 您已经购买数据资源平台，具体操作，请参见 购买数据资源平台。已使用租户管理员账号登录。背景信息 所有租户下的工作组都是...
场景：工作空间模式升级（简单模式升级标准模式）
若您当前使用的是简单模式工作空间，但希望将开发与生产环境隔离，可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的...
自定义RDBMS数据库及同步数据
在Dataphin控制台页面，选择工作区地域后，单击 进入Dataphin>>。进入自定义组件页面。在Dataphin首页，单击 管理中心。在管理中心页面，单击顶部菜单栏 数据源管理。在自定义源类型页面，单击+新建离线自定义源类型。在 新建离线自定义源...
自定义RDBMS数据库及同步数据
在Dataphin控制台页面，选择工作区地域后，单击 进入Dataphin>>。进入自定义组件页面。在Dataphin首页，单击 管理中心。在管理中心页面，单击顶部菜单栏 数据源管理。在自定义源类型页面，单击+新建离线自定义源类型。在 新建离线自定义源...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
使用限制
数据库版本 仅云数据库MongoDB 3.4和4.0版本支持创建单节点实例。重要 云数据库MongoDB 3.4版本已于2023年01月01日停止售卖，更多信息，请参见【通知】2023年01月01日起停止售卖MongoDB 3.4版本实例。数据库连接 不支持开启或关闭私网访问...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 已创建源数据库自建Oracle和目标实例 云原生数据仓库AnalyticDB PostgreSQL版。说明 目标实例...
自建Oracle迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle数据迁移至 RDS MySQL 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle...
管理数仓规划待发布对象
数据板块待发布对象 待发布数据板块页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入数据板块名称、英文名称...
管理数仓规划待发布对象
数据板块待发布对象 待发布数据板块页面主要由搜索与筛选区、数据架构对象列表、批量操作组成。各区域及操作说明如下。区域 描述 ① 搜索与筛选区 搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入数据板块名称、英文名称...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
自建Oracle迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标集群 PolarDB MySQL版。说明 目标集群 PolarDB ...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
自建Oracle迁移至AnalyticDB MySQL 3.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle数据迁移至 云原生数据仓库AnalyticDB MySQL版 3.0实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的...
自建Oracle迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
自建Oracle迁移至自建PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c。自建Oracle数据库已开启...
从Oracle迁移应用至阿里云PolarDB全流程指南
DTS数据传输服务（线上）：选择 数据迁移，支持结构迁移（不推荐使用，不要勾选），全量数据迁移，增量数据迁移，数据校验与数据订正以及数据回流（即PolarDB增量同步回Oracle）等功能。DTS迁移工具（线下）：阿里云官方线下迁移工具，支持...
无锁结构变更方案对比
Online修改工具：PT-Online（PT-Online-Schema-Change）：工作原理是创建和源表A一样的表A_gst执行DDL操作，同时在A上创建一个DML触发器，然后将A中的数据拷贝到A_gst，在拷贝过程中产生的增量变更就用触发器完成同步更新。拷贝结束后执行...
从自建PostgreSQL全量迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移和增量数据迁移，同时使用结构迁移和全量数据迁移可以实现自建PostgreSQL数据库的全量数据迁移。背景信息 本文以 有公网IP的自建数据库 为例介绍全量数据迁移的配置流程。为保障数据一致性，全量数据迁移期间...
Db2 for LUW同步至PolarDB-X 2.0
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移...相关信息 使用DTS同步RDS MySQL数据 使用数据集成迁移数据至分析型数据库MySQL版 使用kettle将本地数据导入分析型数据库MySQL版 在程序中通过AnalyticDB MySQL版Client高效写入数据
管理网络配置
参数 说明 专有网络 选择用于需与后续添加使用的EMR集群、数据库专有网络一致 交换机 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通的交换机，仅支持选择特定可用区下的交换机，详情请参见使用限制。安全组 选择机器加入的安全...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
概述
本文将为您介绍 PolarDB-X 中自增列的相关概念和原理。概念 PolarDB-X 支持通过关键字 AUTO_INCREMENT 为列设置自增属性，能够自动为列填充全局唯一值。当 INSERT 语句没有包含自增列，或者为自增列指定的值是0或NULL时，PolarDB-X 会自动...
从自建Redis迁移至阿里云Redis
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至阿里云Redis实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移...
从自建Redis迁移至Tair实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至 云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
数据模型架构规范
数据分类架构 该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：公共维度层：基于维度建模理念思想，建立整个企业的一致性维度。明细粒度事实层：以业务过程为建模驱动，基于每...
按指标关联
说明 工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，该逻辑表需被生产节点引用。指标 ...
库表结构优化
数据库利用索引进行查询数据过滤的原理，请参见 过滤条件不下推。说明 数据索引删除后，如果查询再次使用该数据列进行过滤操作，查询时间会变长。操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在...
按单节点关联
说明 工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 单节点 对应已经上线的单节点任务。逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，...
组复制简介
组复制层 组复制层的主要工作是向集群发送、接收并回放事务，其在主节点和备节点上的工作原理如下：在主节点上：当一个事务在主节点进入提交阶段时，事务的Binlog会先被传到XCom层中，发送给其他节点。当确认多数派收到事务后，会对事务...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
- 产品推荐
- 这些文档可能帮助您