2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
迁移MongoDB实例至其他地域
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分...
迁移MongoDB实例至其他地域
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分...
跨账号连接Redis与ECS实例
使用云企业网连接 云企业网 帮助您在不同VPC间、VPC与本地数据中心之间搭建专有网络通信通道，通过自动路由分发及学习，提高网络的快速收敛和跨网络通信的质量和安全性，实现全网资源的互通，帮助您打造一张具有企业级规模和通信能力的互联...
跨阿里云账号迁移MongoDB实例
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
跨阿里云账号迁移MongoDB实例
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
从PolarDB PostgreSQL版迁移至自建Oracle
自建Oracle数据库的存储空间须大于 PolarDB PostgreSQL版 数据库占用的存储空间。注意事项 本场景仅支持全量数据迁移和增量数据迁移，不支持结构迁移。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载...
设备使用物模型通信
物联网平台提供物模型功能定义能力，设备可通过物模型通信Topic按照Alink JSON数据格式，实现与物联网平台交互通信。本文介绍设备与物联网平台之间，如何通过物模型实现多场景消息通信。背景信息 物联网平台提供的物模型功能定义和使用说明...
跨云账号迁移云数据库Redis实例
如果目标数据库内存不足，触发数据逐出时，由于 云数据库Redis版 的默认数据逐出策略（maxmemory-policy）为 volatile-lru，会导致目标库与源库数据不一致的情况，但不会影响任务的正常运行。为避免该情况发生，建议将目标库的数据逐出策略...
功能特性
云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。本文介绍云数据库MongoDB版的功能特性。架构灵活 云数据库...
创建Kafka数据源
通过创建Kafka数据源能够实现Dataphin读取Kafka的业务数据或向Kafka写入数据。本文为您介绍如何创建Kafka数据源。背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在...
使用云数据库Redis版实现即时通信场景中的多端同步
随着即时通信（Instant Messaging）场景和客户端种类的不断丰富，多端通信已经成为普遍趋势。本文为您介绍一种使用云数据库Redis版在IM场景中实现多端同步的方案。消息存储模型 通常，IM系统的核心架构分为三个部分：消息管理模块、消息...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
创建Kafka数据源
通过创建Kafka数据源能够实现Dataphin读取Kafka的业务数据或向Kafka写入数据。本文为您介绍如何创建Kafka数据源。背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在...
DataWorks数据集成
应用场景 AnalyticDB PostgreSQL版 可以通过数据集成的同步任务将数据同步到其他的数据源中（AnalyticDB PostgreSQL版 数据导出），并对数据进行相应的处理。可以通过数据集成的同步任务将处理好的其他数据源数据同步到 AnalyticDB ...
连接方式概述
OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立的服务器进程通过网络连接与数据库服务器 OBServer 节点进行通信。客户端程序在编译时会引用 C API 头文件，同时可以连接到 C API 库文件。说明 LibOBClient 生成的 so ...
采集数据
新建两个离线同步节点 ods_raw_log_d、ods_user_info_d，用于后续同步MySQL用户数据与OSS网站访问日志数据，再新建虚拟节点 WorkShop_Start 统一管理该业务流程。本阶段仅涉及数据采集业务流程，不涉及具体同步任务配置。1、新建业务流程 ...
采集数据
新建两个离线同步节点 ods_raw_log_d、ods_user_info_d，用于后续同步MySQL用户数据与OSS网站访问日志数据，再新建虚拟节点 WorkShop_Start 统一管理该业务流程。本阶段仅涉及数据采集业务流程，不涉及具体同步任务配置。1、新建业务流程 ...
PolarDB MySQL版集群间的数据迁移
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据迁移。在 迁移任务列表 页面顶部，选择迁移的目标集群所属地域。单击页面右上角的 创建迁移任务。配置...
云数据库MongoDB版（副本集架构）迁移至云数据库...
有公网IP的自建数据库 有公网IP的自建数据库 本文以 云数据库MongoDB版（副本集架构）、云数据库MongoDB版（副本集架构或分片集群架构）为例介绍配置流程，其他数据源的配置流程与本案例相似。前提条件 已创建源 云数据库MongoDB版（副本集...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。特殊情况 当源库为自建MongoDB时，在迁移时，如果源库进行主备切换，将会导致迁移任务失败。费用说明 迁移类型 链路...
从自建Redis迁移至Tair实例
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至 云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
导入数据
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...
安全隧道通信协议
设备端与访问端之间的通信、安全隧道内部的会话（Session）管理及Session内的数据通信，都基于通信协议中隧道帧实现。隧道帧为WebSocket中二进制类型数据帧的Payload。您需在访问端应用程序和设备端目标应用中，自行设计和开发应用层通信...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。特殊情况 当源库为自建MongoDB时，在迁移时，如果源库进行主备切换，将会导致迁移任务失败。费用说明 迁移类型 链路...
X同步至云原生数据仓库 AnalyticDB MySQL 版
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。定位至已购买的数据同步实例，单击 配置...
FineReport
如果您是第一次安装FineReport，需要安装MySQL服务器（例如阿里云RDS MySQL），用于导入FineReport的元数据，FineReport提供了两种数据链接方式：方式一：在数据决策系统中进行连接，请参见 JDBC连接数据库。方式二：在设计器中进行连接，...
从ECS上的Codis集群同步至Redis实例
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。定位至已购买的数据同步实例，单击 配置...
Teradata迁移至云原生数据仓库 AnalyticDB PostgreSQL...
数据传输服务DTS（Data Transmission Service）支持将Teradata迁移至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 该迁移任务仅支持在新版控制台配置。Teradata数据库为17及以下版本。已创建目标 AnalyticDB PostgreSQL 实例，如未...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。特殊情况 当源库为自建MongoDB时：在迁移时，如果源库进行主备切换，将会导致迁移任务失败。由于DTS的延迟时间是根据...
从ECS上的Twemproxy Redis集群同步至Redis实例
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择同步的目标实例所属地域。定位至已购买的数据同步实例，单击 配置...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
使用DTS迁移单节点架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将单节点架构的自建MongoDB数据库迁移至云数据库MongoDB中。除本方法外，您也可以 使用MongoDB工具将自建数据库迁移至单节点实例。更多数据迁移或数据同步场景的解决方案，...
- 产品推荐
- 这些文档可能帮助您