数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
管理数据库
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
管理数据库
创建RDS MySQL实例后，您需要在实例中创建与您业务相关的数据库。RDS MySQL支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库...
DataWorks数据集成
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
访问外部数据源
背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
T+1多库合并建仓
背景信息 在数据库应用中，当单个关系型数据库RDS（Relational Database Service）的数据量越来越多时，相应的数据查询时间也会延长，影响用户体验。为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
数据保护机制
注意事项 设置Exception Policy可能存在TOCTOU（Time-of-Check to Time-of-Use）数据泄露问题（即Race Condition问题）：问题描述 假设，用户的数据流出流程如下：（TOC阶段）用户A向项目所有者申请导出表t1的数据。项目所有者对t1的数据...
一键创建OSS数据仓库
系统默认的数据同步时间是00:30，您可以根据业务规律，将数据同步时间设置在业务低峰期，以免同步过程中可能对业务造成的影响。高级选项 自定义设置项，例如过滤字段等。完成上述参数配置后，单击 创建，创建OSS数据仓库。说明 数仓创建...
确定需求
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下，单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度的思考和分析。需求分析的途径有两种：根据与分析师...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
确定需求
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下，单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度的思考和分析。需求分析的途径有两种：根据与分析师...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
Redis实例间的单向数据同步
数据同步期间，请勿在源库中执行 FLUSHDB 和 FLUSHALL 命令，否则将导致源和目标的数据不一致。若目标数据库内存不足，触发数据逐出时，由于 云数据库Redis版 的默认数据逐出策略（maxmemory-policy）为 volatile-lru，会导致目标库与源库...
离线同步能力说明
开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境的数据源，提交生产运行时会使用生产环境的数据源。您可以通过数据源隔离使其在不同环境隔离使用。离线同步任务配置相关能力 支持的...
Redis实例间的单向数据同步
数据同步期间，请勿在源库中执行 FLUSHDB 和 FLUSHALL 命令，否则将导致源和目标的数据不一致。若目标数据库内存不足，触发数据逐出时，由于 云数据库Redis版 的默认数据逐出策略（maxmemory-policy）为 volatile-lru，会导致目标库与源库...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
独享资源组
独享调度资源组使用场景 如果非数据集成任务需要访问VPC环境下的数据库、有白名单访问控制的数据库时，需要使用独享调度资源组，独享调度资源组的使用详情请参见 新增和使用独享调度资源组。独享数据集成资源组使用场景 如果您需要同步VPC...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
数据连接管理
可能是您录入的数据库实例已从 数据连接管理 页面删除，或者 选择已有的数据库连接 所属的区域与已录入的数据库实例的 类型 不符。如何在DMS中录入数据库实例？请参见 云数据库录入 和 他云/自建数据库录入。说明 DMS不支持以源库或目标库...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
创建OceanBase数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源 标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
通过向导模式配置离线同步任务
离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已...
创建OceanBase数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源 标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
通过脚本模式配置离线同步任务
离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
查看数据迁移项目的详情
对于 已暂停 或 失败 状态的数据迁移项目，您可以开启 DDL/DML 统计功能，统计开启该功能时间点之后的数据库操作。同时，您可以查看增量同步对象的具体信息，以及增量同步性能信息。同步对象统计 页签为您展示表级别的统计 DML 数量，在该...
风险识别管理（新版）
3 规则的描述信息 基础配置>备注 基本信息>描述信息 4 规则生效的引擎 规则项>引擎 规则定义>条件设置 区域，选择条件 选择 数据位置 时，所配置的 数据引擎名称。5 规则生效的项目空间 规则项>项目空间 规则定义>条件设置 区域，选择条件 ...
存储空间分析
查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 最近24小时 和 近一周日均 的 数据增长量。登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
迁移
增量迁移开始后，当源库和目标库中的数据大致追平后（表现为增量迁移的延迟在30秒以内），将自动开始 数据校验，校验源库和目标库中的数据一致性，确保两端数据是动态一致的。说明 以上三种迁移状态若出现错误提示，或者长时间没有进度变化...
- 产品推荐
- 这些文档可能帮助您