数据上传
本地文件：支持 CSV、XLSX 格式，CSV 文件最大支持上传数据的数据量为5GB，XLSX 文件最大支持上传的数据量为100MB。默认上传文件的第一个Sheet。如需上传某个文件的多个Sheet数据，则需将每个Sheet创建一个表格且作为表格的首个Sheet。阿里...
新建 TiDB 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 TiDB 数据源。前提条件 已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户...
组件数据源配置
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
同步 OceanBase 数据库的数据至 RocketMQ
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
概述
应用场景 AnalyticDB MySQL 湖仓版（3.0）的Spark全密态计算引擎，可以加密敏感数据，避免数据泄露，并满足敏感数据的合规需求。Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
项目编辑器页面管理
在数据详情页面内可以实现的功能有以下几种：功能 说明 查看并修改数据属性 单击数据页面内任意一个具体数据，在右侧会弹出当前数据的详情页面，页面内可以查看不同类型数据的不同属性，您可以自定义设置每一个数据的属性字段参数值。...
项目编辑器页面管理
在数据详情页面内可以实现的功能有以下几种：功能 说明 查看并修改数据属性 单击数据页面内任意一个具体数据，在右侧会弹出当前数据的详情页面，页面内可以查看不同类型数据的不同属性，您可以自定义设置每一个数据的属性字段参数值。...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个DML操作来更新延迟信息。说明 如果同步对象选择为整库...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
什么是数据库备份DBS
DBS支持备份恢复MySQL、SQL Server、PostgreSQL、Oracle等近10种数据源，同时支持阿里云云数据库、阿里云ECS数据库、本地数据中心、其他云厂商等环境，允许通过数据库网关DG私网、专线、VPN网关等网络进行接入，帮助您有效解决备份耗时耗...
常见问题
过滤字段或数据的方法，请参见 通过SQL条件过滤任务数据。同步任务是否可以转为迁移任务？不可以，不同类型的任务不支持相互转换。是否可以只同步数据不同步结构？可以。在配置同步任务步骤时，不勾选 库表结构同步 即可。数据同步实例的源...
准备数据源和计算源
同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据...
准备数据源和计算源
同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
支持的数据源
数据源类别 数据库类型 阿里云数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 MongoDB Redis PolarDB分布式版 自建数据库：ECS上的自建数据库 有公网IP:Port的自建数据库 通过专线/VPN...
数据上云场景
MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据库数据同步 数据库的数据同步到MaxCompute...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用...导入性能调优 如何提升使用应用程序导入数据的性能，请参见 通过JDBC使用程序导入数据调优。
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
创建Impala数据源
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
SQL 条件过滤数据
本文为您介绍创建数据迁移或数据同步项目时，选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时，您可以设置 SQL 过滤条件来过滤数据。完成设置后，只有满足过滤条件的...
自动添加数据源
数据库备份DBS 支持自动添加数据源功能，可以将阿里云上的RDS实例自动同步到DBS数据源中，以便后续对数据源进行管理与备份。功能说明 该功能当前仅支持自动接入RDS实例，包含 RDS MySQL、RDS SQL Server、RDS PostgreSQL、RDS MariaDB。...
新建TDengine数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
数仓规划概述
贴源层：用于数据库、日志、消息等基础源数据的引入。源数据经过一系列ETL操作进入贴源层，该层级只能挂载贴源表。公共层：用于加工、整合贴源层输入的公共数据，建立统一的指标维度，构建可复用面向分析和统计的明细事实数据和汇总数据。...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
新建TDengine数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
创建OpenGauss数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建OpenGauss数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建Impala数据源
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
冷数据归档常见问题
分区表：执行冷数据归档后，查询冷数据的操作方法请参见 查询混合分区。如何修改对应的冷数据？暂不支持直接修改已归档到OSS上的冷数据，您可以通过 ALTER TABLE table_name ENGINE=InnoDB 语法将OSS上的表数据导回至PolarStore，修改完成...
创建PolarDB-X数据源
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
创建Vertica数据源
通过创建Vertica数据源能够实现Dataphin读取Vertica的业务数据或向Vertica写入数据。本文为您介绍如何创建Vertica数据源。背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica，在对接Dataphin进行数据开发时，您需要先...
创建Vertica数据源
通过创建Vertica数据源能够实现Dataphin读取Vertica的业务数据或向Vertica写入数据。本文为您介绍如何创建Vertica数据源。背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica，在对接Dataphin进行数据开发时，您需要先...
连接PostgreSQL实例
操作步骤 数据管理DMS连接 数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。数据管理DMS的更多信息，请参见 什么是数据管理DMS。访问 RDS实例列表...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
创建Redis数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 host Redis的连接地址。若您...
- 产品推荐
- 这些文档可能帮助您