配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
Elasticsearch数据源
Relational DB（实例）->Databases（数据库）->Tables（表）->Rows（一行数据）->Columns（一行数据的一列）Elasticsearch->Index->Types->Documents->Fields Elasticsearch中可以有多个索引或数据库，每个索引可以包括多个类型或表，每个...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
数据引入层（ODS）
例如，不同业务系统的表可能是同一个名称，为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过规范定义后缀添加_col1 解决。建表示例 通过即席查询功能，您...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
从ECS上的自建SQL Server同步至云原生数据仓库...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
Redis数据同步方案概览
场景 工具 配置案例 从自建库同步至云数据库Redis DTS 从自建Redis集群同步至Redis集群实例 从ECS上的自建Redis同步至Redis实例 从ECS上的Codis集群同步至Redis实例 从ECS上的Twemproxy Redis集群同步至Redis实例 云数据库Redis间同步 DTS ...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
从ECS上的自建SQL Server同步至云原生数据仓库...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
数据同步流程
您已为源端和目标端创建专用于数据同步的数据库用户，并赋予其相关权限。详情请参见 创建数据库用户。新建数据源。在 数据传输>管理数据源 页面，分别新建源端和目标端的数据源。详情请参见 新建数据源 模块的文档。购买数据同步项目。根据...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
从ECS上的自建Redis同步至Redis实例
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
没有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库...
Redis实例间的单向数据同步
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
Redis企业版实例间的双向同步
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
2021年
从RDS SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL RDS SQL Server同步至AnalyticDB MySQL版 3.0 数据迁移和同步任务的一键诊断功能，在诊断源库性能时，增加 数据库自治服务DAS（Database Autonomy Service）的异常诊断内容。...
从ECS上的Twemproxy Redis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
没有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段类型的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段类型修改操作，MySQL 数据库...
Quick BI中当数据源的表结构发生变化如何在数据集中...
问题描述 MySQL数据库新增字段之后，数据集不能同步更新字段，或者MySQL数据库删减字段，数据集报错。问题原因 数据源修改了表结构，数据集不能自动同步，需要手动调整。解决方案 点击上方数据集依赖的表名，在右侧字段列表中勾选新增的...
湖仓一体
列类型映射 创建Catalog后，云数据库SelectDB 会自动同步数据目录的数据库和表。针对不同的数据目录和数据表格式，云数据库SelectDB 会进行列与列之间的关系映射。对于当前无法映射到SelectDB列类型的外表类型，如 UNION、INTERVAL 等。...
Dataphin管道任务如何同步HBase源表全部字段数据
解决方案 在管道任务中直接使用HBase输入组件只能同步主键字段数据或普通字段数据，如果需要同步HBase表全部字段数据，需要使用脚本模式输入组件。{"parameter":{"mode":"normal"},"range":{"isBinaryRowkey":true,"startRowkey":"${today}...
文本向量场景快速入门
配置集群 新购买的实例，在其详情页中，实例状态为“待配置”，并且会自动部署一个与购买的查询节点和数据节点的个数及规格一致的空实例，之后需要为该实例 配置表信息>数据同步>字段配置>索引结构，之后等待索引重建完成即可正常搜索。...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
通用版快速入门
字段配置 OpenSearch会根据您选择的场景模板，预置相关字段，并会将全量数据来源中的字段（如有），自动导入字段列表中：设置字段，必须包含至少两个字段，主键字段 和 向量字段（向量字段需要设置为多值float类型）:如果需要带有类目的...
图搜场景快速入门
配置实例 新购买的实例，在其详情页中，实例状态为“待配置”，并且会自动部署一个与购买的查询节点和数据节点的个数及规格一致的空实例，之后需要为该实例 配置表信息>数据同步>字段配置>索引结构，之后等待索引重建完成即可正常搜索。...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
混合查询最佳实践
配置实例 新购买的实例，在其详情页中，实例状态为“待配置”，并且会自动部署一个与购买的查询节点和数据节点的个数及规格一致的引擎，之后需要为该实例 配置表信息>数据同步>字段配置>索引结构，之后等待索引重建完成即可正常搜索。...
文本向量场景快速入门
设置字段，“向量：文本语义搜索”模板默认生成4个预置字段id（主键）、vector_source_text（向需要文本向量化的文本字段）、cate_id（类目字段）、vector（存储文本向量的字段），用户选择MaxCompute数据源后，从数据源同步的字段，展示在...
从RDS同步到云原生数据仓库AnalyticDB MySQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
单节点快速入门
字段配置 OpenSearch会根据您选择的场景模板，预置相关字段，并会将全量数据来源中的字段（如有），自动导入字段列表中：设置字段，必须包含至少两个字段，主键字段 和 向量字段（向量字段需要设置为多值float类型）:如果需要带有命名空间...
新建离线物理表
添加字段 添加字段方式支持添加 数据字段、分区字段、快捷添加日期分区 字段类型。按照下图操作指引，单击所需的字段类型后，并在字段区域填写 字段名称、数据类型 和 字段说明 信息。参数 描述 字段名称 您可输入字段名称或中文关键词，将...
新建离线物理表
添加字段 添加字段方式支持添加 数据字段、分区字段、快捷添加日期分区 字段类型。按照下图操作指引，单击所需的字段类型后，并在字段区域填写 字段名称、数据类型 和 字段说明 信息。参数 描述 字段名称 您可输入字段名称或中文关键词，将...
项目模板同步配置
在规模化项目管理场景中经常会将...6.工作项状态 模板开启某个类型的字段同步后，基于模板创建的项目不可进行工作项顺序调整、流转步骤设置、状态新增与删除、默认状态设置（来源于模板配置的步骤规则不可编辑，可在项目内添加步骤规则）。
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
单选
①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前空间中的 某一个数据集。③数据字段：下拉菜单选择所选数据表中的 某一个数据字段。④默认值：根据设置 数据字段内容 进行下拉选择...
写数据表
计算资源类型 选择需要同步到的目标数据源的类型，目前支持的目标数据源类型参见 适用场景 目标数据源 选择同步到的目标数据源。目标数据表 选择同步到的目标数据源中的表名。生命周期（可选）设置目标表的留存天数，如未设置，默认将保留1...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
- 产品推荐
- 这些文档可能帮助您