修改组件数据
在下方的数据配置区域内，按照您的需求修改模板已有的数据，或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
FTP数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。是 无 path 远程FTP文件...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
创建数据板块
支持选择的数据板块类型：电商（图标）金融（图标）云计算（图标）广告营销（图标）物流（图标）文娱（图标）出行（图标）健康（）社交&通信（图标）餐饮（图标）图标代表 教育（图标）环境（）业务信息 板块架构师 负责板块信息设置，包括...
创建数据板块
支持选择的数据板块类型：电商（图标）金融（图标）云计算（图标）广告营销（图标）物流（图标）文娱（图标）出行（图标）健康（）社交&通信（图标）餐饮（图标）图标代表 教育（图标）环境（）业务信息 板块架构师 负责板块信息设置，包括...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
产品安全能力
数据脱敏 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后...
他云/自建数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在数据库账号一栏中填...
从RDS MySQL迁移至自建Kafka
投递到kafka的数据格式 迁移到Kafka集群中的数据以avro格式或者Canal Json格式存储，定义详情请参见 Kafka集群的数据存储格式。迁移到Kafka Partition策略 根据业务需求选择迁移的策略，详细介绍请参见 Kafka Partition同步策略说明。迁移...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
数据类型映射关系 由于MySQL和 云原生数据仓库AnalyticDB MySQL 的数据类型并不是一一对应的，所以DTS在进行结构初始化时，会根据数据类型定义进行类型映射，详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步作业，...
创建Aliyun HBase数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
从RDS同步到云原生数据仓库AnalyticDB MySQL
数据类型映射关系 由于MySQL和 云原生数据仓库AnalyticDB MySQL 的数据类型并不是一一对应的，所以DTS在进行结构初始化时，会根据数据类型定义进行类型映射，详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步作业，...
概述
HTTPS是在HTTP传输的基础上通过SSL/TLS协议对传输中的数据进行加密，可有效防止数据被第三方监听、截取和篡改。通过配置SSL/TLS证书，客户端可以验证与其连接的服务器的安全性。基本概念 SSL/TLS证书 SSL（Secure Sockets Layer）即安全套...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
数据类型映射关系 详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步任务。说明 购买时，选择源实例为 PolarDB、目标实例为 AnalyticDB MySQL，并选择同步拓扑为 单向同步。登录 数据传输控制台。说明 若数据传输控制台...
创建Aliyun HBase数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 仅支持 超级管理员、...
创建RDS MySQL数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
PolarDB MySQL版间的单向同步
支持的数据库版本，请参见 同步方案概览。源 PolarDB MySQL版 集群已开启Binlog，详情请参见 如何开启Binlog。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格...
从自建MySQL迁移至MyBase MySQL
如果您的MySQL数据库部署在本地，那么您需要将DTS服务器的IP地址设置为该数据库远程连接的白名单，允许其访问您的数据库。详情请参见 迁移、同步或订阅本地数据库时需添加的IP白名单。支持的源和目标数据库 MySQL间迁移支持以下源或目标...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
前提条件 PolarDB-X 中的数据库须基于RDS MySQL创建。已创建目标 云原生数据仓库AnalyticDB MySQL 集群，详情请参见 创建 云原生数据仓库AnalyticDB MySQL（2.0）或 创建 云原生数据仓库AnalyticDB MySQL（3.0）。确保目标 云原生数据仓库...
从RDS MySQL同步至PolarDB MySQL版
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
使用DTS迁移副本集架构的自建MongoDB数据库上云
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在自建MongoDB数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 不支持迁移admin、local、config数据库...
从MaxCompute迁移至RDS MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将MaxCompute的数据迁移至MySQL。前提条件 确保您已完成以下操作：开通MaxCompute 创建项目空间 设置阿里云产品访问MaxCompute白名单 注意事项 DTS在执行全量数据迁移时将占用源...
从自建Db2迁移至RDS MySQL
在将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，源端数据覆盖目标实例的数据。DTS基于Db2的CDC复制技术将自建Db2数据库的增量更新数据同步到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所...
入门概览
本文介绍 云原生多模数据库 Lindorm 时序引擎的使用流程，帮助您快速连接使用Lindorm时序引擎。操作流程 从创建Lindorm实例到Lindorm时序引擎的应用开发，您需要完成以下操作：创建Lindorm实例，创建时选择数据引擎为时序引擎，具体操作请...
使用DTS迁移副本集架构的自建MongoDB数据库上云
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在自建MongoDB数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 不支持迁移admin、local、config数据库...
从RDS MariaDB迁移至RDS MySQL
当您需要将业务切换至目标实例，请务必先结束或释放迁移任务，避免该任务被自动恢复后，使用源端数据覆盖目标实例的数据。费用说明 迁移类型 链路配置费用 公网流量费用 结构迁移和全量数据迁移 不收费。通过公网将数据迁移出阿里云时将...
设置资产数据源
单击编辑器右侧的 数据 图标。在 数据 面板中，单击 配置数据源。在 设置数据源 页面中，可修改数据源的类型和脚本、配置数据过滤器并查看数据响应结果。修改数据源的类型和脚本 在 设置数据源 页面中，在 数据源类型 列表中可修改数据源...
从自建Db2迁移至RDS MySQL
在将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，源端数据覆盖目标实例的数据。DTS基于Db2的CDC复制技术将自建Db2数据库的增量更新数据同步到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所...
跨阿里云账号迁移MongoDB实例
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
跨阿里云账号迁移MongoDB实例
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
从自建SQL Server全量迁移至RDS SQL Server
DTS会自动地在阿里云RDS SQL Server中创建数据库，如果待迁移的数据库名称不符合阿里云RDS的定义规范，您需要在配置迁移任务之前在阿里云RDS SQL Server中创建数据库。说明 关于阿里云RDS的定义规范和创建数据库的操作方法，请参见 创建...
什么是Dataphin
创建资源 新建用户自定义函数 数据萃取 基于Dataphin数据建模研发沉淀的数据，萃取提供以目标对象为中心的数据打通和深度挖掘，并生成代码与调度任务，完成实体对象识别、连接及标签生产，可快速应用于各类业务。数据萃取 发布 生产开发...
从RDS MariaDB迁移至RDS MySQL
当您需要将业务切换至目标实例，请务必先结束或释放迁移任务，避免该任务被自动恢复后，使用源端数据覆盖目标实例的数据。费用说明 迁移类型 链路配置费用 公网流量费用 结构迁移和全量数据迁移 不收费。通过公网将数据迁移出阿里云时将...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
迁移MongoDB实例至其他地域
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
- 产品推荐
- 这些文档可能帮助您