数据方案概览
环境构建 数据库克隆 支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化。测试数据构建 提供根据字段类型按照多种规则，自动化构建数据的能力。数据追踪/提供数据库Binlog日志的解析处理...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
功能特性
结构同步 空库初始化 支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。空库初始化 表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行...
导出数据
导出整个数据库 支持导出整个数据库的表结构、数据、以及存储过程、函数、触发器、视图事件等结构类型。登录 数据管理DMS 5.0。在页面左侧的 数据库实例 列表区域，找到目标数据库。左键双击数据库名称，进入SQL Console。右键单击目标表，...
数据扫描和识别
在MaxCompute、数据库的表结构发生变化后（仅指数据表的列有新增或删减），会触发自动扫描并扫描有变化的列；数据表的行发生变化不会触发自动扫描。对该数据源中的所有数据收取全量扫描费用。在OSS文件新增和修改后会触发自动扫描。说明 ...
新功能发布记录
当您在数据管理DMS中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、比对、恢复历史版本的表结构。管理表结构版本 超级SQL模式 新增 开启超级SQL模式后，管理员和DBA在SQLConsole中...
表结构发布流程化
提交执行后请等待审批完成，待审批完成后，系统会将新的表结构写入到dev_database数据库中。可选：前往 SQL Console 插入数据或提交 数据变更工单 对dev_database数据库进行测试。插入数据示例代码如下：insert into teacher(teacher_id,...
迁移数据库账号
使用DTS同步或迁移数据的库表结构。即在 配置任务对象及高级配置 阶段中，同步类型 勾选了 库表结构同步 或者 迁移类型 勾选了 库表结构迁移。注意事项 当前仅MySQL实例（含RDS MySQL和自建MySQL）间的同步或迁移实例，支持将源库的账号...
SQL窗口介绍
（导出）：通过导出功能可导出数据库、数据库的表结构或建表语句，同时可以访问 管理表结构版本 页面。（操作审计）：操作审计保存了所有数据查询和变更记录，可查询执行的操作、操作人和操作时间等信息。更多信息，请参见 操作审计。风险...
管理表结构版本
当您在 数据管理DMS 中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、对比、恢复历史版本的表结构。前提条件 您具有该表（或库）的查询权限，更多信息，请参见 查看我的权限。表...
结构同步
数据管理DMS 的结构同步功能支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。适用于对比、同步多套数据库环境的表结构，例如生产库与测试库、不同的测试库、不同的生产库等。前提条件 支持的数据库类型如下：...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
实例间的数据库复制
若选择了某个数据库，则数据库内的表结构和表数据均会复制过去。是否复制用户和权限 是否将源数据库的所属用户以及权限复制到目标实例的数据库中。同步复制数据库的用户和权限：将源实例中该库对应的用户和权限复制到目标实例。存在以下两...
通过无锁变更工单实现无锁结构变更
为解决变更数据库表结构时的锁表问题，数据管理DMS 推出了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。本文介绍通过提交无锁变更工单实现数据库无锁结构变更的方法。前提条件 ...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
ACL权限体系
以下列出AnalyticDB for MySQL 2.0的权限对象和各对象权限：Database（库），即 db_name.*或*（默认数据库），指定数据库或数据库上所有表/表组。TableGroup（表组），即 db_name.table_group_name 或 table_group_name，特定表组。Table...
新建Flink Vvr Stream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Flink Vvr Stream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Flink DataStream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Flink DataStream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Spark Stream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Spark Stream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Flink Vvp Stream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Flink Vvp Stream类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建RDS MySQL类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
无锁结构变更
背景信息 为解决变更数据库表结构时的锁表问题，ODC V4.2.0 版本提供了无锁结构变更功能，该功能可以较好地规避因锁表...相关文档 SQL 编辑和执行 PL 编译和调试 结果编辑与导出 执行分析 生成测试数据 数据库变更管理 分区管理 SQL 计划任务
新建RDS MySQL类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
新建Spark SQL类型公共节点并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Spark Batch类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
数据库管理
DMS支持PostgreSQL的数据库（Database）管理与模式（Schema）管理。登录 数据管理DMS 5.0。在DMS左侧的实例列表中，右键单击目标实例，从弹出的列表中选择 数据库管理。若您需要管理模式，请在DMS左侧的实例列表中展开目标实例，右键单击...
新建Hive类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Hive类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
步骤三：配置节点运行配置
当选择星号（*）时，代表数据结构为任意结构，用于对未新建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 物理表所在资源 开发环境中节点输入使用的物理表所在资源。物理表名 开发环境中节点输入参数的物理表名，可...
新建Elastic Job类型的公共节点
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意...
新建Spark Batch类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
步骤三：配置节点运行配置
当选择星号（*）时，代表数据结构为任意结构，用于对未新建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 物理表所在资源 开发环境中节点输入使用的物理表所在资源。物理表名 开发环境中节点输入参数的物理表名，可...
恢复库表
RDS MySQL支持常规和极速级别的库表恢复功能，您可以将指定的库、表按备份集或时间点恢复至原实例或新实例...手动创建逻辑备份，然后 恢复逻辑备份到自建数据库。通过mysqldump进行备份和恢复。（可选）连接RDS MySQL实例，查看恢复到原实例或...
Dataiku连接
本文介绍如何在Dataiku中连接 云原生数据仓库 AnalyticDB...完成配置之后，您可以单击页面底部的 Import tables to datasets 批量导入数据库中的表结构到数据集。导入之后您可以进行数据分析，更多关于数据分析的操作请参见 Dataiku官方文档。
- 产品推荐
- 这些文档可能帮助您