自建PostgreSQL迁移至RDS PostgreSQL
在库表结构迁移和全量迁移阶段，请勿执行库或表结构变更的DDL操作，否则数据迁移任务会失败。若源库有长事务，且实例包含增量迁移任务，则可能会导致源库长事务提交前的预写日志WAL（Write-Ahead Logging）无法清理而堆积，从而造成源库...
数据导入快速入门
导入数据表操作由配置表结构、创建调度任务两部分组成：配置表结构：选择工作空间>配置管理>数据接入管理>数据导入>表结构配置。单击右上角 新建 表配置>用户标签，进入 新建用户标签配置 页面。选择要导入的计算源、数据表。若包含时间...
产品架构
LindormTable 提供的数据模型是一种支持数据类型的松散表结构。相比于传统关系模型，LindormTable除了支持预定义字段类型外，还可以随时动态添加列，而无需提前发起DDL变更，以适应大数据灵活多变的特点。同时，LindormTable支持全局二级...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
新建表结构模板
本文介绍在蚂蚁隐私计算服务平台新建表结构模板的方法。操作步骤 登录 蚂蚁隐私计算服务平台。在左侧导航栏，选择 我的资源>数据资产。在 数据表 页签下，单击 新建表结构模板。在 新建表结构模板 面板中配置以下信息。参数 说明 表结构...
管理表结构版本
当您在 数据管理DMS 中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、对比、恢复历史版本的表结构。前提条件 您具有该表（或库）的查询权限，更多信息，请参见 查看我的权限。表...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
源库的操作限制：在库表结构迁移和全量迁移阶段，请勿执行库或表结构变更的DDL操作，否则数据迁移任务会失败。如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移...
PolarDB PostgreSQL版间的迁移
注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
表一致性修复
表一致性修复功能用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性。应用场景 多套不同环境之间进行表结构对比，以保障不同环境之间的表结构一致性。例如，确保测试环境与生产环境的表结构...
PolarDB-X 1.0在DMS控制台上无法显示修改后的表结构
问题描述 使用阿里云云原生分布式数据库PolarDB-X 1.0过程中，通过其他客户端修改表结构后，在DMS控制台上无法显示修改后的表结构。解决方案 DMS会从影子库系统表中获取 PolarDB-X 1.0 的表结构。在处理异常DDL过程中，由于种种原因可能会...
查询与变更表结构
在SQL Console中您可以通过SQL语句或可视化的方式查询或变更表结构。前提条件 您有对应数据库的查询、修改等对应权限，详情可参见 管理访问控制权限。注意事项 变更表结构可能会对您的数据库与业务造成影响，需谨慎操作。查询表结构 以查看...
结构同步
数据管理DMS 的结构同步功能支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。适用于对比、同步多套数据库环境的表结构，例如生产库与测试库、不同的测试库、不同的生产库等。前提条件 支持的数据库类型如下：...
线性支持向量机
支持向量机SVM（Support Vector Machine）是基于统计学习理论的一种机器学习方法，通过寻求结构风险最小化，提高学习机泛化能力，从而实现经验风险和置信范围最小化。本文介绍线性支持向量机算法组件的配置方法及使用示例。背景信息 本文中...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
PolarDB PostgreSQL版：ePQ架构详解
其中SharedSeqScan共享、SharedIndexScan共享是指，在大表join小表时，小表采用类似于复制表的机制来减少广播开销，进而提升性能。分区表支持：不仅包括对Hash/Range/List三种分区方式的完整支持，还包括对多级分区静态裁剪、分区动态裁剪...
支持的数据库
库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB MySQL版同步至ClickHouse集群 Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 库表结构同步 全量数据同步 增量数据同步 单向同步 从PolarDB MySQL版同步至Elasticsearch MaxCompute ...
迁移方案概览
库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至ClickHouse集群 DataHub 所有版本 库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至DataHub Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 库表结构迁移 全量数据迁移 增量...
Quick BI智能报表报错“表单已变更”
问题原因 钉钉数据源表结构变动了；在钉钉OA系统中一个表单会生成一个表，如果OA审批表单客户加了一个组件或删除一个组件，都会导致表结构的变化；智能报表数据集是静态的没法做的自动同步更新钉钉数据源表结构变动。解决方案 在数据集中...
如何清空数据表中数据
通过删除数据表后重建表结构或者获取主键信息后删除数据均可清空数据表中数据。删除数据表后重建表结构 使用SDK调用DeleteTable接口或者通过控制台删除数据表。删除数据表后，需要重建表结构。说明 如果数据表上有索引，删除数据表前，必须...
结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 或 已关闭 不需要处理）中移除该表。具体操作如下：登录 数据管理DMS 5.0。在顶部菜单栏中...
数据方案概览
一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。结构同步 支持对比不同数据库、指定表之间的表结构，产生差异化脚本并...
查看求交样本
数据表结构：数据表所属表结构模板使用的数据表结构，在管理控制台新增表结构时，已完成数据表结构配置，因此您没有编辑权限，仅有只读权限。关联键：在数据表授权时，已配置数据表的关联键，因此您没有编辑权限，仅有只读权限。
功能特性
结构同步 空库初始化 支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。空库初始化 表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行...
同步方案概览
库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB MySQL版同步至ClickHouse集群 Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 库表结构同步 全量数据同步 增量数据同步 单向同步 从PolarDB MySQL版同步至Elasticsearch MaxCompute ...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
CREATE TABLE LIKE
如果您需要快速创建一个与原表结构一致的新表时，可以使用CREATE TABLE LIKE完成表结构的复制和新表的创建。引擎与版本 CREATE TABLE LIKE语法仅适用于宽表引擎。宽表引擎需为2.4.2.1及以上版本。如何查看和升级当前版本，请参见 宽表引擎...
不同库名间的数据同步或迁移
迁移任务：迁移类型 需勾选 库表结构迁移，且 全量迁移 和 增量迁移 至少选其一。同步任务：同步类型 默认已勾选 增量同步，您还需勾选 库表结构同步，请根据实际情况选择是否勾选 全量同步。指定目标库实例中接收数据的对象，例如将多张库...
通过文件管理优化性能
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0，...
Quick BI数据集中如何同步更新表结构
概述 本文主要讲述Quick BI同步表结构的操作。问题描述 数据源中的表新添加了字段，怎么样在数据集中同步该表的结构。解决方案 在Quick BI的 数据集 位置找到要同步表结构的数据集，打开数据集，找到对应的图表，点编辑按钮。双击表的时候...
生成数据库脚本
平台提供两种数据库脚本生成方式：表结构生成语句和表结构变更语句。本文为您介绍如何生成数据库脚本。操作步骤 登录BizWorks，在 选择平台 下拉列表中选中 建模平台。单击页面右上角 图标或其文本框区域，在下拉列表中单击目标项目名称后...
逻辑表
逻辑库中有多张表结构相同且表名前缀相同的物理表。例如，物理表名分别为test_0、test_1、test_2和test_3。生成逻辑表的规则 逻辑库中多张表结构相同且表名前缀相同的物理表，会被划分为一张逻辑表。说明 如果物理表的表结构在逻辑库里是...
PolarDB PostgreSQL版架构介绍
HTAP架构原理 PolarDB PostgreSQL版 底层存储在不同节点上是共享的，因此不能直接像传统MPP一样去扫描表。PolarDB PostgreSQL版 在原来单机执行引擎上支持了MPP分布式并行执行，同时对Shared-Storage进行了优化。基于Shared-Storage的MPP是...
源物理表字段变更后如何更新下游的数据集模型
在报表制作中如遇到源表字段变化的情况，可以通过同步表结构功能进行设置，举例说明：在下图中源表为sales_record，其中有三个字段省、市和订单数量。但是后期源表中添加了字段县，此时只需对原有数据集同步数据结构将新添加字段同步过来。...
新增数据表
当您新建表结构模板后，可基于新建的表结构模板新增数据表。本文介绍通过管理控制台新增数据表的方法。前置准备 在添加数据表前，需确保您已完成以下操作：已安装、部署节点并完成节点间的授权。具体操作，请参见 隐私计算节点。该节点用于...
时序模型设计
本文介绍如何设计车联网场景下的时序表结构和映射表结构。时序表结构 假设存储车辆元数据的数据表名称为vehicles_timeseriesdata，表结构请参见下表。字段名称 类型 描述 measurement String 度量名称，表示时间线数据所度量的物理量或者...
Dataphin集成任务中多表同步是如何同步的
2.明确多表同步的前提：多张表具有相同的表结构（字段相同，类型等相同）。3.如果选择多表但多表的结构不同，则右侧只显示第一张表的字段内容。4.如果选择多表且多表结构相同，右侧默认只显示第一张表的字段内容。更多信息 无 相关文档 无
影子表同步
背景信息 ODC 的影子表同步功能支持根据源表的表结构自动在当前库中创建影子表（表名是在源表名上增加前缀或后缀的方式生成），适用于全链路压测等场景。本文档旨在介绍如何在 ODC 上新建和查看影子表同步。说明 ODC V4.0.0 及之后版本的...
从RDS原生实时同步
如果是多张分库分表同步到一张HybridDB for MySQL目标表，点击页面下方的 批量修改表结构 进入如下页面：在左侧选择栏选中具有相同表结构的源表，在右侧输入框中输入目标表名后按回车，即可以编辑右下方的 HDB表结构 内的DDL，完成修改后，...
数据管理DMS中重新加载库表结构的元数据说明
概述 本文主要介绍数据管理DMS中，为什么需要重新加载库表结构的元数据。详细信息 通过数据管理DMS登录某个数据库实例时，DMS会加载该实例当前的数据库、表等元数据的结构信息。例如，数据库的名称列表、表的名称列表、当前表的结构字段、...
数据导入概述
Quick Audience接入数据源后，您就可以将要导入的数据表存储在计算源，然后在Quick Audience声明数据表的表结构，执行调度任务，将表中的数据导入到Quick Audience，准备用于后续的分析、应用。数据导入流程 进行 ID类型管理，设置Quick ...
- 产品推荐
- 这些文档可能帮助您