数据探查全局配置
说明 当部分项目或板块下开启自动探查的数据表范围变更，并且删除数据表之前已经开启了数据探查配置，移除数据表后将自动关闭所有相关数据表的自动探查，正在探查中的任务不受影响。后续步骤 完成数据探查配置后，您可对数据表执行自动探查...
数据探查全局配置
说明 当部分项目或板块下开启自动探查的数据表范围变更，并且删除数据表之前已经开启了数据探查配置，移除数据表后将自动关闭所有相关数据表的自动探查，正在探查中的任务不受影响。后续步骤 完成数据探查配置后，您可对数据表执行自动探查...
自动增量排序
查询表的自动增量排序功能是否开启，示例SQL如下：SELECT relname,reloptions FROM pg_class WHERE relname='table_name';返回示例如下：relname|reloptions-+-table_name|{appendonly=true,orientation=column,automerge=on} automerge=on...
功能发布记录
计算组（Virtual Warehouse）实例支持写入计算组的自动路由，无需手动指定计算组，系统自动路由，降低执行写入操作时计算组的使用难度。详情请参见 计算组Table Group授权管理。动态分区Auto Partition支持自定义分区创建时间或删除时间，...
数据归档至用户OSS
清理：归档完成后，自动用无锁的方式清理源表数据。选择是否校验归档数据：不校验：不校验归档后的数据。校验：归档数据与原库数据进行比对，展示差异信息与归档信息。校验时间随数据量增长。运行方式 选择运行方式，当前支持：单次执行：...
配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标MaxCompute表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认处理策略，您也...
ANALYZE
在默认的配置中，自动清理守护进程会在表第一次载入数据或者用常规操作改变时负责表的自动分析。当启用自动清理时，定期运行 ANALYZE 是个好主意，或者可以在表内容做了大的修改后运行 ANALYZE。准确的统计信息将帮助规划器选择最合适的...
MySQL分库分表同步至MaxCompute
说明 目前自动建表生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...
MySQL分库分表同步至MaxCompute
说明 目前自动建表生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...
整库离线同步至MaxCompute
编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。...
整库离线同步至MaxCompute
编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标 AnalyticDB for MySQL 表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认...
LogHub（SLS）实时ETL同步至Hologres
保存 建表结构 或 选择已有表时，会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，可根据需要进行调整秒支持一个游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到Hologres表列的映射...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
MySQL一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标文件映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
一键实时同步至MaxCompute
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型...
读数据表
读数据表组件用于读取MaxCompute表数据，默认读取本项目的表数据。如果跨项目读取表数据，则需要在表名前添加项目名。说明 目前 Designer 算法组件支持读取的数据类型为DOUBLE、BIGINT、STRING、BOOLEAN、DATETIME。读数据表组件支持读取...
Kafka单表实时入湖OSS（HUDI）
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与OSS表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个OSS表列，不允许多个上游列映射到一个OSS表列，当上游列未配置到OSS表列的映射时，...
配置并管理实时同步任务
如果您前一步中目标数据源使用的 Topic建立方式 为 自动建Topic，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标DataHub Topic。运行资源设置。在 运行资源设置 页面，配置各项参数。参数 描述 来源端读取支持最大连接数 ...
Kafka实时ETL同步至Hologres
保存 建表结构 或者选择 使用已有表 时，系统会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，您可根据需要进行调整，支持一个上游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到...
外部表自动加载（Auto Load）
本文为您介绍如何使用Auto Load外部表自动加载的功能，实现MaxCompute和OSS数据的按需自动加载以及全量自动加载。应用场景 Hologres与 云原生大数据计算服务MaxCompute、阿里云数据湖构建（Data Lake Formation，DLF）和 阿里云对象存储...
通过文件管理优化性能
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0，...
表回收站
开启 PolarDB-X 1.0 表回收站功能后，通过 DROP TABLE 指令删除的表将被移动至表回收站中不再可见，数据表移动至回收站2小时后，即被自动清理，无法恢复。您可以在表回收站中查看、恢复、清理已删除的表。限制与说明 PolarDB-X 1.0 实例...
CREATE TABLE LIKE
CREATE TABLE LIKE语句用于创建一个同Select Query结果相同的表。本文为您介绍CREATE TABLE LIKE的用法。使用限制 Hologres V0.9及以下版本，CREATE TABLE LIKE 语句仅支持复制表结构，不支持复制表属性（主键、索引等）。请在Hologres管理...
影子表同步
背景信息 ODC 的影子表同步功能支持根据源表的表结构自动在当前库中创建影子表（表名是在源表名上增加前缀或后缀的方式生成），适用于全链路压测等场景。本文档旨在介绍如何在 ODC 上新建和查看影子表同步。说明 ODC V4.0.0 及之后版本的...
将AI模型推理结果写回数据库
本文描述了如何通过PolarDB for AI在数据库中生成含有AI模型推理列的数据表PolarDB for AI Augmented Table（下文简称AAT）。经过人工智能增强的数据表可广泛应用于Data+AI的多个场景，以协助用户进行数据洞察，并根据实际情况调整其决策。...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
查看自有权限资产
查看表资产详情或申请权限 当需查看某个表资产详情时，单击目标资产名称，查看资产详情，包括字段信息、数据预览、血缘关系等，更多信息，请参见 查看表资产详情。当需申请某个资产权限时，单击目标资产名称，在数据表资产详情页面，可申请...
Kafka数据接入
如果 自动创建目标表 选择 否，表名称需与 表格存储 实例中已有表名称相同。kafka_table 表格存储 存储同步数据的表类型。推荐使用时序模型，作为物联网场景中的标准数据。取值范围如下：宽表模型 时序模型 时序模型 消息 Key 格式 消息Key...
基于原生DDL语句创建元表
开发过程中所用到的输入表、输出表、维表可以通过创建元表方式来进行创建和管理，以支持您通过引用元表的方式来创建其他数据表。有效解决原生DDL开发方式的研发路径复杂，密码明文记录，安全性差，研发效率低等问题。更多信息，请参见 ...
基于原生DDL语句创建元表
开发过程中所用到的输入表、输出表、维表可以通过创建元表方式来进行创建和管理，以支持您通过引用元表的方式来创建其他数据表。有效解决原生DDL开发方式的研发路径复杂，密码明文记录，安全性差，研发效率低等问题。更多信息，请参见 ...
数据方案概览
影子表同步 支持根据源表的表结构自动在当前库中创建影子表，支持周期性同步。空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本...
变更表类型及拆分规则（DRDS模式）
注意事项 表属性变更后，主键拆分表将变成普通表（即不再适用原主键拆分表中的自动拆分规则或索引转换规则）。更多详情，请参见 DRDS模式下的主键拆分。若单表设置了自增列，在变更为广播表或拆分表时，需提前为该表创建Sequence。如何创建...
变更表类型及分区策略（AUTO模式）
注意事项 表属性变更后，主键分区表将变成普通表（即不再适用原主键分区表中的自动分区策略或索引转换规则）。更多详情，请参见 AUTO模式下的主键拆分。本文中关于变更分区表、广播表和单表的表类型示例，均在单表 t_order1 的基础上进行...
设置数据表权限
EMAS Serverless会为每个新建的数据表自动提供一个默认权限规则。默认所有人有读权限，仅管理员有写权限，您可以通过修改权限规则管理数据表的权限。前提条件 确保您已经了解EMAS Serverless服务的数据库权限设置规则。EMAS Serverless在...
主键与唯一键（AUTO模式）
本节介绍了在AUTO模式数据库中，判断表的主键是Global主键还是Local主键，表的唯一键是Global唯一键还是Local唯一键的方法。主键 在 PolarDB-X 中，主键分为Global主键与Local主键。当创建出的主键：能保证全局唯一，就称为Global主键；只...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
RDS MySQL同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
- 产品推荐
- 这些文档可能帮助您