无感集成（Zero-ETL）
配置库表字段，配置信息如下：库表字段配置 说明 示例值 数据库名称 选择已有的数据库。public 表名称 选择已有的数据表。table1 主键字段 已选数据表中的主键所在字段。id 分布键 数据表中的一个或多个字段，用来确定数据在分布式环境下的...
多表连接
警告 对数据量比较大的数据表进行笛卡尔连接（不带连接条件的交叉连接），会因数据膨胀造成结果数据量巨大，影响节点的执行耗时，并占用较多的存储空间。连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
我是管理员
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
我的数据
项目名/数据库 如果您的表是在不同的环境，会有相关的后缀。例如，_dev 表示开发环境。是否隐藏 单击 是否隐藏 下的 图标，设置显示或隐藏表。您可以选择表状态为 隐藏，即所有人都不可以通过搜索来访问到该表。仅项目，即仅对表所在工作...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
数据表-数据概况
对于长时间未更新数据的表，期望尽快找到并对其进行清理或优化，此时可以结合数据最后更新时间快速定位到相关表。指标说明 指标名称 指标说明 指标来源说明 表存储大小 当前表中存储的所有数据大小 如托管Location给DLF，来源于对OSS数据的...
功能简介
通过我的资产清晰掌握可使用、可...我可管理的 支持展示有管理权限的数据表、数据服务API数据资产，并提供资产详情查看等功能。我已授权的 支持对已授权的数据表、数据服务API等数据资产进行列表展示，并提供查看授权明细与停止授权等功能。
我的资产
我的资产展示用户有管理权限的数据表、数据服务API等数据资产，并提供资产详情查看等功能，帮助用户清晰了解管理数据资产和已授权的数据资产情况。我可使用的 支持展示自有权限或申请授权成功的数据表、数据服务API资产，并提供资产详情...
功能简介
我可管理的 支持展示有管理权限的数据表、标签、数据服务API数据资产，并提供资产详情查看等功能。我已授权的 支持对已授权的数据表、标签、数据服务API等数据资产进行列表展示，并提供查看授权明细与停止授权等功能。
写数据表
同步模式 全表同步：先清空目标表里已有数据，然后重新插入新数据。增量同步：保留目标表中的已有数据，然后追加插入新数据。分区同步：向目标表的指定分区中重新插入新数据。仅对支持分区的计算资源有效。说明 同步的目标表在目标计算引擎...
Stage级别诊断结果
在某些场景下，例如统计信息过期，会导致预估的表大小有偏差，从而导致广播了大量数据，此时可以考虑使用Hint JOIN_DISTRIBUTION_TYPE=repartitioned 来关闭数据的广播功能。Stage输入数据倾斜 问题 导致Stage输入数据倾斜的可能原因如下：...
配置MaxCompute输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的分区。默认的分区为 ds=${bizdate}。输入字段 根据上游组件的输出，为您展示输入字段。输出字段 输出字段区域...
配置MaxCompute输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的分区。默认的分区为 ds=${bizdate}。输入字段 根据上游组件的输出，为您展示输入字段。输出字段 输出字段区域...
配置AnalyticDB for MySQL 3.0输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前...
配置AnalyticDB for MySQL 3.0输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前...
配置MySQL输出组件
加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入...
配置MySQL输出组件
加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入...
配置OpenGauss输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 冲突时覆盖。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段...
配置OpenGauss输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 冲突时覆盖。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
配置TiDB输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表...
配置TiDB输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据查询
数据查询（兼容HBase）数据查询（兼容HBase）界面支持查询指定表的详细信息，也支持为已有的表新增相关属性。查询已有数据 支持查询 SQL表 和 HBase表 中已有的数据。在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
操作项目权限
表类型为 物理表 时：支持选择 查表数据、改表数据、删除表、改表结构。表类型为 元表、镜像表 时，支持选择 查表数据、改表数据。授权原因 填写授予项目权限的原因。单击 确定，完成项目权限的授权。回收项目权限 按照下图指引，进入 项目...
操作项目权限
表类型为 物理表 时：支持选择 查表数据、改表数据、删除表、改表结构。表类型为 元表、镜像表 时，支持选择 查表数据、改表数据。授权原因 填写授予项目权限的原因。单击 确定，完成项目权限的授权。回收项目权限 按照下图指引，进入 项目...
回收站列表
批量恢复表 您可以通过批量恢复表的方式，将误删除的表或期望恢复的多个数据表，恢复到原存储位置。在 回收站列表 页面，选择多个表后单击页面下方的 恢复。在 批量恢复 对话框中，单击 批量恢复。当 状态 列下均显示 成功，则多个表恢复...
回收站列表
批量恢复表 您可以通过批量恢复表的方式，将误删除的表或期望恢复的多个数据表，恢复到原存储位置。在 回收站列表 页面，选择多个表后单击页面下方的 恢复。在 批量恢复 对话框中，单击 批量恢复。当 状态 列下均显示 成功，则多个表恢复...
授权与回收表权限
查看表权限列表 区域 参数 ① 基础信息区 为您展示数据表的 表名、表所在项目/数据板块、表环境、数据负责人 信息。② 筛选及搜索区 您可按照账号名称的关键字进行搜索，也可按照权限账号进行筛选。③ 列表区 为您展示数据对象的账号、权限...
表回收站
开启 PolarDB-X 1.0 表回收站功能后，通过 DROP TABLE 指令删除的表将被移动至表回收站中不再可见，数据表移动至回收站2小时后，即被自动清理，无法恢复。您可以在表回收站中查看、恢复、清理已删除的表。限制与说明 PolarDB-X 1.0 实例...
授权与回收表权限
查看表权限列表 区域 参数 ① 基础信息区 为您展示数据表的 表名、表所在项目/数据板块、表环境、数据负责人 信息。② 筛选及搜索区 您可按照账号名称的关键字进行搜索，也可按照权限账号进行筛选。③ 列表区 为您展示数据对象的账号、权限...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
数据表
本文介绍如何进行我的数据表资产授权管理。前提条件 使用工作组管理员账号登录。已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）...
镜像表和字段详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
- 产品推荐
- 这些文档可能帮助您