新建Elastic Service在线类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Flink Vvp SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
TRUNCATE TABLE
注意事项 执行 TRUNCATE TABLE 命令清空表中的数据，表结构不会被删除。数据库备份期间无法执行，执行 TRUNCATE TABLE 将会报错。当集群中有状态为运行中（RUNNING）的Build任务时，执行 TRUNCATE TABLE 将会报错，需要等Build任务完成后再...
新建Elastic Service在线类型的节点并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据...
新建Flink Vvr SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
数据治理
表管理数据地图表结构未更新 新建表在数据地图找不到 数据集成搜不到新建的表 当前表业务逻辑变更如何通知下游？您可以通过 数据地图表详情 页的 血缘信息>影响分析 中批量以邮件方式告知下游相关责任人。哪些类型的Hive表支持在数据地图中...
新建Elastic Service在线类型的节点并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据...
新建Flink Vvr SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
配置参数说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
新建Elastic Service在线类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
通过DataWorks实现MaxCompute跨项目迁移
新建数据表 跨项目克隆功能无法克隆您的表结构，因此您需要手动新建表。对于非分区表，建议使用如下语句迁移表结构。create table table_name as select*from 源库MaxCompute项目.表名;对于分区表，建议使用如下语句迁移表结构。create ...
通过DataWorks实现MaxCompute跨项目迁移
新建数据表 跨项目克隆功能无法克隆您的表结构，因此您需要手动新建表。对于非分区表，建议使用如下语句迁移表结构。create table table_name as select*from 源库MaxCompute项目.表名;对于分区表，建议使用如下语句迁移表结构。create ...
计算节点配置说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
无锁结构变更概览
DMS生成的临时表名规则：数据表：tp_{变更ID}_ogt_{原表名}、tp_{变更ID}_g_{原表名} 心跳表：tp_{变更ID}_ogl_{原表名}、tp_{变更ID}_l_{原表名} 切换前的辅助表、切换后的原表：tp_{变更ID}_del_{原表名}、tp_{变更ID}_d_{原表名} 探测...
新功能发布记录
您可以在表详情中，全面地了解并高效地使用表数据。表详情 结构只读用户角色 新增 在普通用户的基础上额外具有查看实例、库、表的元数据的权限，包含查看表详情、导出整个数据库结构等，若需要查询数据，仍需申请对应的查询权限。系统角色 ...
计算节点配置说明
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
创建并使用MaxCompute表
基于业务流程管理表 使用 表管理 新建的表，可通过导入的方式添加至数据开发具体的业务流程中，并基于业务流程来管理、查看该业务相关的表。具体操作如下图所示。被引用：指该表在当前业务流程中有被查询（select）。被写入：指当前业务...
创建并使用MaxCompute表
基于业务流程管理表 使用 表管理 新建的表，可通过导入的方式添加至数据开发具体的业务流程中，并基于业务流程来管理、查看该业务相关的表。具体操作如下图所示。被引用：指该表在当前业务流程中有被查询（select）。被写入：指当前业务...
无锁结构变更
背景信息 为解决变更数据库表结构时的锁表问题，ODC V4.2.0 版本提供了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务。本文档旨在介绍如何通过提交无锁变更工单实现数据库无锁结构变更。ODC 支持的在线结构变更 分类 操作 ...
新建开发环境场景并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为任意...
新建开发环境场景并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为任意...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
如何支持超大事务
测试所用实例规格 使用以下 PolarDB-X 实例进行测试：PolarDB-X 版本 polarx-kernel_5.4.11-16301083_xcluster-20210805 节点规格 4核16GB 节点个数 4 创建一个规格为4C16G的ECS连接实例进行测试，该ECS与实例位于同一网段下，由同一个虚拟...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
功能特性
Paimon数据源 数据集成和可视化 功能集 功能 功能描述 参考文档 数据集成 通过DataWorks导入数据 云数据库 SelectDB 版支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks...
增量数据同步
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，单击>离线数据同步。在 离线...
MaxCompute表数据
影响分析 若当前表的表结构或表数据发生变化，均会对下游节点产生影响，可通过 影响分析 查看当前表存在哪些下游表，提前预知变更操作可能影响到哪些表。您可以在该页面根据血缘层级、任务类型、表类型等信息进行筛选，展示所分析的血缘...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
否，适配gh-ost：不同步Online DDL变更产生的临时表数据，只同步源库使用gh-ost执行的原始DDL数据，同时您可以使用默认的或者自行配置gh-ost影子表和无用表的正则表达式。说明 该方案会导致目标库锁表。源库、目标库无法连接后的重试时间 ...
使用mysqldump导入导出数据
PolarDB-X 和MySQL之间数据传输时不推荐导出表结构，因为 PolarDB-X 包含分库分表功能，CREATE TABLE（DRDS模式）中的拆分函数等与MySQL不兼容，不兼容的关键字包括：DBPARTITION BY hash(partition_key)TBPARTITION BY hash(partition_key...
基本概念
MySQL Binlog：实时数据同步模式，通过同步并解析记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志，实现数据的秒级同步。SQLServer CDC：实时数据同步模式，开启CDC的源表...
我的资产
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据...
通过无锁变更工单实现无锁结构变更
为解决变更数据库表结构时的锁表问题，数据管理DMS 推出了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。本文介绍通过提交无锁变更工单实现数据库无锁结构变更的方法。前提条件 ...
数据表
本文介绍如何查看我的数据表资产。...已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见...在左侧导航栏，选择 资产明细>我可使用的，在 我可使用的 页面，选择 数据表＞申请授权。预期结果 展示已授权成功的数据表。
申请数据表
本文介绍如何申请已公开的数据表资产。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。使用租户一般用户登录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在...
网易有数BI连接MaxCompute
查看表结构及表数据 成功添加MaxCompute数据源后，您可以在网易有数BI的 数据连接 下，单击目标表名，即可查看表结构及表数据信息。可视化分析数据 在报告编辑页面的顶部菜单栏，选择目标图表类型，然后将右侧的 维度 或 度量 字段拖拽到 ...
自建Oracle迁移至PolarDB-X
DTS在迁移Oracle至 PolarDB-X 时，不支持结构迁移，您需要根据自建Oracle数据库中待迁移数据表的数据结构，提前在目标 PolarDB-X 中创建相应的数据库和数据表，详情请参见 创建数据库 和 执行SQL基本操作。说明 由于Oracle和 PolarDB-X 的...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
- 产品推荐
- 这些文档可能帮助您