通过日志服务导入至数仓版
表名 选择您已创建的AnalyticDB MySQL集群中的数据库表。账号名称 配置为您在AnalyticDB MySQL集群中创建的数据库账号名称。账号密码 配置为您在AnalyticDB MySQL集群中创建的数据库账号密码。字段映射 系统自动提取日志服务中最近10分钟的...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
查看数据元详情
通过查看数据元详情，您可查看数据元的基本信息以及值域设置、引用的数据字典、关联字段以及操作日志等详细信息。本文介绍如何查看数据元详情。前提条件 已存在数据元，具体操作，请参见 新建数据元 或者 导入数据元。操作步骤 登录 数据...
查看数据元详情
通过查看数据元详情，您可查看数据元的基本信息以及值域设置、引用的数据字典、关联字段以及操作日志等详细信息。本文介绍如何查看数据元详情。前提条件 已存在数据元，具体操作，请参见 新建数据元 或者 导入数据元。操作步骤 登录企业...
配置FTP输入组件
选择 导出 则新增一个导出字段，字段内容为该行数据的来源sheet名称。文件编码 选择文件编码。系统支持的 文件编码 包括 UTF-8 和 GBK。压缩格式 如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行解压处理。输出字段 为您展示输出...
配置FTP输入组件
选择 导出 则新增一个导出字段，字段内容为该行数据的来源sheet名称。文件编码 选择文件编码。系统支持的 文件编码 包括 UTF-8 和 GBK。压缩格式 如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行解压处理。输出字段 为您展示输出...
Sensors Data（神策）数据源
目标表的字段列名为course_id"index":0/取来源表的第1列数据写入目标表的course_id列 },{"name":"course_name",/目标表的字段列名为course_name"index":1/取来源表的第2列数据写入目标表的course_name列 },{"name":"course_schedule",/...
新建和管理公共标准属性
质量监控规则：当范围值类型为 枚举-输入枚举值、范围区间 时，质量规则为有效性/字段值域校验模板信息；当范围值类型为 枚举-引用码表 时，质量规则为有效性/数据标准码表参照对比校验。大小写敏感：当字符类型是字符型是，大小写敏感会...
新建和管理公共标准属性
质量监控规则：当范围值类型为 枚举-输入枚举值、范围区间 时，质量规则为有效性/字段值域校验模板信息；当范围值类型为 枚举-引用码表 时，质量规则为有效性/数据标准码表参照对比校验。大小写敏感：当字符类型是字符型是，大小写敏感会...
数据建模
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层级管理：支持对逻辑...
03配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量，本文介绍如何配置逻辑表字段，关联标准字段。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已创建数据元...
功能简介
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层次管理：支持对逻辑表...
功能简介
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层次管理：支持对逻辑表...
管理识别结果
系统根据识别规则的数据分类和数据分级对字段打标，您可以手动添加识别结果、Excel上传识别结果，本文为您介绍如何创建及管理识别结果。前提条件 完成识别规则的创建，详情请参见 创建、配置及手动触发识别规则。权限说明 安全管理员可以...
CDH Hive数据抽样采集器
一个集群仅支持新建一个采集器，一个采集器中可以选择一个或多个需要进行数据抽样采集的数据库。选择集群后，如果不选择数据库，默认对所有数据库下的表进行数据抽样。阿里云主账号，拥有 AliyunDataWorksFullAccess 权限的子账号可以进行...
从SLS同步
本文介绍如何使用日志投递功能从日志服务（SLS）同步数据到云数据库ClickHouse。注意事项 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...
数据建模
数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!字段规则说明：配置项 说明 最大值 对应分区，该字段的最大值与期望的固定值进行比较，符合规则则...
迁移时源库为Oracle的注意事项及限制
迁移对象要求：待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。说明 您也可以使用Oracle中的ROWID作为无主键和唯一约束表的主键。如果您的自建Oracle版本为12c及以上，待迁移表的名称长度需...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA 每个实例只能有一个DBA。系统角色为DBA、管理员的用户可以编辑调整实例DBA。可查看实例上每个...
配置AnalyticDB for PostgreSQL输出组件
具体操作，请参见 创建AnalyticDB for PostgreSQL数据源 表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 ...
质量规则模板类型
有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。字段值域校验 用于对单字段的取值范围进行校验。码表参照对比 支持对单字段是否在码表中进行判断。数据标准码表参照...
质量规则模板类型
有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。字段值域校验 用于对单字段的取值范围进行校验。码表参照对比 支持对单字段是否在码表中进行判断。数据标准码表参照...
配置流程
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
库表
云原生数据仓库AnalyticDB MySQL 3.0集群中的数据库里面还有其他表，且表里面还有数据，则会导致该报错。您可以删除数据库前需要先删除库中的所有表，此时使用 drop table 语句删除很麻烦，建议您使用新版DMS进行批量删除。登录 数据管理...
配置AnalyticDB for PostgreSQL输出组件
表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 一键生成目标表。Dataphin会自动为您匹配创建表的代码，...
没有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
数据表管理
增量数据更新 当绑定的数据库中的有关数据表有变化更新时，通过配置“更新时间列”，系统快速自动同步更新有关数据。具体配置步骤如下：数据库中有关物理表配置“更新时间列”，当有关行数据变更时，在此列中进行变更时间记录；说明 此步骤...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
查看表资产详情
单击 字段规则，查看字段的规则名称、规则类型、比较方式、强弱、期望值、趋势、规则触发动作、更新时间等。单击 自定义SQL规则，查看自定义SQL的规则名称、规则类型、比较方式、强弱、期望值、趋势、规则触发动作、更新时间等。说明 T+1...
没有约束的列修改长度
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改没有约束的列的字段长度的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 ...
查看表资产详情
单击 字段规则，查看字段的规则名称、规则类型、比较方式、强弱、期望值、趋势、规则触发动作、更新时间等。单击 自定义SQL规则，查看自定义SQL的规则名称、规则类型、比较方式、强弱、期望值、趋势、规则触发动作、更新时间等。说明 T+1...
没有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改没有约束的列的字段类型的不兼容场景。如果列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段类型修改操作，MySQL 数据库...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
数据方案概览
表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。数据变更 普通数据变更 支持数据...
有约束的列修改长度
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的长度的不兼容场景。主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
- 产品推荐
- 这些文档可能帮助您