功能特性
结构同步 空库初始化 支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。空库初始化 表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行...
基本概念
数据库 database 表示数据访问代理的逻辑数据库。以这个作为访问的入口，通过分库分表、读写分离等规则可以请求到后端真实的物理数据库。数据表 data table 表示数据访问代理的逻辑表，应用访问数据访问代理时 SQL 中的表即数据表。一个...
数据库存储
使用示例 生成数据表 创建 OrmLiteSqliteOpenHelper 查询数据 插入数据 删除数据 生成数据表/数据库表名，默认为类名@DatabaseTable public class User {/主键@DatabaseField(generatedId=true)public int id;name 字段唯一@DatabaseField...
逻辑表
配置完逻辑库后，系统会自动解析逻辑库中符合条件的物理表，生成逻辑表，您也可以手动更新逻辑表。本文介绍生成逻辑表的规则和手动更新逻辑表的方法。前提条件 已配置逻辑库。更多信息，请参见 逻辑库。逻辑库中有多张表结构相同且表名前缀...
查看及管理逻辑表相关对象
逻辑表的相关对象，指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务（当前表是此任务的输入表）/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 请参见 数据开发入口，...
查看及管理逻辑表相关对象
逻辑表的相关对象，指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务（当前表是此任务的输入表）/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 请参见 数据开发入口，...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
Dataphin无法修改新创建的汇总逻辑表名
问题描述 Dataphin无法修改新创建的汇总逻辑表名。正常情况下可以修改汇总逻辑表名。问题原因 这里的相同粒度的汇总表已经建立了，所以就会回显不让编辑汇总逻辑表名。解决方案 搜索是否有相同统计粒度的汇总逻辑表。适用于 Dataphin
新建枚举维度逻辑表
逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_enum_自定义名称。自定义名称的命名规则如下：允许字母、数字或下划线（_）。不能超过64个字符。中文名称 命名规则如下：不能超过128个字符。支持任何字符。...
新建枚举维度逻辑表
逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_enum_自定义名称。自定义名称的命名规则如下：允许字母、数字或下划线（_）。不能超过64个字符。中文名称 命名规则如下：不能超过128个字符。支持任何字符。...
通过SQL模式创建API（Dataphin表）
命令格式 select(<返回参数1>+<返回参数2>)as<别名>，(<返回参数2>+<返回参数3>)as<别名>from<逻辑表名>where<字段c>=${请求参数名1} and<字段b>>=${请求参数名2} or<字段c>${请求参数名3} 使用示例-在数据表A中查询当字段c=id_card，或...
新建虚拟维度逻辑表
虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象，例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：新建...
新建虚拟维度逻辑表
虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象，例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：新建...
历史数据清理
当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时，您可以使用数据管理DMS提供的历史数据清理功能，定期清理历史数据，以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...
TableSummaryModel
schemaName TableName string 逻辑表名或逻辑视图名。tableName TableType string 表或视图类型。PHYSICAL_SCHEMA_NAME TableSize long 表大小，单位为 Byte。1234 CreateTime string 创建时间。2023-01-05 13:17:55 UpdateTime string ...
Quick BI连接MaxCompute数据源后看不到项目中逻辑表的...
问题原因 Dataphin中物理表访问方式为[项目名].[表名]，而逻辑表的访问方式为[业务板块名].[逻辑表名]，Quick BI中新建数据源配置的项目名不正确，应该使用业务板块名作为项目名称。解决方案 在Quick BI数据源中添加MaxCompute数据源时，...
新建层级维度逻辑表
逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_<业务对象名称>_df。中文名称 命名规则如下：不能超过128个字符。支持任何字符。描述信息 填写对层级维度逻辑表的简单描述。单击 确定。步骤二：配置层级...
新建层级维度逻辑表
逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_<业务对象名称>_df。中文名称 命名规则如下：不能超过128个字符。支持任何字符。描述信息 填写对层级维度逻辑表的简单描述。单击 确定。步骤二：配置层级...
新建逻辑表命名规则
逻辑表命名规则旨在于让创建的逻辑表遵循统一的命名规范标准，可基于模型命名属性，对模型命名规则进行配置，形成条理清晰，方便检索并易于理解的数据模型，让数据模型应用更方便。本文介绍如何创建逻辑表命名规则。前提条件 已完成模型...
新建逻辑表命名规则
逻辑表命名规则旨在于让创建的逻辑表遵循统一的命名规范标准，可基于模型命名属性，对模型命名规则进行配置，形成条理清晰，方便检索并易于理解的数据模型，让数据模型应用更方便。本文介绍如何创建逻辑表命名规则。前提条件 已完成模型...
新建事实逻辑表
逻辑表名 逻辑表名格式为<数据板块英文名称>.fct_自定义名称_<数据时效>。根据数据时效不同，逻辑表名的格式也不同，<数据时效>展示信息不同：di：T+1时效，日增量，每天存储当天的增量数据。hi：T+h时效，小时增量，每小时存储当前小时的...
新建事实逻辑表
参数 描述 来源表 支持选择当前租户下所有具有读取权限的物理表（非Dataphin自动生成的物理表）、逻辑表、视图（非参数化视图）。如何获取物理表的读取权限，请参见 申请、续期和交还表权限。字段列表 选择您需要添加的字段。说明 您可通过...
DescribeAllDataSource-枚举数据库列表
枚举实例下所有数据库列表、表列表和列列表。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc....
新建普通维度逻辑表
逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h...
新建普通维度逻辑表
逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h...
扫描全部/部分分库分表
使用 SCAN HINT，您可以一次将SQL下发到每一个分库执行,比如查看某个分库上的所有分表，或者查看某个逻辑表的每张物理表中的数据量等。通过 SCAN HINT，可以指定四种执行SQL的方式：在所有分库的所有分表上执行；在指定分库的所有分表上...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
ColDetailModel
schemaName TableName string 逻辑表名。tableName CreateTime string 创建时间(UTC)。2023-01-05'T'13:17:55'Z' UpdateTime string 更新时间(UTC)。2023-01-05'T'13:17:55'Z' PartitionKey boolean 是否是分区键。true Nullable boolean ...
扫描全部/部分分库分表
使用 SCAN HINT，您可以一次将SQL下发到每一个分库执行,比如查看某个分库上的所有分表，或者查看某个逻辑表的每张物理表中的数据量等。通过 SCAN HINT，可以指定四种执行SQL的方式：在所有分库的所有分表上执行；在指定分库的所有分表上...
Dataphin PyODPS
获取待操作数据对象的权限 申请逻辑表权限，详情请参见 申请、续期和交还表权限。申请物理表权限，详情请参见 申请、续期和交还表权限。上传资源到Python任务所在的项目，并提交或发布至生产环境。具体操作，请参见 上传资源及引用。需要在...
Dataphin PyODPS
获取待操作数据对象的权限 申请逻辑表权限，详情请参见 申请、续期和交还表权限。申请物理表权限，详情请参见 申请、续期和交还表权限。上传资源到Python任务所在的项目，并提交或发布至生产环境。具体操作，请参见 创建资源。需要在Python...
配置离线管道调度依赖
支持的筛选条件包括 逻辑表类型、所属的板块 以及输入 逻辑表名 进行筛选。② 节点列表 节点列表为您展示可依赖的 逻辑表节点，您可根据您的需求进行选择。若您需依赖逻辑表中某些字段，非整个逻辑表。您可在节点列表的 依赖字段 栏单击 可...
元数据仓库共享模型（Hadoop）
alert_event_di 告警事件表 fct_dataphin_monitor_alert_notification_di 警推送记录表 逻辑运维 dim_dataphin_model_node 逻辑表调度节点 fct_dataphin_model_node_task_di 逻辑表调度实例 OS fct_dataphin_os_task_table_inputoutput_di ...
元数据仓库共享模型（MaxCompute）
alert_event_di 告警事件表 fct_dataphin_monitor_alert_notification_di 警推送记录表 逻辑运维 dim_dataphin_model_node 逻辑表调度节点 fct_dataphin_model_node_task_di 逻辑表调度实例 OS fct_dataphin_os_task_table_inputoutput_di ...
配置离线管道调度依赖
支持的筛选条件包括 逻辑表类型、所属的板块 以及输入 逻辑表名 进行筛选。② 节点列表 节点列表为您展示可依赖的 逻辑表节点，您可根据您的需求进行选择。若您需依赖逻辑表中某些字段，非整个逻辑表。您可在节点列表的 依赖字段 栏单击 可...
配置离线任务调度依赖
支持的筛选条件包括 逻辑表类型、所属的板块 以及输入 逻辑表名 进行筛选。② 节点列表 节点列表为您展示可依赖的 逻辑表节点，您可根据您的需求进行选择。若您需依赖逻辑表中某些字段，非整个逻辑表。您可在节点列表的 依赖字段 栏单击 可...
- 产品推荐
- 这些文档可能帮助您