功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
概览信息
数据资产总量统计：总资产统计：展示资产总量和今日新增，T+1逻辑刷新数据，即当天公开的资产数据，次日生效。说明 T+1：T表示今天（Today），T+1表示次日生效。近7日资产总量新增趋势图：T+1逻辑刷新数据，即当天公开的资产数据，次日生效...
概览信息
数据资产总量统计：总资产统计：展示资产总量和今日新增，T+1逻辑刷新数据，即当天公开的资产数据，次日生效。说明 T+1：T表示今天（Today），T+1表示次日生效。近7日资产总量新增趋势图：T+1逻辑刷新数据，即当天公开的资产数据，次日生效...
备份与恢复方案概览
将备份数据恢复至自建数据库 逻辑备份恢复至自建数据库 MongoDB 4.2及以下版本的副本集本地盘实例。MongoDB 4.2及以下版本的分片集群本地盘实例。可用于业务测试或数据分析等场景。说明 将备份数据恢复至自建数据库时，需要先下载备份文件...
配置逻辑表调度属性
逻辑表调度周期 包括 日、小时 和 分钟，由创建逻辑表时的 数据时效 决定，调度类型不支持修改。日调度：即逻辑表任务每天自动运行一次。新建 离线T+1数据时效 逻辑表任务时，系统默认的时间周期为每天0点运行一次。您可以根据需要，单击 ...
周期任务补数据
逻辑表任务终点只支持选择到全表（全部字段）。选中范围内排除：指定需要在覆盖范围内排除的 节点输出名称 或 节点名称。默认选中 排除暂停节点及其下游，同列表模式中 过滤暂停节点及其下游。说明 在选中范围内排除某些任务后，补数据实例...
新建补数据任务
逻辑表任务终点只支持选择到全表（全部字段）。选中范围内排除：指定需要在覆盖范围内排除的 节点输出名称 或 节点名称。默认选中 排除暂停节点及其下游，同列表模式中 过滤暂停节点及其下游。说明 在选中范围内排除某些任务后，补数据实例...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
UTL_RAW
BIT_COMPLEMENT Function 对输入的RAW类型数据的值按位进行逻辑“补码”运算，并返回RAW类型的计算结果。BIT_OR Function 对RAW r1和RAW r2的值按位进行逻辑“或”运算，并返回RAW类型的计算结果。BIT_XOR Function 对RAW r1和RAW r2的值按...
数据服务概述
功能介绍 数据服务支持基于业务数据源的物理表或Dataphin生成的逻辑表 创建服务项目分组 和 开发Dataphin数据源并加速数据查询，以满足不同场景的业务诉求。后续应用就可以 调用API 和 调用Dataphin数据源。同时数据服务支持 运维监控API，...
周期任务补数据
指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：对于维度逻辑表和事实逻辑表，系统将自动识别并选中计算逻辑发生变更的字段，不支持取消选中，保障数据按照最新计算逻辑运行。对于汇总逻辑表，系统会根据指标的...
配置逻辑表调度属性
逻辑表调度周期 包括 日、小时 和 分钟，由创建逻辑表时的 数据时效 决定，调度类型不支持修改。日调度：即逻辑表任务每天自动运行一次。新建 离线T+1数据时效 逻辑表任务时，系统默认的时间周期为每天0点运行一次。您可以根据需要，单击 ...
概述
数据集是数据的结构化形态，一切逻辑、权限、服务等都是从数据集展开。仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布，支持灵活自定义的...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
步骤八：验证数据
编写以下命令后，单击页面上方的 运行，验证 产品维度逻辑表 数据。SELECT*FROM LD_dataphin_tutorial.dim_products WHERE ds IS NOT NULL;编写以下命令后，单击页面上方的 运行，验证 购买下单事实逻辑表 数据。SELECT*FROM LD_dataphin_...
步骤八：验证数据
编写以下命令后，单击页面上方的 运行，验证 产品维度逻辑表 数据。SELECT*FROM LD_dataphin_tutorial.dim_products WHERE ds IS NOT NULL;编写以下命令后，单击页面上方的 运行，验证 购买下单事实逻辑表 数据。SELECT*FROM LD_dataphin_...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
拆分函数概述
拆分方式 在 PolarDB-X 1.0 中，一张逻辑表的拆分方式由拆分函数（包括分片数目与路由算法）与拆分键（包括拆分键的 MySQL 数据类型）共同定义。只有当 PolarDB-X 1.0 使用了相同的拆分函数和拆分键时，才会被认为分库与分表使用了相同的...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
新建补数据任务
下游任务选择 说明 若起点任务是逻辑表，下游任务展示范围取决于选中需要补数据的逻辑表字段。列表模式：适用于所有层级的下游任务，总共最多2000个。且任务依赖可快捷选择1~10层以及全部层级。过滤暂停任务及其下游：默认勾选，选中后，...
数据选择框
数据选择框组件初始化需要绑定一条逻辑流。该逻辑流至少接收一个入参，该参数代表数据选择框自身的全部数据，类型为List。同时该逻辑流需要一个入参List子集的返回值List或Object（取决于是否开启了多选），用于筛选初始化数据显示。该逻辑...
查看并管理明细汇总表任务
明细汇总表任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
逻辑备份PostgreSQL数据
您可以使用PostgreSQL自带的工具pg_dump将实例的数据进行逻辑备份，后续导出到本地保存。背景信息 pg_dump是备份PostgreSQL数据库的工具，可用于备份单个数据库。更多详情，请参见 pg_dump。前提条件 RDS PostgreSQL实例已 设置白名单，...
查看并管理明细汇总表任务
明细汇总表任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
增强E-R
随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务之间的依赖关系，导致数据库的外键信息并不会真正的沉淀到数据库外键设计上，不易通过实际数据库的外键信息看到业务数据表中的逻辑关系，进而影响您...
新功能发布记录
逻辑数仓一键生成报表 08月 功能名称 变更类型 功能描述 相关文档 数据归档至专属存储 新增 支持将已归档至专属存储的数据转存至 对象存储OSS。专属存储中的数据转存至阿里云对象存储OSS 退订服务 新增 DMS 支持手动退订 数据管理-新版 ...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
必读：简单模式和标准模式的区别
绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：操作...
使用pg_restore恢复逻辑备份文件数据
本文介绍如何使用pg_restore命令将逻辑备份文件（.dump文件）中的数据恢复到RDS PostgreSQL实例或本地PostgreSQL数据库中。说明 对于少量的数据，您可参考本文使用逻辑备份进行快速恢复，例如恢复某个表的数据。对于大量的数据，建议您使用...
查看并管理明细及汇总表实例
例如，对某个逻辑表任务节点进行补数据时，需要先了解该逻辑表任务节点归属的物化节点，并对物化节点进行逐一补数据操作，这样补数据操作过程复杂，且无法保障数据一致性。在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点...
查看并管理明细及汇总表实例
例如，对某个逻辑表任务节点进行补数据时，需要先了解该逻辑表任务节点归属的物化节点，并对物化节点进行逐一补数据操作，这样补数据操作过程复杂，且无法保障数据一致性。在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点...
方案概述
逻辑迁移过程中，全量数据初始化时会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。逻辑迁移过程中，请勿手动释放DTS任务。全量数据同步需要一定时间，耗时与数据量大小...
配置订阅任务（旧控制台）
通过数据订阅功能可以实时订阅增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。首次使用数据订阅功能时，请阅读 数据订阅操作指导，帮助您快速掌握创建、监控、管理数据订阅任务及消费数据的操作...
创建RDS MySQL数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
编排逻辑流
说明 登录、交易、数据量大等涉及安全敏感信息或影响性能的场景建议使用后端逻辑流进行编排。在页面中，通过数据容器绑定逻辑流，快速搭建逻辑流。添加页面，详细操作请参见 添加页面。拖曳数据容器相关组件至画布中，此处以List为例，在...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
公告
2024年05月16日-Dataphin新版本发布 Dataphin于2024年05月16日发布V4.0版本，本次...数据集成升级了原有数据同步的能力，包括丰富了数据源种类、增加了数据清洗功能、批量同步和逻辑表同步等，为您提供更丰富强大、简单易用的数据同步平台。
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
分区热力图
当采集的原始分区总数量超过1600时会对分区统计信息进行合并（不会对原分区造成影响，只合并热力统计信息），仅当被合并分区属于同一DN节点且属于同一逻辑表时才能进行合并，数据量越小的分区合并范围越大，当合并后的总分区数仍然超过3200...
- 产品推荐
- 这些文档可能帮助您