Dataphin新手引导
新手引导帮助您了解Dataphin的基础操作步骤，包括数据规划、规范定义、规范建模及发布与运维等操作此外，您可以通过导入示例模型快速体验Dataphin研发流程。计算引擎说明 仅当计算设置中的计算引擎为MaxCompute时，支持导入模型。新手引导...
划分主题域
数据仓库是面向主题的应用，主要功能是将数据综合、归类并进行分析利用。数据仓库模型设计除横向的分层外，通常还需要根据业务情况纵向划分主题域。主题域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
升级
增值功能包包括 数据萃取、数据服务、资源治理、资产安全、资产质量、智能运维 和 数据标准。可选增值功能包 描述 数据萃取 面向各行各业数据价值深度挖掘的诉求，数据萃取为您提供可视化的ID链接、行为解析和标签萃取，进一步帮助您提炼可...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
新功能发布记录
时间 特性 类别 描述 2023-12-26 智能开放搜索 OpenSearch-LLM智能问答版表格问答功能发布，支持对接MaxCompute 新增 OpenSearch智能问答版支持表格数据，提供针对表格数据的智能问答能力，支持MaxCompute数据源快速导入。2023-11-27 智能...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
管理中心概述
跨租户发布 跨租户发布概述 跨租户发布数据用于迁移租户间的数据，以满足不同数据的应用场景，帮助企业实现数据应用价值最大化。智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
查看基本信息
在您购买智能接入网关设备后，系统会创建一个智能接入网关实例帮您管理智能接入网关设备，您可以通过智能接入网关实例查看您智能接入网关设备的基本信息。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域。在 智能接入...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
开通Dataphin
数据服务（选购）数据服务可以通过标准化、配置化方式，帮助您统一数据主题单元，并进一步支持面向主题的自助API配置、调试、预发、上线及调用监控管理，做到数据使用权限字段粒度控制，有效降低业务的数据消费门槛，同时为您保障数据开放...
管理中心概述
智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。变更管控 创建变更策略 变更策略是根据您已经创建好的变更规则，设置其生效范围和管控方式。支持在单个变更策略中配置...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
- 产品推荐
- 这些文档可能帮助您