确定需求
在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员、运营人员的需求，沉淀出相关文档。您可以通过调查表、访谈等形式详细了解以下信息：用户的组织架构和分工界面。例如，用户可能分为数据分析、运营...
云网管的审计事件
CreateSetupProject 创建建设项目。CreateSpaceIspForm 创建专线类型。CreateSpaceModel 创建物理空间模型。CreateSubscriptionItem 创建订阅项。CreateSyslogRule 新增一个系统日志规则。CreateTask 创建任务。CreateTemplate 创建自动化...
DescribePortViewSourceIsps-查询实例的请求来源运营...
100076 天威宽带 1000104 金桥网 1000103 国研网 1000102 飞华领航 100072 E 家宽带 100078 油田宽带 100079 视讯宽带 1000114 首信网 1000103 中国科技网 1000199 维赛网络 1000194 城市网络 1000195 壹通通信 1000197 燕大正洋 1000190 ...
数据中台建设架构咨询服务内容说明
4.服务流程 项目启动会议-提交项目计划-业务现状调研-咨询服务履约-咨询服务验收 流程说明：流程 流程说明 完工标准 项目启动会议 确定启动会议的甲方、乙方以及第三方干系人 准备项目启动会议报告 召开项目启动会 召开项目启动会，双方...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
数据服务权限列表
功能权限点 服务项目管理员 开发用户 业务应用用户 运维用户 查看服务项目列表 Y Y Y Y 创建服务项目 N N N N 编辑服务项目 Y N N N 删除服务项目 Y N N N 查看服务项目成员 Y N N N 添加服务项目成员 Y N N N 编辑服务项目成员 Y N N N ...
数据集成概述
连通数据源与Dataphin间的网络 进行数据同步时，需要连通数据源与Dataphin项目空间间的网络。如何连通数据源与Dataphin间的网络，请参见 网络连通解决方案。适用场景说明 场景 描述 操作指导 通过管道脚本构建同步任务 基于已有的管道脚本...
功能特性
智能接入网关提供宽带、4G和专线等方式接入上云，并提供流日志、网络控制和NAT转换等功能方便您进行网络管理。多链路 智能接入网关支持宽带WAN、4G和专线多个链路上云，链路之间可以互为备份，提高您网络的可靠性。双链路备份–WAN+4G：同...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
数仓构建流程
在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以 数据板块与项目的关系为1：N。例如，根据企业的事业群或事业部进行划分的数据板块。主题域：主题域主要用于存放同一数据板块内...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
规范定义最佳实践
在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以数据板块与项目的关系为1:N。主题域 对某个主题分析后确定的主题边界。例如，商品域、交易域、会员域等。业务过程 业务过程即企业...
规范定义最佳实践
在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以数据板块与项目的关系为1:N。主题域 对某个主题分析后确定的主题边界。例如，商品域、交易域、会员域等。业务过程 业务过程即企业...
添加成员并设置角色
超级管理员创建了服务项目后，如果需要添加成员协助开发，您可以将 管理中心-成员列表 中的用户添加为服务项目成员并设置角色协助开发。本文为您介绍如何为数据服务项目添加成员并设置角色。前提条件 在开始执行操作前，请确认您已满足以下...
逻辑结构说明
Dataphin业务模型的核心概念具有一定的逻辑结构，您可以通过了解其结构，为后期项目规划、建模等提供思路。本文为您介绍Dataphin中核心概念的逻辑结构及简要含义。Dataphin核心概念的逻辑结构如下图所示。由上图可见，Dataphin的架构包括...
使用MaxCompute作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
设置Dataphin实例的计算引擎为Hadoop
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。...
创建HDFS数据源
项目管理员配置请参见 添加项目成员 创建HDFS数据源前，请确认Dataphin的IP地址已在HDFS的网络白名单中，以确保Dataphin能够访问HDFS中的数据。操作步骤 请参见 数据源管理入口，进入数据源管理页面。按照下图指引，进入 新建数据源 对话框...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
创建DataHub数据源
权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照下图操作指引，进入 新建数据源 对话框。在 新建数据源 对话框的 消息队列 区域，...
创建DataHub数据源
参数 描述 Endpoint DataHub的Endpoint，请根据您的网络环境和连接方式选择对应的Endpoint。如何获取Endpoint，请参见 域名列表。Project Name DataHub项目名称。您在 DataHub控制台 页面，查看Project Name。Access ID、Access Key ...
创建MaxCompute数据源
您可以登录 MaxCompute控制台，左上角切换地域后，即可在项目管理页签查看到具体的 MaxCompute项目名。Access ID、Access Key MaxCompute数据源所在账号的AccessKey ID和AccessKey Secret。如何获取，请参见 获取AccessKey。单击 测试连接...
创建MaxCompute数据源
参数 描述 Endpoint MaxCompute的Endpoint，请根据您的网络环境和连接方式选择对应的Endpoint。如何获取Endpoint，请参见 Endpoint。Project Name 此处为MaxCompute项目名称，非DataWorks工作空间名称。您可以登录 MaxCompute控制台，左上...
设置Dataphin实例的计算引擎为MaxCompute
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为创建的项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为...
设置Dataphin实例的计算引擎为MaxCompute
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为创建的项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为...
创建Log Service数据源
Dataphin连接Log Service时，可以选择Log Service在VPC网络或公网环境下对应的Endpoint，Log Service的Endpoint请参见 服务入口，通常，VPC网络较公网稳定，建议您选择VPC网络连通Dataphin和Log Service。权限说明 Dataphin仅支持 超级管理...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
权限管控与隔离
Dataphin提供内置项目角色，包括：项目管理员 拥有管理项目成员的权限、项目文件（含规范建模对象）增删改及发布权限、项目节点操作权限。数据操作权限中拥有本项目所有物理表的开发权限，跨项目权限以租户安全权限策略为准。项目访客 拥有...
权限管控与隔离
Dataphin提供内置项目角色，包括：项目管理员 拥有管理项目成员的权限、项目文件（含规范建模对象）增删改及发布权限、项目节点操作权限。数据操作权限中拥有本项目所有物理表的开发权限，跨项目权限以租户安全权限策略为准。项目访客 拥有...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
创建MySQL数据源
使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照以下操作指引，进入 新建数据源 对话框。依次单击 数据源管理->数据源->新建数据源...
- 产品推荐
- 这些文档可能帮助您