创建Log Service数据源用于实现Dataphin能够读取Log Service的业务数据。在引入Log Service的业务数据至Dataphin中进行数据开发的场景中,您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log ...
请您仔细核对购买信息并阅读 智能数据构建与管理服务协议,确认无误后选中《智能数据构建与管理服务协议》。单击 去支付,支付成功后即可完成续费。说明 系统仅支持按照已购买的配置进行续费。自动续费 进入 阿里云用户中心。在 用户中心 ...
研发规范用于定义板块级别数据表的时间分区、业务日期、表命名规范及业务对象、业务活动的研发流程管控。本文为您介绍如何查看并编辑表规范及业务对象、业务活动的研发流程管控。前提条件 开始执行操作前,请确认您已完成数据板块的创建。...
创建数据源 在您开始同步业务数据至Dataphin平台前,需要通过添加数据源的方式连通业务数据库与Dataphin。如何创建,请参见 创建MaxCompute数据源。规范定义 创建主题域 主题域用于存放同一数据板块内不同意义的指标,如商品域、交易域、...
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB,在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中,您...
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker(主从)模式:NameNode用于构建命名空间,管理文件的元数据等。...
数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用,当前租户还需开通智能研发模块。在开始执行操作前...
云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 主流程 描述 操作指导 准备阿里云账号 创建阿里...
通过创建ClickHouse数据源能够实现Dataphin读取ClickHouse的业务数据或向ClickHouse写入数据。本文为您介绍如何创建ClickHouse数据源。背景信息 如果您使用的是数据库ClickHouse,引入ClickHouse的业务数据至Dataphin中或将Dataphin数据...
云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 主流程 描述 操作指导 准备阿里云账号 创建阿里...
数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用,请升级当前版本。升级版本,请参见 升级。在开始...
Dataphin智能数据建设与治理作为瓴羊开发云领域的核心产品,⾼度重视产品的合规性并积极对标国内和国际最⾼标准合规性要求。当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证,意味着Dataphin 及瓴羊在...
在连通业务数据库与Dataphin间的网络时,您需要将不同网络环境下Dataphin的出网IP地址添加至业务数据库的白名单中。本文为您介绍不同网络环境下Dataphin的出网IP地址。VPC网络下Dataphin的出网IP地址 地域(推荐)通用IP地址 地域IP地址 ...
您可以在Dataphin工作台进行数据开发、数据治理等操作。功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理...
添加数据源时需要根据数据源所在网络环境,通过对应的网络解决方案,实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境,在下图中选择对应的网络连通...
开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源,同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源,以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...
同步目标表为Dataphin平台加工业务数据的表。本文为您介绍如何创建数据同步的目标表。通过即席查询的方式新建目标表 登录 Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击 进入Dataphin>>。在Dataphin首页,单击顶部菜单栏...
如果您已购买了数据服务模块,即可将Dataphin加工生成的逻辑表或物理表配置为供应用调用的Dataphin数据源。如果您需要调用他人管理的Dataphin数据源,则需要申请Dataphin数据源权限。同时,您也可以交还已获取Dataphin数据源的权限。前提...
针对各种业务需求,Dataphin提供相关实践教程,您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
若您需在Dataphin中创建基于阿里云产品的数据源,创建数据源前,需确保Dataphin的IP已添加至数据库白名单(或安全组)中,使数据源与Dataphin网络互通。下表为阿里云数据库IP白名单设置的操作指引,您可根据阿里云的产品名称查看对应操作...
Dataphin治理功能助您完成数据使用消耗的分析,全局把控计算与存储成本,提升使用效率。前提条件 已购买资源治理增值服务,详情请参见 开通Dataphin。使用说明 资源治理的统计不包括计算引擎为Hologres的项目,也不支持对这些项目的治理。...
校验成功后,单击 确认并开始数据建设,即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后,您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作,请参见 准备数据源和计算源。
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA,在对接Dataphin进行数据开发或将...
Dataphin治理功能助您完成数据使用消耗的分析,全局把控计算与存储成本,提升使用效率。前提条件 已购买资源治理增值服务并且当前租户已开通 资源治理 模块。使用说明 资源治理的统计不包括计算引擎为Hologres的项目,也不支持对这些项目的...
同步目标表为Dataphin平台加工业务数据的表。本文为您介绍如何创建数据同步的目标表。通过即席查询的方式新建目标表 在Dataphin首页,单击顶部菜单栏的 研发。在数据 开发 页面,按照下图操作指引,进入 新建即席查询文件 对话框。在 新建...
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部...
创建Sap Table数据源用于实现Dataphin通过RFC读取Sap Table的数据。本文为您介绍如何创建Sap Table数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部...
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA,在对接Dataphin进行数据开发或将...
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...
Dataphin支持通过自定义扩展治理项规则的方式,助您构建企业内部的治理规范,并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下:元数据管理:配置和管理数据治理所需要的元数据指标。治理项管理:基于元数据指标,配置和...
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
Dataphin支持通过自定义扩展治理项规则的方式,助您构建企业内部的治理规范,并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下:元数据管理:配置和管理数据治理所需要的元数据指标。治理项管理:基于元数据指标,配置和...
云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源、Quick BI开通(非必选)与配置以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 主流程 描述 操作指导 ...
选择Dataphin系统已配置的数据源,且数据源需同时具备以下两个条件:数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见 申请、续期和交还数据源权限。...
云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源、Quick BI开通(非必选)与配置以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 主流程 描述 操作指导 ...
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
本文将指导您完成本教程的FLINK_SQL实时任务的运维,包括实时实例启动与测试数据的写入。步骤一:启动实时任务 在Dataphin首页,单击顶部菜单栏的 研发。按照下图操作指引,启动 flink_dataphin 实时任务。启动实时实例对话框,配置启动...
选择Dataphin系统已配置的数据源,且数据源需同时具备以下两个条件:数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见 申请、续期和交还数据源权限。...
本文将指导您完成本教程的FLINK_SQL实时任务的运维,包括实时实例启动与测试数据的写入。步骤一:启动实时任务 在Dataphin首页,单击顶部菜单栏的 研发。按照下图操作指引,启动 flink_dataphin 实时任务。启动实时实例对话框,配置启动...