资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
使用说明-半托管
前提说明 当部署完成后，才可以顺利进入Dataphin。...依次单击 用户->SuperOps的 用户登录名称。在SuperOps的信息页面，依次单击 认证管理->修改登录设置，在 修改登录设置 弹框中，将控制台访问设置为 开启 状态。...单击 确定，完成修改登录...
创建Kudu数据源
重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码配置成功后不支持修改。版本 根据实际情况，选择Kudu对应版本。版本支持：CHD5:1.16 CHD6:1.16 CDP7.1.3:1.16。数据源描述 对数据源的简单描述。不得超过128个字符。数据源...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin...重要 该版本在公共云已停售，请谨慎选择。计算设置入口 在Dataphin首页，单击顶部菜单栏中的 管理中心，进入管理中心页面。在 管理中心 页面，按照下图操作进入 计算设置 页面。
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin...重要 该版本在公共云已停售，请谨慎选择。计算设置入口 在Dataphin首页，单击顶部菜单栏中的 管理中心，进入管理中心页面。在 管理中心 页面，按照下图操作进入 计算设置 页面。
新建数据库SQL任务
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择代码任务的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务的简单描述，1000...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
数据同步概述
重要 因数据同步功能不再支持，本 数据同步功能文档已不再维护，仅用于历史用户参考。功能介绍 数据同步支持通过界面配置及编写代码的方式构建同步任务，以满足不同业务场景的数据同步：界面配置的方式构建同步任务的流程。新建管理同步...
数据同步概述
重要 因数据同步功能不再支持，本 数据同步功能文档已不再维护，仅用于历史用户参考。功能介绍 数据同步支持通过界面配置及编写代码的方式构建同步任务，以满足不同业务场景的数据同步：界面配置的方式构建同步任务的流程。新建管理同步...
使用Python读文件
重要 文件资源存储至Dataphin系统，因此仅支持选择 无归属引擎。选择目录 默认为 资源管理。单击 提交，完成资源的提交。在 提交备注 对话框，填写备注信息。单击 确定并提交。步骤二：创建Shell任务 在 数据处理 页签，单击左侧导航栏 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
公告
2023年01月18日-Dataphin新版本发布 Dataphin于2023年01月18日发布V3.7版本，进一步增强资产建设易用性、拓展资产治理完备性、提升基础能力开放性。相比较历史版本：新增开发环境任务运行记录查看功能，优化逻辑表创建体验，集成任务支持...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
核心概念
数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
创建Oracle数据源
背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin进行数据开发时，您需要先完成Oracle数据源的创建。更多Oracle信息，请参见 Oracle官网。权限说明 仅支持具备新建数据源...
Dataphin新手引导
模块 子模块 描述 数仓规划 创建数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。如何创建，请参见 创建数据板块。创建计算源 计算源用于绑定计算引擎项目和...
增量导出发布包
增量导出发布包适用于需要将项目阶段性的结果导出。例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布...
增量导出发布包
增量导出发布包适用于需要将项目阶段性的结果导出。例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布...
步骤三：引入数据
重要 完成product表集成后，您还需参考本文集成customer表、orders表至项目。步骤一：创建管道开发脚本 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择 dataphin_tutorial 项目并进入 创建管道开发脚本 对话框。在 创建...
步骤三：引入数据
重要 完成product表集成后，您还需参考本文集成customer表、orders表至项目。步骤一：创建管道开发脚本 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，选择 dataphin_tutorial 项目并进入 创建管道开发脚本 对话框。在 创建...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
Dataphin智能数据建设与治理服务等级协议（半托管）
版本生效日期：2024年03月26日 本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的智能数据建设与治理（简称“Dataphin”）的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于...
离线集成概述
重要 删除任务提交成功后，即更新至生产环境，请谨慎操作。离线集成任务列表：单击离线集成任务列表，可以通过列表方式管理创建的离线集成任务。更多信息，请参见 查看及管理离线集成任务列表。② 工具栏 工具栏支持保存、运行、预览、调度...
离线集成概述
重要 删除任务提交成功后，即更新至生产环境，请谨慎操作。离线集成任务列表：单击离线集成任务列表，可以通过列表方式管理创建的离线集成任务。更多信息，请参见 查看及管理离线集成任务列表。② 工具栏 工具栏支持保存、运行、预览、调度...
Dataphin智能数据建设与治理试用服务协议
协议版本生效日期：2022年11月22日 本协议是 Dataphin智能数据建设与治理（简称“Dataphin”）与您就 Dataphin 提供的免费试用服务的相关事项所订立的有效合约。1.免费试用内容说明 1.1 免费试用次数：每个 UID 仅可开通 1 次免费试用。1.2...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
新建ArgoDB计算源
能够使用标准的SQL语法进行业务的建设，并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。更多详情，请参见 ArgoDB官网。操作步骤 请参见 数仓规划入口，进入数仓 规划 页面。在数...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
编码规范
重要 因为关闭使用 select*语法的权限，可能会造成已经使用了 select*和 SELECT*语法的生产任务运行失败，因此需确保生产任务中没有 select*和 SELECT*语法。您可以在全局代码搜索入口中，输入 select*和 SELECT*查询。更多信息，请参见 ...
编码规范
重要 因为关闭使用 select*语法的权限，可能会造成已经使用了 select*和 SELECT*语法的生产任务运行失败，因此需确保生产任务中没有 select*和 SELECT*语法。您可以在全局代码搜索入口中，输入 select*和 SELECT*查询。更多信息，请参见 ...
新建自定义数据源
重要 非RDBMS类型数据源不支持测试连接。如果连接测试失败，您可以根据网络连通常见问题进行排查。详细内容，请参见 附录：网络连通解决方案。测试成功后，单击 确定，完成自定义数据源的创建。后续步骤 完成数据源的创建后，您可将数据源...
实时模式运行参数配置
重要 运行参数的checkpoint配置和State配置以在Dataphin中配置的 checkpoint配置 和 State配置 配置为准。具体详情，请参见：实时模式Checkpoint配置。实时模式State配置。若您项目中所有计算任务均需配置同一的任务参数，您可在新建项目时...
新建Session集群
重要 资源配置的CPU、内存总量不能大于Session集群资源组的CPU、内存可用量。Session集群所需的CPU用量=Task Managers数量 x TaskManager CPU Cores+JobManager CPU Cores Session集群所需的内存用量=Task Managers数量 x TaskManager ...
创建Log Service数据源
重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+...
- 产品推荐
- 这些文档可能帮助您