数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
创建KingbaseES数据源
通过创建KingbaseES数据源能够实现Dataphin读取KingbaseES的业务数据或向KingbaseES写入数据。本文为您介绍如何创建KingbaseES数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
功能简介
全景监控支持业务链路配置监控场景，通过自定义监控链路和告警消息配置，可快速实现从数据生产到业务应用的全链路编排及溯源，实现全局监控和问题快速锁定。全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题...
创建SAP HANA数据源
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将...
全景监控
全景监控支持业务链路配置监控场景，通过自定义监控链路和告警消息配置，可快速实现从数据生产到业务应用的全链路编排及溯源，实现全局监控和问题快速锁定。全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题...
功能简介
全景监控支持业务链路配置监控场景，通过自定义监控链路和告警消息配置，可快速实现从数据生产到业务应用的全链路编排及溯源，实现全局监控和问题快速锁定。全景监控提供丰富的告警信息输出方式，包括：钉钉消息、标准协议等方式，出现问题...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建TiDB数据源
通过创建TiDB数据源能够实现Dataphin读取TiDB的业务数据或向TiDB写入数据。本文为您介绍如何创建TiDB数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。使用限制 仅支持创建TiDB v4、...
创建MySQL数据源
通过创建MySQL数据源能够实现Dataphin读取MySQL的业务数据或向MySQL写入数据。本文为您介绍如何创建MySQL数据源。背景信息 MySQL是一种关系型数据库。常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 ...
创建SAP HANA数据源
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将...
创建Sap Table数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。配置数据源与Dataphin的连接参数。若您的数据源配置选择 生产+...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建TiDB数据源
通过创建TiDB数据源能够实现Dataphin读取TiDB的业务数据或向TiDB写入数据。本文为您介绍如何创建TiDB数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。使用限制 仅支持创建TiDB v4、...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
创建Log Service数据源
创建Log Service数据源用于实现Dataphin能够读取Log Service的业务数据。在引入Log Service的业务数据至Dataphin中进行数据开发的场景中，您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log ...
创建GoldenDB数据源
通过创建GoldenDB数据源能够实现Dataphin读取GoldenDB的业务数据或向GoldenDB写入数据。本文为您介绍如何创建GoldenDB数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
创建Redis数据源
通过创建Redis数据源能够实现Dataphin向Redis写入业务数据。本文为您介绍如何创建Redis数据源。背景信息 Redis一个高性能的key-value数据库，多用于缓存，事件发布或订阅，高速队列等场景。更多学信息，请参见 Redis官网。权限说明 ...
合规&认证
用户业务数据 用户通过Dataphin提供的服务，加工、存储、上传、下载、分发以及通过其他方式处理的数据，均为用户的用户业务数据，用户完全拥有其业务数据。Dataphin作为平台工具提供商，只会严格执行用户的指示处理相关业务数据，除按与...
创建GoldenDB数据源
通过创建GoldenDB数据源能够实现Dataphin读取GoldenDB的业务数据或向GoldenDB写入数据。本文为您介绍如何创建GoldenDB数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
创建Lindorm数据源
通过创建Lindorm数据源能够实现Dataphin读取Lindorm的业务数据或向Lindorm写入数据。本文为您介绍如何创建Lindorm数据源。背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、...
创建Lindorm数据源
通过创建Lindorm数据源能够实现Dataphin读取Lindorm的业务数据或向Lindorm写入数据。本文为您介绍如何创建Lindorm数据源。背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
创建Salesforce数据源
通过创建Salesforce数据源能够实现Dataphin向Salesforce请求业务数据。本文为您介绍如何创建Salesforce数据源。权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击...
创建Salesforce数据源
通过创建Salesforce数据源能够实现Dataphin向Salesforce请求业务数据。本文为您介绍如何创建Salesforce数据源。权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
创建ClickHouse数据源
通过创建ClickHouse数据源能够实现Dataphin读取ClickHouse的业务数据或向ClickHouse写入数据。本文为您介绍如何创建ClickHouse数据源。背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据...
创建Log Service数据源
创建Log Service数据源用于实现Dataphin能够读取Log Service的业务数据。在引入Log Service的业务数据至Dataphin中进行数据开发的场景中，您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log ...
创建Hologres数据源
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
创建MySQL数据源
通过创建MySQL数据源能够实现Dataphin读取MySQL的业务数据或向MySQL写入数据。本文为您介绍如何创建MySQL数据源。背景信息 MySQL是一种关系型数据库。常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
创建PolarDB数据源
通过创建PolarDB数据源能够实现Dataphin读取PolarDB的业务数据或向PolarDB写入数据。本文为您介绍如何创建PolarDB数据源。背景信息 PolarDB是阿里云自主研发新一代关系型数据库，兼容MySQL、PostgreSQL语法的云托管数据库产品。如果您使用...
- 产品推荐
- 这些文档可能帮助您