安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

配置OSS输入组件

同步OSS数据源的数据至其他数据源的场景中,您需要先配置OSS输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建OSS数据源。具体操作,请...

配置OSS输入组件

同步OSS数据源的数据至其他数据源的场景中,您需要先配置OSS输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建OSS数据源。具体操作,请...

产品概述

产品描述 功能 描述 Dataphin全托管 Dataphin是集产品、技术、方法论于一体的智能数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。关于Dataphin的更多介绍,请参见 什么是...

范围选择器功能介绍

选择数据格式 在选中地图中的区域范围后,可自定义选择所需的范围数据格式内容,可选数据格式内容包括如下几种:JSON API:单击链接右侧的 图标,即可复制JSON数据的API链接。JEOJEON API:单击链接右侧的 图标,即可复制JEOJEON数据的API...

离线数仓构建流程概述

步骤一:准备工作 规划数仓 数仓规划是数据建设中的蓝图,在您开始数据开发前,需要完成数据仓库的规划,数仓规划配置包括:创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二:规划数仓 数据集成 将创建好的数据源集成至...

快速体验

数据治理:大数据开发治理平台 DataWorks数据质量(必选)、大数据开发治理平台 DataWorks数据地图(必选)、大数据开发治理平台 DataWorks数据保护伞(必选),基础版DataWorks已包含数据展示:智能分析套件Quick BI(必选),您可根据...

数据接口配置说明

编辑数据接口基本信息 每一个数据接口中包含多个参数内容,您可以自定义编辑数据接口的基本信息参数内容。名称:数据接口的名称。显示名:数据接口对外显示的名称。确认修改显示名后按回车键,结果会即时显示在配置面板中。描述:数据接口...

数据接口配置说明

编辑数据接口基本信息 每一个数据接口中包含多个参数内容,您可以自定义编辑数据接口的基本信息参数内容。名称:数据接口的名称。显示名:数据接口对外显示的名称。确认修改显示名后按回车键,结果会即时显示在配置面板中。描述:数据接口...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

创建GreenPlum数据

通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎,作用于分析、机器学习和AI等领域。其架构主要针对管理规模分析...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

配置DataHub输出组件

配置DataHub输出组件,可以将外部数据库中读取数据写入到DataHub,或从大数据平台对接的存储系统中将数据复制推送至DataHub,进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作,请参见...

配置DM(达梦)输出组件

配置DM(达梦)输出组件,可以将外部数据库中读取的数据写入到DM(达梦),或从大数据平台对接的存储系统中将数据复制推送至DM(达梦),进行数据整合和再加工。本文为您介绍如何配置DM(达梦)输出组件。前提条件 已创建DM(达梦)数据源...

配置DM(达梦)输出组件

配置DM(达梦)输出组件,可以将外部数据库中读取的数据写入到DM(达梦),或从大数据平台对接的存储系统中将数据复制推送至DM(达梦),进行数据整合和再加工。本文为您介绍如何配置DM(达梦)输出组件。前提条件 已创建DM(达梦)数据源...

添加数据

DataV数据集支持多种数据源的接入,如数据库、excel表格文件等,通过对数据的结构化存储和元数据的汇集整理,提供高效实用的数据建模能力,可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...

配置API输出组件

配置API输出组件,可以将外部数据库中读取的数据写入到API,或从大数据平台对接的存储系统中将数据复制推送至API,进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建API...

配置API输出组件

配置API输出组件,可以将外部数据库中读取的数据写入到API,或从大数据平台对接的存储系统中将数据复制推送至API,进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建API...

配置Amazon S3输入组件

配置Amazon S3输入组件后,可以读取Amazon S3数据源中的数据至Dataphin,进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建Amazon S3数据源。具体操作,请参见 ...

配置Amazon S3输入组件

配置Amazon S3输入组件后,可以读取Amazon S3数据源中的数据至Dataphin,进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建Amazon S3数据源。具体操作,请参见 ...

配置Redis输出组件

配置Redis输出组件,可以将外部数据库中读取的数据写入到Redis,或从大数据平台对接的存储系统中将数据复制推送至Redis,进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前,请确认您已完成以下操作:...

手工表概述

搜索:支持查找当前表数据或替换表数据内容。自适应列宽:可使表自适应列宽。获取锁(释放锁):若需编辑表需要获取表锁;不需要编辑表时可释放表锁,使他人可进行编辑操作。从引擎同步:将从引擎同步此表的最新数据。说明 该操作可能耗时...

手工表概述

搜索:支持查找当前表数据或替换表数据内容。自适应列宽:可使表自适应列宽。获取锁(释放锁):若需编辑表需要获取表锁;不需要编辑表时可释放表锁,使他人可进行编辑操作。从引擎同步:将从引擎同步此表的最新数据。说明 该操作可能耗时...

配置OSS输出组件

配置OSS输出组件,可以将外部数据库中读取的数据写入到OSS,或从大数据平台对接的存储系统中将数据复制推送至OSS,进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作,请参见 创建OSS数据源。...

步骤六:可视化分析

本文将使用Quick BI指导您完成本教程的可视化分析步骤,包括数据源、数据集的创建和数据大屏图表的配置。步骤一:创建数据源 登录 Quick BI控制台。按照下图操作指引,进入 创建数据源 对话框。在 MySQL-阿里云 区域,配置连接参数。参数 ...

配置Amazon S3输出组件

配置Amazon S3输出组件,可以将外部数据库中读取的数据写入到Amazon S3,或从大数据平台对接的存储系统中将数据复制推送至Amazon S3,进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...

步骤二:规划数仓

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...

快速入门

如果您是首次使用智能数据建设与治理Dataphin,您可以参考快速入门文档,了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门

答疑支持

若您在使用智能数据建设与治理Dataphin的过程中有任何疑问,您可通过答疑支持联系我们,为您答疑解惑。操作步骤 在Dataphin页面,按照以下操作指引或单击蓝色小机器人选择 答疑支持,进入答疑支持页面后,输入您需解答的问题。依次单击 ...

技术架构选型

本教程中使用阿里云大数据产品Dataphin配合MaxCompute,完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中,Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

设计阶段

设计工作包含数据探查和系分设计两部分:数据探查旨在了解来源数据数据形态,例如数据质量、数据分布等。结合业务场景,帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...

配置本地文件输入组件

首行内容选为数据内容时,数据内容起始行不可小于1。行分隔符、字段分隔符 非必填。行分隔符:文件行分隔符,如不填写,默认为。字段分隔符:文件内字段分隔符,如不填写,默认为英文逗号(,)。文件编码 选择文件编码的方式。系统支持UTF-...

配置本地文件输入组件

首行内容选为数据内容时,数据内容起始行不可小于1。行分隔符、字段分隔符 非必填。行分隔符:文件行分隔符,如不填写,默认为。字段分隔符:文件内字段分隔符,如不填写,默认为英文逗号(,)。文件编码 选择文件编码的方式。系统支持UTF-...

离线集成支持的数据

离线集成支持的数据数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 Impala 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 文件数据源 FTP 支持 支持 OSS 支持 ...

Dataphin支持的实时数据

Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持(仅支持原生DDL方式)支持(仅支持原生DDL方式...

数据集成支持的数据

离线集成支持的数据数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 云数据库 RDS 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用