配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
升级
增值功能包包括 数据萃取、数据服务、资源治理、资产安全、资产质量、智能运维 和 数据标准。可选增值功能包 描述 数据萃取 面向各行各业数据价值深度挖掘的诉求，数据萃取为您提供可视化的ID链接、行为解析和标签萃取，进一步帮助您提炼可...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
应用场景
但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
管理中心概述
智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。变更管控 变更策略 变更策略是根据您已经创建好的变更规则，设置其生效范围和管控方式。支持在单个变更策略中配置多个...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
查看基本信息
在您购买智能接入网关设备后，系统会创建一个智能接入网关实例帮您管理智能接入网关设备，您可以通过智能接入网关实例查看您智能接入网关设备的基本信息。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域。在 智能接入...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
智能问数操作说明
Quick BI支持 智能问数 功能，让用户通过自然语言的交互，直接获取数据结果，实现数据即问即答，人人都可上手分析数据，牵引数据消费新方式。您可以在 PC端 或 移动端 的智能问数对话界面 预览和选择数据集、在提问框内直接输入问题提问或...
管理中心概述
智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。变更管控 创建变更策略 变更策略是根据您已经创建好的变更规则，设置其生效范围和管控方式。支持在单个变更策略中配置...
开通Dataphin
数据服务（选购）数据服务可以通过标准化、配置化方式，帮助您统一数据主题单元，并进一步支持面向主题的自助API配置、调试、预发、上线及调用监控管理，做到数据使用权限字段粒度控制，有效降低业务的数据消费门槛，同时为您保障数据开放...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
管理控制台介绍
数据安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。如果您选择了 资产治理，下方展示 治理项管理 和 治理工作台 增值功能。更多信息请参见 资源治理概述。资产...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务并且当前租户已...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）购买指引、计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据源：可支持的数据源类型和版本拓展，优化数据源配置交互 新建数据源页面支持分类展示数据源类型，同时增加...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
智能问答
仪表板的智能问答功能支持通过简单的自然语言，从指定的数据集中快速生成分析图表，并保存到仪表板中。本文为您介绍智能问答的使用方法。重要 仪表板内的智能问答_公测期结束，后续不再支持使用及订购；自24年4月1日起，新客户不再支持该...
告警事件
告警事件集中为您展示离线计算、实时计算、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线计算、实时...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
文档更新动态（2022年）
包括智能研发版、资产质量、智能运维、数据标准、资产安全、资源治理等功能。新增免费试用申请流程、免费试用服务协议相关文档。新增说明 Dataphin免费试用申请、Dataphin智能数据建设与治理试用服务协议 2022年10月 更新时间 特性 描述 ...
创建OceanBase数据源
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
- 产品推荐
- 这些文档可能帮助您