资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
续费
在阿里云官网，鼠标悬停至 产品分类 后，再将鼠标悬停至左侧导航栏的 大数据 上，单击 数据开发和治理 列下的 Dataphin。进入 续费 页面：在Dataphin产品详情页，单击 管理控制台。Dataphin管理控制台根据实例的状态，为您提供不同的续费...
管理市场类目
类目作为标签的分类，为标签进行归类管理。Dataphin支持各个市场内标签的多级类目的设置。本文将指导您如何管理市场类目。前提条件 管理市场类目需创建对应的资产市场，详情请参见：创建市场。新增市场类目 在Dataphin首页，单击顶部菜单栏...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据服务系统配置
注意：影响运维监控单次查询的日期范围，不建议设置过大的值，太大会影响查询响应速度。单击 保存，完成运维监控配置。说明 配置完成后，系统每天凌晨2：00按过期时间，删除过期数据。后续说明 配置完成后，在运维监控页面，实时影响日期...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。...
查看标签详情
若未 设置自定义区间，则系统会根据数据分布进行自动的分布检测，但是由于数据的变化，区间分布不稳定，历史分布会有较大的变更，导致对比历史不清晰。建议根据数据分布 设置自定义区间，提升历史分布对比的可用性。说明 仅支持指标映射、...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
离线模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务离线模式的运行参数。...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 在Dataphin首页，单击顶部菜单栏的 研发，默认进入数据 开发 页面。按照下图操作指引，进入...
新建和管理标准集目录
目录编码在实际展示上大小写敏感，校验唯一性时大小写不敏感。重要 目录编码可能会被应用到标准编码的自动生成规则，创建标准集或标准后不可修改，请评估后填写。单击 确定，完成目录创建。标准集目录列表 新建标准集目录后，即可在 标准集...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
任务运行资源说明
任务资源分类 Dataphin任务按运行模式可为两大类：共享Docker资源任务：对于共享Docker资源任务，所有共享Docker资源的任务会运行在同一个容器中。如，SQL任务。非共享Docker资源任务：对于非共享Docker资源任务，每次任务启动时都会启动...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
任务运行资源说明
任务资源分类 Dataphin任务按运行模式可为两大类：共享Docker资源任务：对于共享Docker资源任务，所有共享Docker资源的任务会运行在同一个容器中。如，SQL任务。非共享Docker资源任务：对于非共享Docker资源任务，每次任务启动时都会启动...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 请参见 逻辑表任务配置入口，进入逻辑表任务配置页面。单击调度配置，进入逻辑表 调度配置 ...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。...
落标监控概述
元数据监控 元数据监控配置首先需要指定监控的元数据字段及其对应标准的某个属性，此外，还需要指定校验逻辑（如：值相等则通过）和校验是否大小写敏感。注意，如果指定的元数据字段无法从数据源获取相应值，则无法进行落标评估。例如：...
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
落标监控概述
元数据监控 元数据监控配置首先需要指定监控的元数据字段及其对应标准的某个属性，此外，还需要指定校验逻辑（如：值相等则通过）和校验是否大小写敏感。注意，如果指定的元数据字段无法从数据源获取相应值，则无法进行落标评估。例如：...
分析平台设置
Dataphin分析平台设置为使用分析平台的前提条件。包含分析平台专用的计算源设置、临时表生命周期设置、数据结果下载及审批设置。本文将为您介绍如何进行分析平台设置。前提条件 已完成计算源创建，具体操作，请参见 计算源概述。...
运维监控概述
调用异常影响趋势展示该时间段内调用异常API数与影响APP数的趋势，例如调用异常API数少但影响APP数比较多的情况下，说明这些API影响范围较大，需要您尽快修复调用异常的API。查看应用调用情况：对API的数据做统计，并且支持对异常API进行...
首页配置
Dataphin首页支持自定义视频或在首页底部添加词条，满足用户的个性化需求。本文为您介绍如何配置Dataphin的首页。权限说明 超级管理员或系统管理员支持设置Dataphin首页。使用限制 首页底部区域词条添加不超过20条。首页设置入口 在...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
分析平台设置
Dataphin分析平台设置为使用分析平台的前提条件。包含分析平台专用的计算源设置、临时表生命周期设置、数据结果下载及审批设置。本文将为您介绍如何进行分析平台设置。前提条件 已完成计算源创建，具体操作，请参见 计算源概述。...
新建实时自定义源类型
仅支持.jar（不区分大小写）为后缀的文件。文件大小不能超过 500MB。不能与已经存在的数据源的连接器或保留的连接器重复。文件中仅支持数据源级别的加密参数。说明 自定义实时连接器说明，详情请参见 Flink官网。配置文件 上传数据源类型...
实时模式依赖关系配置
说明 节点的输出名称是全局唯一的，且不区分大小写。单击 确定新增。同时您还可以单击 操作 列下的 图标，删除已添加的依赖节点。当前节点 通过执行如下操作，设置当前节点的输出名称，根据需要您可以设置多个输出名称，供其他节点依赖使用...
实时模式依赖关系配置
说明 节点的输出名称是全局唯一的，且不区分大小写。单击 确定新增。同时您还可以单击 操作 列下的 图标，删除已添加的依赖节点。当前节点 通过执行如下操作，设置当前节点的输出名称，根据需要您可以设置多个输出名称，供其他节点依赖使用...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
新建实时自定义源类型
仅支持.jar（不区分大小写）为后缀的文件。文件大小不能超过 500MB。不能与已经存在的数据源的连接器或保留的连接器重复。文件中仅支持数据源级别的加密参数。说明 自定义实时连接器说明，详情请参见 Flink官网。配置文件 上传数据源类型...
- 产品推荐
- 这些文档可能帮助您