标签工厂权限列表
Y Y Y N 申请标签 Y Y Y N 标签-资产应用-服务管理 增/删/改/服务 Y Y Y N 查看离线服务实例 Y Y Y N 查看离线服务实例详情 Y Y Y N 查看离线服务实例日志 Y Y Y N 重跑离线服务实例 Y Y Y N 下线/重启离线服务任务 Y Y Y N 查看服务任务...
离线模式变量配置
本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置变量参数的任务，进入 配置 面板。在配置面板...
配置离线集成管道任务资源
操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 配置对话框。在任务 属性 抽屉对话框 资源配置 区域，配置任务的资源。参数 描述 生产任务调度资源组 离线集成任务调度运行时需要消耗调度资源。您可指定每个离线集成任务...
告警中心概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
离线模式变量配置
本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置变量参数的任务，进入 配置 面板。在配置面板...
创建服务项目
因此，在API绑定应用或者被组合API引用后，API发布新版本到线上时，会与线上的版本进行对比，如果存在以上四种变更，可以选择不同的处理机制。您可基于API的使用场景，针对不同项目下的API灵活使用发布管控机制。支持 绑定应用或者被组合...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
配置脚本模式组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 脚本模式输出配置 对话框。在 脚本模式输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
配置限速流程组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 离线管道组件开发入口。按照下图指引，进入 限速组件配置 页面。在 限速组件配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。速度上限 选择数据传输的...
创建指标映射标签
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 离线数据集概述。操作步骤 在Dataphin首页，单击...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。租户开启 实时研发 模块后，系统将根据 离线计算引擎 选择进行...
配置脚本模式组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入脚本模式输出配置对话框。在 脚本模式输出配置 对话框，配置参数。参数 描述 步骤名称 根据当前组件的使用...
配置字段计算转换组件
配置属性 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。输入...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
消息模板
Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、实时集成、基线监控、数据质量、数据服务。本文为您介绍如何查看及修改消息模板。背景信息 Dataphin中阿里云短信服务...
新建镜像表
镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。背景信息 如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您...
新建镜像表
镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。背景信息 如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您...
购买指引-全托管
api.s2.large（最大10000 QPS）敏捷研发版（离线）暂不支持 标签工厂 版本 管控项 智能研发版（离线&实时）、基础研发版（离线&实时）试用版：离线标签5个、离线视图、行为关系、标签市场、标签离线服务、应用管理 基础版：离线标签50个、...
配置Fusioninsight Flink离线模式资源
Fusioninsight Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
配置字段选择转换组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。按照下图操作指引，进入 字段选择配置 对话框。在 字段选择配置 对话框，配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。输入字段 ...
标签工厂概述
标签工厂是通过从标签创建到服务全链路的构建，为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台，适合多种场景（如风控、营销），提供离线、实时、服务标签的开发、管理、探索以及服务能力，赋能上层各端业务应用，为企业...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...
公告
2023年08月08日-Dataphin新版本发布 Dataphin于2023年08月08日发布V3.11版本，本次升级相较于历史版本：新增标签工厂功能模块，包括离线标签、离线视图、行为关系、标签市场、标签离线服务和应用管理功能。标签平台是企业一方标签生产、...
步骤三：引入数据
步骤二：开发离线管道脚本 在离线单条管道开发页面，选中 MySQL输入组件 和 MaxCompute输出组件 并拖动至管道画布中，同时进行连接。如下图所示：单击组件的 图标，配置 MySQL输入组件 和 MaxCompute输出组件。MySQL输入组件 参数 描述 ...
配置开源Flink离线模式资源
开源Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 ...
步骤三：引入数据
步骤二：开发离线管道脚本 在离线单条管道开发页面，选中 MySQL输入组件 和 MaxCompute输出组件 并拖动至管道画布中，同时进行连接。如下图所示：单击组件的 图标，配置 MySQL输入组件 和 MaxCompute输出组件。MySQL输入组件 参数 描述 ...
新建同步目标表
参数 描述 任务名称 填写离线计算任务的名称，例如SQL。调度类型 选择任务的调度类型。调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。描述 填写对任务的简单描述。选择目录 选择离线计算任务的...
推送记录
在 推送记录 页面，您可以单击 离线计算、实时计算、基线监控、数据质量 或 数据服务 页签，查看对应模块的推送记录。不同功能模块的页签展示一致，下图以 离线计算 为例。区域 描述 ①筛选与搜索区 您可根据推送记录对象名称的关键字进行...
配置条件分发流程组件
操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 条件分发设置 对话框。根据 条件分发设置 对话框提示，配置参数。参数 描述 步骤名称 根据当前...
配置字段计算转换组件
配置属性 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。输入字段 根据上游...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
资产应用概述
Dataphin标签平台提供了标签的离线服务，可将标签的数据周期性的导出到目标数据源；画像服务可提供通过实体ID查询个体画像的服务；标签平台也提供了实时查询实体ID对应的标签值的能力，也可通过API分页查询群组ID及对应的标签值。权限说明 ...
标签平台设置
时间字段设置 参数 描述 离线视图/行为关系时间分区字段设置 离线视图 及 行为关系 读取来源表相应的分区。字段名称：仅支持英文、数字或下划线（_），64字符以内。字段格式：支持设置 yyyyMMdd和yyyy-MM-dd 字段格式。重要 不建议进行修改...
- 产品推荐
- 这些文档可能帮助您