离线任务属性配置概述

对于离线任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...

规范定义最佳实践

当数据的业务含义存在较大差异时,您可以创建不同的数据板块,让各成员独立管理不同的业务,后续数据仓库的建设将按照数据板块进行划分。在Dataphin中,项目可以归属至数据板块以实现规范建模功能,同一个数据板块中可能包含多个不同的项目...

核心概念

本文为您介绍Dataphin中,业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑...相关参考 关于部分基本概念的理解,您可以参考规范定义最佳实践,详情请参见 规范定义最佳实践。

数据开发

本文为您介绍数据开发的相关问题。在配置维度逻辑表的调度参数时,无法添加上游依赖节点?维度已提交,但事实逻辑表无法以该维度逻辑表作为关联维度。查询数据表报错 发布维度逻辑表报错 代码任务中的变量如何编写?添加事实逻辑表的事实...

通知设置

通知设置说明 流程控制:用于审批流程相关(如数据标准审批、发布审批、数据下载审批等)的通知。权限管理:用于权限到期、即将到期提醒、权限回收等权限相关管理的通知。资源用量:用于数据处理单元、数据标准、智能运维等资源统计用量...

通知设置

通知设置说明 流程控制:用于审批流程相关(如数据标准审批、发布审批、数据下载审批等)的通知。权限管理:用于权限到期、即将到期提醒、权限回收等权限相关管理的通知。资源用量:用于数据处理单元、数据标准、智能运维等资源统计用量...

产品概述

产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式,只需购买...

运维监控概述

查看异常影响分析:为您展示调用异常次数Top 10和异常影响应用(APP)Top 10,便于您及时了解造成异常影响的API,后续您可以联系相关API的负责人,查看错误代码,配置API的告警和限流等。查看访问趋势分析:为您展示调用异常趋势和调用异常...

引入预制模型

模型市场为您提供开箱即可试用的模型示例,降低您的学习成本以及理解Dataphin的成本,帮助您快速建立企业模型。本文为您介绍如何导入模型示例。视频介绍 权限说明 仅支持超级管理员、系统管理员导入模型。计算引擎说明 仅当计算设置中的...

配置邮件消息渠道

按照下图操作指引,配置 SMTP 协议的邮件相关信息。参数 描述 邮件协议 选择 SMTP。发送邮件地址 发送邮件的发件人地址。连接方式 选择是否需要通过SSL连接,支持选择 SSL连接、非SSL链接。SSL连接:此连接方式发送的邮件为加密后的邮件,...

配置DM(达梦)输出组件

配置DM(达梦)输出组件,可以将外部数据库中读取的数据写入到DM(达梦),或从大数据平台对接的存储系统中将数据复制...后续步骤 完成输出组件的配置后,下一步您可以配置离线单条管道的调度相关信息。具体操作,请参见 周期性管道调度配置。

配置DM(达梦)输出组件

配置DM(达梦)输出组件,可以将外部数据库中读取的数据写入到DM(达梦),或从大数据平台对接的存储系统中将数据复制...后续步骤 完成输出组件的配置后,下一步您可以配置离线单条管道的调度相关信息。具体操作,请参见 周期性管道调度配置。

配置Redis输出组件

配置Redis输出组件,可以将外部数据库中读取的数据写入到Redis,或从大数据平台对接的存储系统中将数据复制推送至Redis,...后续步骤 完成输出组件的配置后,下一步您可以配置离线单条管道的调度相关信息。具体操作,请参见 管道调度配置。

Dataphin快速入门

相关参考 关于Dataphin的基本概念,请参见 核心概念。

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

消息渠道概述

通过这两个服务,将Dataphin的告警消息通过电话和短信的方式通知到相关人员,保障生产的安全。若您的企业中已经有自己的短信或者语音渠道,也可将Dataphin的消息通过自有渠道发送出去。消息渠道入口 在Dataphin首页,单击顶部菜单栏的 管理...

实时研发基本流程概述

流程指引 使用Dataphin进行实时研发的基本流程如下:主流程 描述 操作指导 准备工作 使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通...

实时研发基本流程概述

流程指引 使用Dataphin进行实时研发的基本流程如下:主流程 描述 操作指导 准备工作 使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通...

步骤一:准备工作

进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源、Quick BI开通(非必选)与配置以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:...

步骤一:准备工作

进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源、Quick BI开通(非必选)与配置以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:...

步骤一:准备工作

进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...

步骤一:准备工作

进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

创建实体

在 新建实体 对话框中,配置实体相关信息。参数 描述 实体名称 填写实体名称。命名规则:允许中英文、数字、下划线或连字符,64字符以内。实体code 必须以字母开头,允许小写英文字母、数字、下划线,64字符以内。责任人 负责该实体的信息...

分析业务过程

您可以参考业务规划设计文档和业务运行(开发、设计、变更等)相关文档,从以下几方面分析数据仓库涉及的源系统及业务管理系统:每个业务会生成哪些数据,存在于什么数据库中。对业务过程进行分解,了解过程中的每一个环节会产生哪些数据,...

实践教程

针对各种业务需求,Dataphin提供相关实践教程,您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践

登录安全设置

本文为您介绍如何配置登录安全设置。...权限说明 超级管理员和系统管理员支持修改登录安全设置。操作步骤 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图指引,进入 登录安全设置 页面。...可设置的时间范围为15分钟~1440分钟(24小时)...

创建ID

在 创建ID 对话框中,配置ID相关信息。参数 描述 ID名称 填写ID名称。允许中英文、数字、下划线或连字符,64字符以内。ID code 必须以字母开头,允许小写英文字母、数字、下划线,64字符以内。责任人 负责该实体的信息设置和管理人。支持...

配置渠道设置

消息渠道关闭后,相关消息将无法发送到对应的渠道,请按需选择开启的消息渠道。权限说明 元仓租户超级管理员和系统管理员(实例级别)支持编辑消息渠道。超级管理员和系统管理员(租户级别)支持编辑消息渠道;其他用户支持查看消息渠道。...

标签平台设置

在 标签平台 页面,配置相关参数。时间字段设置 参数 描述 离线视图/行为关系时间分区字段设置 离线视图 及 行为关系 读取来源表相应的分区。字段名称:仅支持英文、数字或下划线(_),64字符以内。字段格式:支持设置 yyyyMMdd和yyyy-MM-...

查看及管理实时模板引用

在数据 开发 页面,按照下图操作指引,选择您需查看及管理引用对象的实时模板,进入模板相关引用对象管理页面。实时模板引用对象 介绍 实时模板引用页面主要由引用任务对象列表和批量操作区组成,您可以在引用页面查看引用任务对象和进行...

查看及管理实时模板引用

在数据 开发 页面,按照下图操作指引,选择您需查看及管理引用对象的实时模板,进入模板相关引用对象管理页面。实时模板引用对象 介绍 实时模板引用页面主要由引用任务对象列表和批量操作区组成,您可以在引用页面查看引用任务对象和进行...

用户中心概述

本文为您介绍Dataphin版本、语言设置、升级、续费、软件到期时间等相关说明。用户中心概览页面如下图所示。界面 说明 个人账号 进入RAM访问控制台,可进行身份管理、权限管理及安全治理:身份管理:可对Dataphin的用户进行 身份规划,组织...

用户中心概述

本文为您介绍Dataphin版本、语言设置、升级、续费、软件到期时间等相关说明。用户中心概览页面如下图所示。界面 说明 个人账号 进入RAM访问控制台,可进行身份管理、权限管理及安全治理:身份管理:可对Dataphin的用户进行 身份规划,组织...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

查看标签详情

完成标签创建后,您可查看所创建的标签详情及进行相关操作。本文将为您介绍如何查看标签详情及支持的操作。操作步骤 在Dataphin首页,单击顶部菜单栏的 标签。默认进入 资产市场 页面。按照下图操作指引,单击对应标签名称,查看标签详情。...

查看并管理分析平台表

分析平台表页面为您展示了分析平台表的基本信息及相关管理操作,方便您查看创建的分析平台表并进行管理。本文为您介绍分析平台表列表及支持的管理操作。权限说明 用 create table 语句生成的分析平台表只有创建该表的账号拥有访问权限。...

步骤三:创建实时计算表

在 新建表 页面,配置相关参数。参数 描述 表类型 选择元表。元表名称 填写 oms_orders。数据源 选择创建的 flink_dataphin 数据源。来源表 选择 oms_orders 来源表。读取方式 选择 CDC Source表,增量流式读取。选择目录 默认选择 表管理...
共有67条 < 1 2 3 4 ... 67 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
智能数据建设与治理 Dataphin 弹性公网IP 短信服务 人工智能平台 PAI 金融分布式架构 对象存储
新人特惠 爆款特惠 最新活动 免费试用