Java UDF最佳实践

步骤:新建SQL任务 在 数据处理 页签,单击左侧导航栏 计算任务 图标。在 计算任务 页面,单击 计算任务 后的 图标,选择 MAXC任务 MAX_COMPUTE_SQL。在 新建文件 对话框,配置参数。参数 描述 名称 填写计算任务的名称,例如 javaudf。...

维度和事实逻辑表物化配置

快捷初始化包含以下种策略,当然您也可以手动调整配置。单个物化表:将所有字段放入单个物化表。平衡行策略:产出时间与查询效率平衡,即根据产出的时间间隔拆分物化表。生产线上策略:生产线的策略,即按照系统的始化策略。重要 切换...

Java UDF最佳实践

步骤:新建SQL任务 在 数据处理 页签,单击左侧导航栏 计算任务 图标。在 计算任务 页面,单击 计算任务 后的 图标,选择 MAXC任务>MAX_COMPUTE_SQL。在 新建文件 对话框,配置参数。参数 描述 名称 填写计算任务的名称,例如 javaudf。...

维度和事实逻辑表物化配置

快捷初始化包含以下种策略,当然您也可以手动调整配置。单个物化表:将所有字段放入单个物化表。平衡行策略:产出时间与查询效率平衡,即根据产出的时间间隔拆分物化表。生产线上策略:生产线的策略,即按照系统的始化策略。重要 切换...

新建BLINK_DATASTREAM任务

步骤:配置 BLINK_DATASTREAM 任务 单击编辑器侧边栏 配置。在配置对话框中,配置BLINK_DATASTREAM任务 实时模式 和 离线模式 的相关配置信息。重要 BLINK_DATASTREAM任务 不支持开启离线模式。实时模式 资源配置(必选):配置任务对应...

创建MySQL数据源

常用于网站、应用程序和商业产品,是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏的...

配置解密转换组件

填充:支持选择NoPadding、PKCS5Padding、PKCS7Padding种填充方式。加解密配置需保持一致。不同的加密算法的填充模式不一致,具体以实际页面为准。偏移量:IV称为偏移量,不同的IV加密后的字符串是不同的,IV需为16位数字。加密和解密...

多活架构介绍

MSHA提供种容灾架构解决方案,包括同城多活、异地双活以及异地应用双活。本文介绍各解决方案的架构特点,并对比各解决方案的建设成本、容灾能力和适用场景。架构特点 同城多活 同城机房间的物理距离通常≤50 km,跨机房的网络延迟较小...

Dataphin智能数据建设与治理服务等级协议(半托管)

版本生效日期:2024年03月26日 本服务等级协议(Service Level Agreement,以下简称“SLA”)约定了阿里云向客户提供的智能数据建设与治理(简称“Dataphin”)的服务可用性等级指标及赔偿方案。特别提示您,除非另有约定,本协议不适用于...

答疑支持

若您在使用智能数据建设与治理Dataphin的过程中有任何疑问,您可通过答疑支持联系我们,为您答疑解惑。操作步骤 在Dataphin页面,按照以下操作指引或单击蓝色小机器人选择 答疑支持,进入答疑支持页面后,输入您需解答的问题。依次单击 ...

答疑支持

若您在使用智能数据建设与治理Dataphin的过程中有任何疑问,您可通过答疑支持联系我们,为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统(如需对接可联系运维部署团队)方可使用工单功能。...

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

快速入门

如果您是首次使用智能数据建设与治理Dataphin,您可以参考快速入门文档,了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门

维度层(DIM)

维度层简介 建立一致数据分析维表,可以降低数据计算口径和算法不统一风险。以维度作为建模驱动,基于每个维度的业务含义,通过定义维度及维度主键,添加维度属性、关联维度等定义计算逻辑和雪花模型,完成属性定义的过程并建立一致的数据...

新建和管理词根

建立和维护可收敛的词根库,能够为资产统一管理提供依据,让数据流通且通畅无歧义。本文为您介绍如何创建词根。前提条件 已被指定为超级管理员或数据标准管理员用户角色,如何添加角色,请参见 添加Dataphin成员。权限说明 仅超级管理员、...

新建和管理词根

建立和维护可收敛的词根库,能够为资产统一管理提供依据,让数据流通且通畅无歧义。本文为您介绍如何创建词根。前提条件 已被指定为超级管理员或数据标准管理员用户角色,如何添加角色,请参见 添加Dataphin成员。权限说明 仅超级管理员、...

应用场景

价值:数据建设统一:数据标准规范定义。数据研发提效:自动化代码生成。战略决策高效:数据分析准确,数据需求响应及时。推荐搭配组合:Dataphin+MaxCompute MaxCompute详情请参见 什么是MaxCompute。输出主题式数据服务,提高数据化运营...

数仓规划概述

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...

变更管控

变更管控功能是指在变更环节(如提交、发布、运维操作等),通过配置...规则配置完成后,支持配置规则及策略生效灵活开关,以调整管控规则及策略配置,实现不同的管控效果,从而减少人工干预成本,也能进一步提升平台建设的规范性和稳定性。

变更管控

变更管控功能是指在变更环节(如提交、发布、运维操作等),通过配置...规则配置完成后,支持配置规则及策略生效灵活开关,以调整管控规则及策略配置,实现不同的管控效果,从而减少人工干预成本,也能进一步提升平台建设的规范性和稳定性。

数仓规划概述

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...

产品概述

产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式,只需购买...

确定需求

业务调研 充分的业务调研和需求分析是数据仓库建设的基石,直接决定数据仓库能否建设成功。在数仓建设项目启动前,您需要请相关的业务人员介绍具体的业务,以便明确各个团队的分析员、运营人员的需求,沉淀出相关文档。您可以通过调查表、...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

升级

请您仔细核对购买信息并阅读 智能数据建设与治理服务协议,确认无误后选中 智能数据建设与治理服务协议。单击 去支付,支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例,在Dataphin管理控制台页面,显示 ...

数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前,您需要了解...

逻辑结构说明

当数据的业务含义存在较大差异时,您可以创建不同的数据板块,让各成员独立管理不同的业务,后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域,是对某个主题分析后确定的主题边界。例如,商品域、交易域、会员域等。项目 ...

创建FTP数据源

connectPattern:连接模式,包括以下两种:PORT(主动模式):客户端打开一个端口等服务器建立数据连接。PASV(被动模式):服务器打开一个端口等客户端建立数据连接。单击 测试连接,测试数据源是否可以和Dataphin进行正常的连通。测试...

设置Dataphin实例的计算引擎

校验成功后,单击 确认并开始数据建设,即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后,您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作,请参见 准备数据源和计算源。

使用限制

计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源,系统以此来支持相关数据的建设工作。需要选择计算引擎类型(目前仅开放MaxCompute计算类型),配置计算引擎所在的集群,例如Endpoint等信息。系统以此来支持该计算...

创建FTP数据源

connectPattern:连接模式,包括以下两种:PORT(主动模式):客户端打开一个端口等服务器建立数据连接。PASV(被动模式):服务器打开一个端口等客户端建立数据连接。单击 测试连接,测试数据源是否可以和Dataphin进行正常的连通。重要 ...

引入预制模型

模型市场为您提供开箱即可试用的模型示例,降低您的学习成本以及理解Dataphin的成本,帮助您快速建立企业模型。本文为您介绍如何导入模型示例。视频介绍 权限说明 仅支持超级管理员、系统管理员导入模型。计算引擎说明 仅当计算设置中的...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

Dataphin免费试用申请

申请信息填写完后,勾选 我已阅读并同意《Dataphin智能数据建设与治理试用服务协议》,单击 免费试用,体验Dataphin功能。相关文档 试用开通成功后,您可按照 Dataphin新手引导 一步步体验Dataphin的研发流程,也可按照 导入模型 来导入...

元数据仓库共享模型概述

业务租户:统称为 开发租户,进行数据中台建设的租户,即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户,由元仓租户在租户设置页面创建并分配可用资源(数据处理单元数、质量规则数等)。元仓共享模型数据说明 ...

开通Dataphin

注意事项 开通Dataphin前,请您了解以下几点:购买前建议您先联系阿里云 售前咨询 并提供企业数据建设需求及背景信息。待阿里云售前咨询帮您确认Dataphin当前版本及功能是否符合您的需求后,会为您开通购买权限。Dataphin不支持无条件退款...

新建基线监控

基线一旦建立后,会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务,并按照设定的预警时间和承诺时间,在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...

新建基线监控

基线一旦建立后,会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务,并按照设定的预警时间和承诺时间,在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
号码认证服务 数字证书管理服务(原SSL证书) 物联网无线连接服务 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用