数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前,您需要了解...

公告

显著提升数据治理水平,Dataphin将进一步加强资产治理方向的投入,正式更名为“智能数据建设与治理Dataphin”,希望能够更好的助力企业构建质量可靠、消费便捷、生产安全经济的企业数据中台。更名公告,请参见 Dataphin更名通知。2020年...

数据建模:智能数据建模

沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践,包含数仓规划、数据标准、维度建模及数据指标四大模块,帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的能力,并通过数据建模快速构建企业数据资产。功能概述 智能数据...

添加处理后数据数据管理

数据处理后,需要将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例,介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务,具体操作,请参见 新建数据处理任务。操作...

空间数据(邀测

数据处理 支持倾斜数据处理能力,可以将OSGD格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

功能简介

数据处理 支持倾斜数据处理能力,可以将OSGB格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

什么是数据资源平台

统一服务:是一款数据中台建设过程中的数据服务化组件,面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力;面向数据资产管理者提供服务的统计分析、服务用量统计分析能力,实现数据中台建设后...

规格及选型

案例七:大型互联网企业 用户为大型互联网企业,各业务线具有各自独立的业务中台,企业存在统一的数据中台,希望可以快速部署独立资源支持不同的业务负载,且未来不会产生数据孤岛。建议:使用 AnalyticDB PostgreSQL版 Serverless版本,...

受众与核心能力

同时,DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块,为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...

DataWorks交流钉钉群

说明 从2009年飞天大数据平台写下第一行代码开始,DataWorks历经10年发展,形成一套成熟的产品功能体系,满足企业数据中台搭建需求。在阿里巴巴内部,每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击 申请链接 加入“阿里...

我的申请

研发工作的统一服务模块对上线API进行上架、下架申请以及对已授权API进行使用申请。操作步骤 登录企业数据智能平台。在页面右上角,单击 图标,选择 系统设置。在页面左侧导航栏,单击 我的申请。在我的申请页面可查看我的申请和撤回我...

概述

随着业务的快速发展,企业数据呈几何倍增长,数据量庞大、复杂、各类数据间标准不一致,往往会出现数据难以管理的现象。DataWorks智能数据建模服务,将无序、杂乱、繁琐、庞大且难以管理的数据,进行结构化有序的管理。使企业的数据产生...

产品优势

产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域,每个领域深度覆盖大数据全生命周期,轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...

面临的业务挑战

数据散乱不一致 传统企业数据具有多样性,包括结构化、半结构化以及非结构化的数据数据来源上包含数据数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据,各自又有不同的访问和分析方式,而大量...

手动添加数据

您可以通过 数据库备份DBS 的手动添加数据源功能,将不同环境的数据库添加至 数据库备份DBS ,便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用,只有在添加数据源后开启备份才会产生费用。如何开启备份,请参见 ...

什么是DataWorks

世界500强亿滋中国:通过DataWorks智能数据建模进行全链路的数据模型治理,极大提升数据中台的自服务能⼒,让企业数据决策实现下放,释放新零售的数字化力量。上市公司创梦天地:基于开源的EMR引擎,用DataWorks替换自研调度系统,企业内部...

清除数据

您可以在控制清除 云原生内存数据库Tair 实例的所有过期数据或所有数据。操作步骤 说明 在 参数设置 禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表,在上方选择地域,然后单击目标实例ID。在 实例信息 页面...

清除数据

您可以在控制清除 云数据库 Redis 版 实例的所有过期数据或所有数据。操作步骤 说明 在 参数设置 禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表,在上方选择地域,然后单击目标实例ID。在 实例信息 页面,...

功能介绍

4 我的看板 当前区域为可视化应用中心中数据看板的展示页面,当可视化工作台中数据看板发布后,此处即展示已发布的数据看板。可视化演播厅 序号 区域名称 说明 1 工作空间 当前区域为可视化演播厅工作空间的管理部分,通过切换工作空间...

功能简介

面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力,实现数据中台建设后半场“数据应用”的有效落地,支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力,帮助用户在数据开发等过程中...

为RAM账号授权

为确保RAM用户能正常使用CDP企业数据云控制的功能,您需要使用云账号登录访问控制RAM(Resource Access Management),授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务,更多详情请参见 什么是访问控制。...

审批设置

功能入口 权限管理员登录 Quick BI控制,按照下图指引,赋予组织级开关的数据权限。授权设置 在 协同授权设置 页签下的 审批设置 区域,您可以 开启审批流 并配置以下参数。配置项 说明 基础设置 用于设置该组织下的所有工作空间数据...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业数据中台。Dataphin兼容多种计算...

配置及审批终端注册信息

企业员工的用户名、部门、Mac地址查询 展开下拉框,设置要查询的维度(用户名、部门、Mac地址),然后在输入框输入相应的数据查询超额注册的申请。配置防卸载策略及审批卸载申请 您可以开启 SASE 安全客户端防卸载开关、安全客户端自...

常见问题

数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段,扫描MaxCompute、OSS、阿里云数据库服务(RDS、PolarDB-X、PolarDB、OceanBase、表格存储等)和自建数据数据,通过敏感数据规则,判断和打标敏感数据,为数据安全审计、...

添加DataWorks数据服务数据

本文介绍在DataV添加DataWorks数据服务数据源,并将通过DataWorks数据表生成的API,快速地展示在DataV可视化大屏的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...

添加DataWorks数据服务数据

本文介绍在DataV添加DataWorks数据服务数据源,并将通过DataWorks数据表生成的API,快速地展示在DataV可视化大屏的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...

监控与日志

您可以将云企业网产品的配置变更历史和不合规事件数据投递到日志服务,进行数据查询和分析,以确保云企业网产品的持续合规性。具体操作,请参见 设置投递数据到日志服务SLS。云资源操作审计 阿里云操作审计(ActionTrail)服务帮助您监控...

管理Dataphin数据源权限

区域 参数 描述 权限字段 选择需要申请Dataphin数据字段。权限配置 权限类型 系统支持选择 查询权限 和 写入权限:如果需要写入数据,则选择 写入权限。如果需要查看字段的数据,则选择 查询权限。权限账号 系统默认选择为 应用。权限...

用户角色和权限

权限功能是系统安全的重要基础保障,作为企业数据中台建设和数字化转型的核心产品,Dataphin提供了完整的权限体系,来帮助您构建完善安全的权限系统,保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等,帮助您了解...

申请和释放外网地址

申请外网 登录 云数据库ClickHouse控制。在页面左上角,选择集群所在地域。在 集群列表 页面,选择目标集群对应类型的 实例列表,单击目标集群ID。根据目标集群的集群类型,选择对应的步骤。社区兼容版集群:在 集群信息 页面的 网络信息...

数据服务概述

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。前提条件 已购买 数据服务 增值服务,开通Dataphin ...

操作权限控制

本文介绍操作权限控制的相关问题。...如果您希望您所在企业的用户只能通过企业内网访问DataWorks控制,请进入RAM控制,仅放通您所在企业的内网地址映射出的公网地址。关于RAM控制的详细操作,请参见 管理RAM用户安全设置

数据归档常见问题

为什么PolarDB控制导航栏没有冷数据归档这个菜单?申请开启冷数据归档功能成功后,会有一定的延迟,等待几分钟刷新页面后即可出现冷数据归档菜单。冷数据文件的格式是什么?目前支持CSV、IBD 和ORC格式。如何判断当前表或分区是否归档...

权限管理与规范化数据开发

我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程,助力用户实现数据资产价值化输出,在数据全生命周期上夯实数据基础,为企业数据价值化提供有力支撑。创建DataWorks工作空间。说明 阿里云主账号可直接操作创建工作...

依赖服务计费说明

企业版集群 依赖服务 支持功能 计费说明 ARMS 监控告警 监控:依赖于Prometheus监控,开通Prometheus监控服务后,您可以在 云数据库ClickHouse 控制台中免费查看15天的监控数据,超过15天自动清除。告警:依赖于ARMS告警管理服务,ARMS会...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台,提供企业级...自主挖掘数据的业务价值:通过画像分析、业务模型编辑器,从业务视角更直观地探索数据,更高效的从数据中获取业务价值,并不断丰富客户的标签等数据资产。

新建云计算资源

支持新建多种类型的数据源,为使用 企业数据智能平台 做数据支撑。本文介绍如何新建云计算资源。前提条件 已创建工作组,具体操作,请参见 新建工作组。背景信息 当前支持的云计算资源类型有RDS MySQL、AnalyticDB MySQL、AnalyticDB MySQL...

需求阶段

数仓的最基本职责是定义和发现在企业决策使用的信息,随着企业战略方向的改变与业务方对行业判断的变化,需求会不断变化。该特性决定了数据仓库需求的多样性和迭代性。作为承接业务方数据需求的数据产品经理,在需求阶段需要规范首次需求...

DataWorks On EMR使用说明

开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让企业内部实现“数...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 域名 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用