需求阶段

作为承接业务方数据需求的数据产品经理,在需求阶段需要规范首次需求流程和迭代需求流程。首次需求流程 对于业务方首次提出的需求,重点工作在于评估完成该需求的技术、数据、合规的可行性后,以细化需求的方式完成产品需求文档,并组织...

产品简介

数据专家服务 数据专家服务(Bigdata Expert Service)是由阿里云数据专家基于阿里云多年数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

常见问题

4.数据专家服务范围是覆盖阿里云所有大数据产品技术栈吗?答:服务范围仅包含阿里云MaxCompute|DataWorks|Hologres|DataHub|PAI|Flink|EMR|ES|ABM产品技术专家服务。阿里云其它产品、非阿里云产品、客户软件问题、基础网络问题、...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个数据开发过程中的离线计算引擎。...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个数据开发过程中的离线计算引擎。...

验收报告模板

测试验收点 序号 测试验证点(按实际情况增减)是否通过 1 数据主键是否重复。...高 张三 验收评估结果 业务方(数据产品经理):通过/不通过。验收通过。遗留的问题在本项目中可以接受,但Delay_1缺陷必须在xxxx年x月x日之前启动升级包修复。

E-MapReduce本地盘实例规模数据集测试

数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能,对用户选择合适的数据平台产品具有重要的参考价值,TPC-DS逐渐成为了业界公认的数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...

设计阶段

完成需求阶段的工作后,数据产品经理会产出最终版本的产品需求文档,以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分:数据探查旨在了解来源数据的数据形态,例如数据质量、数据分布等。结合业务场景,帮助分析和判断需求...

产品优势

支持防护常见的结构化数据、非结构化数据和大数据产品,例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用数据和机器学习能力,通过智能化的算法,对敏感数据和高风险活动,例如数据异常访问和潜在的泄露风险进行有效识别和监控...

EMR Studio概述

EMR Studio作为一款云上产品,支持与数据湖构建(DLF)和对象存储(OSS)等云上产品对接,构建云原生大数据产品架构。您可以在创建EMR Studio时指定OSS bucket路径,EMR Studio将自动备份作业代码和作业日志,并可以通过该路径提交Airflow ...

数据仓库需求模板

项目涉众 数据产品经理 设计人员 开发人员 测试人员 数据安全与合规人员 需求版本变更历史 版本号 版本确认日期 版本变更点 提交人 常规需求申请单 指标需求中通常会涉及到下表中的约定项,如果需要自定义约定项,可以在自定义格式列进行...

测试阶段

开发阶段已经完成了代码的实现,为了发现代码问题、暴露项目风险、提升产出质量...UAT测试:交付测试、数据测试完成后,数据产品经理需要站在业务角度,对产出数据进行验收测试,最终提供验收测试报告。UAT测试报告请参见 验收测试报告模板。

发展历程

产品荣誉 2022年11月,自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。2022年8月,MaxCompute在TPCx-BB 100TB标准测试中,连续6连贯全球冠军,保持性能和性价比第一。2021年12月,IDC发布《IDC MarketScape:中国...

客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

简介

优势介绍 公有云原生架构的空间、时空、遥感一体化NoSQL大数据引擎产品,开箱即用。PB级存储、高并发写入、百亿级时空查询秒级响应。支持数据冷热分离存储和数据高效压缩算法,海量数据存储成本低。与云上Spark无缝集成,快速搭建空间...

快速入门

操作步骤 第一步:进入阿里云官网,打开 大数据专家服务 产品详情。第二步:点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三步:经过双方线下评估确认通过后,阿里云技术专家将 向用户推送购买入口...

准备环境

实名认证,详情请参见 个人实名认证 背景信息 本次实验涉及的阿里云产品如下:大数据计算服务 MaxCompute 数据工场 DataWorks 人工智能平台 PAI MaxCompute DataWorks PAI 开通大数据计算服务MaxCompute 说明 如果您已经开通MaxCompute,请...

常见问题

数据湖后端存储使用OSS,用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图,更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建?在云上有数据分析和机器学习需求,希望构建云上的...

常见问题

如何理解开源与云原生的大数据技术与产品?MaxCompute作为大数据平台,对业务数据是否有好的监控手段?MaxCompute的项目发挥什么作用?如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?现有账号的AccessKey被禁用,创建一个新的...

产品集成

常见云产品如下:大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息,详细步骤请参见 获取连接参数。大数据开发治理平台 ...

开通DataWorks服务

背景信息 为帮助您快速体验大数据平台的核心场景,每个地域首次开通DataWorks时,平台默认自动在相应地域为您开通MaxCompute按量付费产品(该产品不使用则不收费),并创建服务关联角色 AliyunServiceRoleForDataWorksEngine、...

购买指引

其他产品计费:大数据引擎的计算与存储等费用不包含在DataWorks的费用中,例如,您还开通使用了 MaxCompute、Hologres、E-MapReduce 等计算引擎或存储产品,这类产品的费用需参考对应产品的计费逻辑。进入 DataWorks售卖页 即可购买所需...

什么是DataWorks

产品架构 DataWorks十多年沉淀数百项核心能力,通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六全链路数据治理的能力,帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。...

安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

功能概览

1.4 生态融合 系出飞天,与阿里云大数据系统深度整合,无缝对接MaxCompute、实时计算、交互式分析等产品,打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件,让您高效便捷的把数据接入到数据...

数据仓库研发规范概述

阶段规划 鉴于对日常数据仓库研发工作的总结与归纳,本文将数据仓库研发流程抽象为如下几点:需求阶段:数据产品经理应如何应对不断变化的业务需求。设计阶段:数据产品经理数据开发者应如何综合性能、成本、效率、质量等因素,更好地...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

什么是EMR on ACK

阿里云E-MapReduce(简称EMR)on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注...

数据分析:即时快速分析

功能概述 数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行屏幕数据查看等产品功能。适用场景 适合更多非专业数据开发人员,如数据分析、产品、运营等工作...

应用场景

数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作...

升级数据库版本

支持升级到的数据版本 不同产品架构、不同版本的云数据库MongoDB实例支持升级到的数据版本如下:产品架构 规格类型 实例的数据版本 可升级到的数据版本 单节点架构 通用型云盘版 MongoDB 4.0 暂无更高的数据版本可升级...

应用场景

互联网类应用 Cassandra能够支持并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用性和容灾能力。云...

ECS实例说明

大数据型 使用本地SATA盘作存储数据,存储性价比高,是大数据量(TB级别的数据量)场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点;Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...

产品计费

本文介绍大数据专家服务计费方式与价格。计费方式 计费项:按服务类型进行计费。计费方式:预付费。有效期:365 天(自然日)。说明 请在服务购买后的365个自然日内使用您购买的服务,服务过期作废。所有服务均不支持自动退款,若服务未...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为了便于新用户快速了解DataWorks的数据开发治理操作全流程,DataWorks为您提供了...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

自媒体:易撰

所属行业:自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用