云大数据产品经理-云大数据产品经理文档介绍内容-阿里云

需求阶段

作为承接业务方数据需求的数据产品经理，在需求阶段需要规范首次需求流程和迭代需求流程。首次需求流程对于业务方首次提出的需求，重点工作在于评估完成该需求的技术、数据、合规的可行性后，以细化需求的方式完成产品需求文档，并组织...

数据仓库研发规范概述

阶段规划鉴于对日常数据仓库研发工作的总结与归纳，本文将数据仓库研发流程抽象为如下几点：需求阶段：数据产品经理应如何应对不断变化的业务需求。设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地...

设计阶段

完成需求阶段的工作后，数据产品经理会产出最终版本的产品需求文档，以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求...

数据仓库需求模板

项目涉众 数据产品经理 设计人员开发人员测试人员数据安全与合规人员需求版本变更历史版本号版本确认日期版本变更点提交人常规需求申请单指标需求中通常会涉及到下表中的约定项，如果需要自定义约定项，可以在自定义格式列进行...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

数据资产等级定义

例如，一个A2等级的数据应用产品对应的导出表Table1、Table2、Table3，几个表都打上 A2-xxx 数据产品标记。根据血缘往上追溯，将这几个表的上游都打上A2的标记，一直标记到源数据业务系统，如图所示。icmsDocProps={'productMethod':'...

产品简介

大数据专家服务大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

数据加工过程卡点校验

您可以通过培训等方式，将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员，使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时，也要考虑数据的目标，做到业务端和数据端一致。离线系统卡...

数据集市

数据应用集市：面向数据产品需求的集市。公共集市：如果您希望创建各集市需要通用的应用层模型，则可以选择该类型。所属业务分类数据集市所属的业务分类。详情请参见业务分类。负责人创建数据集市的负责人。默认为当前登录账号。备注 ...

数仓分层

基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data ...数据应用层（ADS，Application Data Store）：存放数据产品个性化的统计指标数据，根据CDM层与ODS层加工生成。

数仓分层

数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据...

数仓分层

数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据...

发展历程

2019大数据“星河（Galaxy）”奖最佳大数据产品奖（TOP10）。2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到...

公共规范

而数据产品等应用名称以 app 为后缀，例如 sycm_app。数据类型规范 ODS层的数据类型应基于源系统数据类型转换。例如，源数据为MySQL时的转换规则如下。MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT ...

数据风险点监控

不同的业务会有不同的业务规则的约束，这些规则来源于数据产品或消费的业务需求。您可以通过配置消费节点，然后上推到离线系统的起点进行监控，实现规则影响的最小化。数据的及时性在确保数据准确性的前提下，您需要进一步让数据能够及时...

功能特性

基于External Volume处理非结构化数据产品商业化计费项、计费方式、查看账单详情、续费管理。功能集功能功能描述参考文档计算费用按量计费 MaxCompute支持对SQL、MapReduce、Spark、Mars（数据科学）、Lightning（交互式分析）和...

创建数仓分层

应用数据层 ADS（Application Data Service）ADS层用于存放数据产品个性化的统计指标数据，输出各种报表。例如，某电商企业，在6月9日至6月19日，杭州地域出售的各大球类商品的数量及排行情况。公共维度层 DIM（Dimension）DIM层使用维度...

【通知】数据库网关DG下线通知

因数据库网关DG（Database Gateway）产品资源投入原因，阿里云将于2023年06月25日起，停止新购、续订DG服务，并计划在2024年05月03日下线DG服务。下线产品数据库网关DG（Database Gateway）下线时间 2023年06月25日：停止新购DG服务及相关...

【通知】数据库网关DG下线通知

因数据库网关DG（Database Gateway）产品资源投入原因，阿里云将于2023年06月25日起，停止新购、续订DG服务，并计划在2024年05月03日下线DG服务。下线产品数据库网关DG（Database Gateway）下线时间 2023年06月25日：停止新购DG服务及相关...

数据源概览

本章节主要介绍如何使用Databricks数据洞察完成对多种数据源的读写，以及如何使用Databricks数据洞察完成与其他阿里云产品数据源之间的网络连接。静态数据源 Databricks数据洞察支持直接读取静态数据源。CSV文件 JSON文件 Parquet文件 ORC...

数据建模：智能数据建模

智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...

智能数据建模计费标准

智能数据建模使用包年包月计费模式，根据您在智能数据建模产品内创建的对象数量进行计费。您可根据实际需求，选购智能数据建模产品的不同规格。同时，智能数据建模为您提供了单独计费的行业模型模版，您可购买该模版快速构建属于您的数据...

工作原理

数据库网关提供私网数据库远程...通道建立后，当您在云端使用某数据库产品（如DMS、DBS）需要访问该网络内的本地数据库时，数据库产品会通过已建立好的通道，访问至您的本地网络。相关操作准备工作新建数据库网关添加数据库查看网关状态

DataWorks数据安全治理路线

DataWorks基于数据安全治理的常见思路，针对资产梳理、技术体系建设和运营体系建设，提供了一系列数据安全产品能力，您可通过“基础防护建设、数据安全防护措施及策略增强建设、数据安全持续运营”三个阶段在DataWorks上落地数据安全治理...

数据分析概述

产品优势与本地数据分析相比，在线数据分析的优势如下：海量：借助计算引擎的能力，可以高效分析全量、海量的数据。流动：在线数据分析可以从不同数据源获取数据进行查询和分析，并将分析结果分享至指定成员。安全：您无需下载数据至本地...

添加ClickHouse数据源

因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute-查看集群的详细属性接口获取VPC...

添加AnalyticDB for PostgreSQL数据源

因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBInstanceNetInfo 接口获取VPC实例ID。域名连接数据...

添加AnalyticDB for PostgreSQL数据源

因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBInstanceNetInfo 接口获取VPC实例ID。域名连接数据...

添加AnalyticDB for MySQL数据源

因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute 接口获取VPC实例ID。域名连接数据...

添加AnalyticDB for MySQL数据源

因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute-查询集群的详细属性接口获取VPC...

产品优势

本文介绍时间序列数据库产品的优势。性能卓越具有高效的读写能力，相较于开源的 OpenTSDB 和 InfluxDB，读写效率提升了数倍。支持横向扩展，性能可达到百万级别读和千万级别写入的数据点处理能力。存储成本低基于高效压缩算法有效压缩...

添加RDS for PostgreSQL数据源

因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 RDS for PostgreSQL获取VPC实例ID接口。域名连接数据库的地址。...

添加RDS for PostgreSQL数据源

因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 DescribeDBInstanceAttribute-查询实例详情。域名连接数据库的...

添加RDS for SQLServer数据源

因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 RDS for SQL Server获取VPC实例ID接口。SQL Server版本可选，当...

添加RDS for SQLServer数据源

因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 DescribeDBInstanceAttribute-查询实例详情。SQL Server版本可选...

添加RDS for MySQL数据源

因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用查询实例详情信息接口获取VPC实例ID。域名连接数据库的地址。...

添加RDS for MySQL数据源

因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用查询实例详情信息接口获取VPC实例ID。域名连接数据库的地址。...

什么是云数据库Redis版

云数据库Redis版（ApsaraDB for Redis）是兼容开源Redis协议标准的数据库服务，基于双机热备架构及集群架构，可满足高吞吐、低延迟及弹性变配等业务需求。为什么选择云数据库Redis版硬件部署在云端，提供完善的基础设施规划、网络安全保障...

全球数据库市场发展与机遇

数据库起源于上世纪70年代，在技术发展浪潮中历久弥新，已成为IT科技的核心技术之一，支撑着现代社会的经济活动和商业文明。长期以来，全球商业化数据库主要以Oracle、IBM、Microsoft、SAP传统四大厂商为主。随着新金融、新零售、新制造、...

云大数据产品经理

新品推荐