大数据挖掘与研发-大数据挖掘与研发文档介绍内容-阿里云

建模空间

背景信息 DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下，为您提供了数据模型设计空间与 数据研发工作空间的概念，通过建模空间功能实现模型跨工作空间应用。其中数据模型设计空间为模型设计师视角，主要用于统筹...

数据分析整体趋势

大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...

数仓规划概述

使用DataWorks进行数据建模时...DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下，为您提供了模型设计工作空间与 数据研发工作空间的概念，通过建模空间功能实现模型跨工作空间应用。建模空间的详细介绍请参见建模空间。

应用场景

1.2 收益系统解耦对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化通过...

快速体验

大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...

Dataphin新手引导

新建流程引导帮助您从零开始逐步完成数据规划与研发步骤，了解Dataphin的基础操作步骤。单击去导入按钮，进入管理中心-预制模型-模型市场页面，详情请参见导入模型。新建流程引导帮助您按照标准步骤逐步完成模型配置，从第一步到第...

低成本RDS历史库

大数据生态无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...

应用场景：低成本历史库

大数据生态无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用用户交易记录通过APP写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...

大数据AI公共数据集分析

本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...

（邀测）MaxCompute Notebook使用说明

支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。版本说明当前MaxCompute Notebook功能处于邀测阶段，每个租户最多可启动3个Notebook实例，每个...

数据导入概览

使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...

简介

内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘场景。功能介绍 2.0 版本提供时空几何能力...

新功能试用申请

支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。功能说明和使用请参见（邀测）MaxCompute Notebook使用说明。2023年3月项目开启Volume权限 External Volume是MaxCompute提供的分布...

2023年

支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。（邀测）MaxCompute Notebook使用说明 2023-09-12 新增在本地环境上使用PyODPS 新说明 PyODPS是...

大数据安全治理的难点

大数据体系的特点与安全治理难点由于大数据系统在“存储、用户、入口、流转、交付”等多方面的特点，想要回答好上述问题，存在诸多难点。存储众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）...

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

什么是项目协作

提供项目管理、需求管理、缺陷管理、任务管理、迭代规划等丰富的项目管理功能及效能数据统计，支持单项目管理、跨项目协作等丰富的协作场景，以及 Scrum、LeSS、ALPD 等不同复杂度的研发模式，助力企业实现组织敏捷。通过与云效代码管理和...

版本发布记录

接入DataWorks任务调度接入DataWorks任务调度，使得用户能够可视化轻松定制数据湖分析的数据处理流程，实现云上大数据WorkFlow。接入函数计算接入函数计算，使得用户能够基于这两款Serverless化云产品，构建云原生Serverless工作流。接入...

升级数据库大版本

升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...

DB2数据源

DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...

MongoDB 4.0

升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...

MongoDB 4.4

第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...

MongoDB 5.0

第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...

数据科学计算概述

Scikit-Learn：用于数据分析和数据挖掘任务的算法。为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及...

数据标准

数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。

后续指引

介绍：数据迁移实践：数据迁移最佳实践常见问题：数据上传下载常见问题大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析数据类型 MaxCompute支持三种数据类型版本，为您介绍各...

移动数据分析是什么？

移动数据分析(Mobile Analytics)是阿里云推出的一款移动App数据统计分析产品，提供通用的多维度用户行为分析，支持日志自主分析，助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。移动数据分析帮助用户...

Tair（Redis企业版）简介

磁盘型：基于ESSD/SSD研发，兼容Redis核心数据结构与接口，可提供大容量、低成本、强持久化的数据库服务。Tair将重点建设云原生版，如软硬件技术结合、数据智能分布、数据存储和计算处理一体化等核心能力。2019年11月发布Tair 3.0，即 ...

数据研发（登录数据库）

背景信息 OceanBase 使用 Web 版 ODC 开发者中心（OceanBase Developer Center，ODC）作为数据库开发平台，在 OceanBase 管理控制台首页通过 数据研发 按钮可直接进入 Web 版 ODC，或下载并使用客户端版 ODC 进行数据库开发。操作步骤 ...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

什么是云原生内存数据库Tair

磁盘型：基于ESSD/SSD研发，兼容Redis核心数据结构与接口，可提供大容量、低成本、强持久化的数据库服务。Tair将重点建设云原生版，如软硬件技术结合、数据智能分布、数据存储和计算处理一体化等核心能力。2019年11月发布Tair 3.0，即 ...

技术架构选型

本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

创建数据板块

数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件仅支持智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...

数据集成支持的数据源

离线集成支持的数据源数据源读取写入 大数据存储型数据源 MaxCompute 支持支持 Hologres 支持支持 IMPALA 支持支持 TDH Inceptor 支持支持 StarRocks 支持支持 Hudi 支持支持 Doris 支持支持 GreenPlum 支持支持 TDengine 不...

创建数据板块

数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件仅支持智能研发版。若需使用，请升级当前版本。升级版本，请参见升级。在开始...

功能发布记录（2024年）

2024.2.6 所有地域所有DataWorks用户系统配置 2024-01 功能名称功能描述发布时间发布地域使用客户相关文档数据开发与数据分析的查询结果支持脱敏展示数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...

应用概览

查看接入移动数据分析服务的应用概览信息。操作步骤登录移动数据分析控制台。...说明您可以选择对比天，查看今日数据与选择日期的趋势对比。数据展示可选择小时、分钟粒度。查看活跃用户的 24小时累计趋势图。查看今日实时数据。

发布包总览概述

数据架构及研发页签的对象数与发布包中的对象数不一致时，系统仅展示当前环境中已存在的板块和项目下的待发布对象数量，不包括未发布的新增板块和项目下的对象数量。若发布包中的对象与当前环境下的对象版本一致，则无需进行发布，但依然...

大数据挖掘与研发

新品推荐