数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
什么是MaxCompute
提供持续的SaaS化云上数据保护 为云上企业提供基础设施、数据中心、网络、供电、平台安全能力、用户权限管理、隐私保护等保三级超20项安全功能，兼具开源大数据与托管数据库的安全能力。产品架构 MaxCompute的产品架构如下。其中核心模块...
应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
快速体验
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
查看混合云专线流量
杭州地域某企业的业务A和业务B分别属于两个部门，且共用物理专线与本地数据中心IDC相连。IT部门需查看这两个业务流量对物理专线资源的占用情况。准备工作 在阿里云华东1（杭州）地域，业务A部门使用 账号-1 部署了名称为 VPC-业务A 的VPC；...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
什么是备份数据量
与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（OSS）。综上所述，您可通过调整...
DTS通过物理专线访问本地IDC数据库
本文为您介绍数据传输服务DTS（Data Transmission Service）如何通过物理专线访问同地域下本地IDC（Internet Data Center）的自建数据库，实现阿里云关系型数据库RDS（Relational Database Service）与本地IDC数据库之间的数据同步、迁移...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
从Amazon RDS for PostgreSQL全量迁移至阿里云
说明 阿里云RDS PostgreSQL的数据库大版本建议与Amazon RDS for PostgreSQL实例的大版本保持一致，如需跨版本迁移，请创建一个按量付费的实例以验证兼容性。阿里云RDS PostgreSQL的存储空间，须大于Amazon RDS for PostgreSQL中待迁移数据...
从Amazon RDS for PostgreSQL增量迁移至阿里云
说明 阿里云RDS PostgreSQL的数据库大版本建议与Amazon RDS for PostgreSQL实例的大版本保持一致，如需跨版本迁移，请创建一个按量付费的实例以验证兼容性。阿里云RDS PostgreSQL的存储空间，须大于Amazon RDS for PostgreSQL中待迁移数据...
本地IDC通过专线访问云服务器ECS
您已经了解VPC中ECS实例所应用的安全组规则，并确保安全组规则允许本地IDC与云上ECS实例互相访问。具体操作，请参见 查询安全组规则 和 添加安全组规则。您已经创建了云企业网。具体操作，请参见 创建云企业网实例。您已经在VPC实例所在...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
PostgreSQL数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统，对外可以...
大数据安全治理的难点
大数据体系的特点与安全治理难点 由于大数据系统在“存储、用户、入口、流转、交付”等多方面的特点，想要回答好上述问题，存在诸多难点。存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）...
什么是DataWorks
获奖经历 IDC：大数据平台公共云市场份额中国第一 Forrester：全球云数据仓库卓越表现者象限，国内唯一 中国信通院：首个通过577项技术要求的数据平台整体解决方案评测 中国电子学会科技进步特等奖 中国国际软件博览会金奖 浙江省科技进步...
发展历程
2021年 IDC发布《IDC MarketScape：中国政务大数据管理平台市场厂商评估2021》报告，阿里云位居行业领导者位置，产品能力居中国第一。以MaxCompute为核心代表的阿里云数仓进入 Forrester Wave 2021 Q1云数据仓库卓越表现者象限，成为入选...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
基于多云和混合云场景下的资源监控
中大型的企业上云后，通常都不会把所有业务与资源都构建在某一朵云上，多云和混合云的模式可能是不少企业上云的终态。在多云和混合云环境中，数据分散在多个云平台和本地数据中心，汇总和整合这些数据以供监控和分析无疑是摆在企业面前无法...
分支机构与IDC通过云企业网实现互通
如果您希望IDC与分支1互通，您可以通过路由策略建立IDC与分支1间的互通关系。步骤一：设置允许IDC访问分支1的路由策略 完成以下操作，设置允许IDC访问分支1的路由策略。登录 云企业网管理控制台。在左侧导航栏，单击 云企业网实例。在 云...
分支机构与IDC通过云企业网实现互通
如果您希望IDC与分支1互通，您可以通过路由策略建立IDC与分支1间的互通关系。步骤一：设置允许IDC访问分支1的路由策略 完成以下操作，设置允许IDC访问分支1的路由策略。登录 云企业网管理控制台。在 云企业网实例 页面，找到目标云企业网...
混合云IDC自有K8s弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8s利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。解决问题 在混合云环境下，将自有K8s集群注册至ACK，实现云端纳管。纳管K8s集群部署Virtual Node，使集群具备...
升级数据库大版本
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
通过物理专线就近接入阿里云实现云上云下资源互通
高速通道物理专线可以在本地IDC（Internet Data Center）和阿里云之间建立高质量、高可靠的内网通信通道，帮您实现本地IDC与阿里云各地域专有网络VPC（Virtual Private Cloud）之间的内网互通。功能概述 您可以通过以下两个功能模块，将...
DB2数据源
由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会导致备库同步恢复的数据不是一份当前时间的完整镜像，与主库有较大差别。一致性约束 DB2在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如，一次同步...
SQL Server数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 SQL Server在数据存储划分中属于RDBMS系统，对外可以...
MongoDB 4.0
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
不同IDC间通过云企业网实现互通
前提条件 配置路由策略前，请确保满足以下条件：您已经通过专线将本地IDC与阿里云连接。详细信息，请参见 创建独享专线连接。您已经创建了云企业网实例，并将需要互通的网络实例加载到云企业网实例中。详细信息，请参见 创建云企业网实例 ...
不同IDC间通过云企业网实现互通
您已经通过专线将本地IDC与阿里云连接。详细信息，请参见 创建和管理独享专线连接。您已经创建了云企业网实例，并将需要互通的网络实例加载到云企业网实例中。详细信息，请参见 云企业网实例 和 网络实例连接。您已经购买了带宽包并设置了...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 TDengine 不...
本地IDC通过专线访问跨账号跨地域的VPC
您已经了解VPC中ECS实例所应用的安全组规则，并确保安全组规则允许本地IDC与云上ECS实例互相访问。具体操作，请参见 查询安全组规则 和 添加安全组规则。配置流程 步骤一：申请物理专线端口并完成专线接入 您可以通过登录阿里云账号A的高速...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
- 产品推荐
- 这些文档可能帮助您