大数据下云计算-大数据下云计算文档介绍内容-阿里云

普通集成

企业服务 大数据搜索与分析日志服务 大数据计算 云原生大数据计算服务 大数据（数加）Data Lake Analytics Databricks数据洞察 Elasticsearch Elasticsearch Serverless服务 Quick BI 实时数仓 Hologres 数据湖构建存储服务网盘与相册...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

授权信息

资源类型资源ARN Quota acs:odps:{#regionId}:{#accountId}:quota/{#NickName} Project acs:odps:{#regionId}:{#accountId}:projects/{#ProjectName} 条件（Condition）下表是云原生大数据计算服务 MaxCompute（MaxCompute）定义的产品级...

金融云产品列表

云安全中心部署部署部署部署 Web应用防火墙 WAF 部署部署部署部署云原生大数据计算服务MaxCompute 无部署部署无 大数据开发治理平台 DataWorks 无部署部署无 DataV数据可视化无无部署无机器学习PAI 无无部署无视频...

实验介绍

云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见开通MaxCompute。云数据库RDS MySQL版本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...

开通MaxCompute和DataWorks

角色用途：用于授权MaxCompute访问大数据计算平台其他云产品，如Hologres等。绑定的角色策略：AliyunServiceRolePolicyForMaxComputeIdentityMgmt 权限策略详情：{"Statement":[{"Effect":"Allow","Action":"odps:ActOnBehalfOfAUser",...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景当...

客户案例

MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，...在混合云架构下，机密数据在专有云内完成，云端的大规模数据的计算则通过MaxCompute完成，定位数据的播发在公共云上完成。

应用场景

数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

操作审计事件数据迁移至MaxCompute

参数描述 大数据计算服务地域被投递数据的MaxCompute项目所在地域。说明操作审计会将审计日志投递至MaxCompute指定地域下的actiontrail_<阿里云账号ID>项目中。因为同一阿里云账号下MaxCompute项目名称唯一，若账号下已有actiontrail_...

新建Spark Batch类型的公共节点

Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...

变更磁盘存储类型

下表为不同计算节点数量、不同存储空间大小、不同数据量场景下的参考数据。计算节点数量存储空间（单位：GB）数据量（单位：GB）变配耗时（单位：小时）4 50 10 1.5 4 500 3 8 5.5 4 1500 15.5 4 500 100 4.5 费用说明阿里云会根据变更后...

基于混合负载的查询优化

Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...

新建Flink SQL类型的公共节点

Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...

新建Flink Vvp SQL类型的公共节点

Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...

Pandas API支持

MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...

功能简介

支持MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL多种云计算资源进行物理表数据预览，可快速对各类数据资源下的物理表的数据内容进行查看。当云计算资源为AnalyticDB PostgreSQL时，支持对视图进行数据预览。支持对物理表字...

升级和降配

在变配页面，配置升级后所需的CU数量，并勾选 大数据计算服务MaxCompute服务等级协议和阿里云产品服务协议-MaxCompute，单击立即购买。订单价格计算规则如下：升级订单价格计算=新配置剩余时长购买金额（新配置的月单价/30/24×剩余时...

云计算资源类型

云计算资源是数据资源平台中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...

PolarDB Serverless实现了哪些突破

在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...

新建集群

23.8 样例测试数据云数据库ClickHouse 企业版集群支持导入的样例测试数据分别为cell tower、NewYorkTaxi和UK Prorperty Price Paid。默认选择不导入任何样例数据。不导入任何样例数据计算单元（CCU）最大值集群计算单元（CCU）的最大值...

HDFS云原生上云方案

Lindorm文件引擎是面向海量非结构化数据的分布式文件存储服务，具有弹性、低成本的优势，提供100%的HDFS协议和使用体验，支持企业大数据中的HDFS无缝平滑上云，构建云原生时代的存储计算分离的大数据架构。方案总览方案优势简单：...

基本概念

本文将向您介绍 云数据库ClickHouse 产品中涉及的一些基本名词概念，以便于您更好地理解 云数据库ClickHouse 产品。地域（Region）购买 云数据库ClickHouse 的服务器所处地理位置。您需要在购买 云数据库ClickHouse 服务时指定Region，...

获取物理表

数据同步支持获取、更新当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。本文介绍如何在数据同步中获取物理表。前提条件已准备好相应的数据源，具体操作，请参见新建数据源。操作步骤登录企业数据智能平台...

外部表概述

随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...

云计算资源类型

数据服务API 数据服务API支持的云计算资源类型为：ApsaraDB for RDS、ApsaraDB for RDS VPC、AnalyticDB MySQL、AnalyticDB MySQL 2.0、AnalyticDB PostgreSQL、MaxCompute、DataHub、Table Store、Object Storage Service、RocketMQ、...

2023年

新增项目停止自动安装项目级别Information Schema 尊敬的MaxCompute用户：感谢您对云原生大数据计算服务MaxCompute的支持，MaxCompoute于北京时间2023年08月01日全面开放了租户级别的Information Schema，支持一次性查询租户下所有项目的...

产品架构

计算与存储分离 PolarDB 采用计算与存储分离的设计理念，满足公共云计算环境下根据业务发展弹性扩展集群的刚性需求。数据库的计算节点（Database Engine Server）仅存储元数据，而将数据文件、Redo Log等存储于远端的存储节点（Database ...

产品架构

计算与存储分离 PolarDB 采用计算与存储分离的设计理念，满足公共云计算环境下根据业务发展弹性扩展集群的刚性需求。数据库的计算节点（Database Engine Server）仅存储元数据，而将数据文件、Redo Log等存储于远端的存储节点（Database ...

产品概述

存储节点（Data Node，DN），主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供计算下推能力满足分布式的计算下推要求（比如Project/Filter/Join/Agg等下推计算），可支持本地盘和共享...

支持的云服务

AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...

使用SQL模式创建数据服务API

数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，减少资源操作成本。SQL模式创建数据服务API适用于多表关联、复杂筛选过滤的查询，通过编写SQL代码的方式完成API封装。本文介绍如何用SQL模式创建...

连接集群

云数据库ClickHouse 支持通过DMS（Data Management Service）、ClickHouse命令行工具或其它客户端（DataGrip、DBeaver）连接 云数据库ClickHouse 集群。本文介绍如何通过DMS连接 云数据库ClickHouse 集群。背景信息 DMS是阿里云提供的图形...

通过DMS连接ClickHouse

本文介绍如何通过数据管理服务DMS（Data Management Service）连接 云数据库ClickHouse 集群并对数据进行在线管理。背景信息 DMS是阿里云提供的图形化数据管理工具，可用于管理关系型数据库和NoSQL数据库，支持数据管理、SQL操作、数据方案...

DMS数据可视化

云数据库 SelectDB 版采用MySQL网络连接协议，支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接 云数据库 SelectDB 版实例。本文介绍如何通过DMS（Data Management Service）连接云数据库 SelectDB 版实例。背景信息 DMS...

通过DMS连接云数据库SelectDB版实例

云数据库 SelectDB 版采用MySQL网络连接协议，支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接 云数据库 SelectDB 版实例。本文介绍如何通过DMS（Data Management Service）连接云数据库 SelectDB 版实例。背景信息 DMS...

云产品集成

常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现前提条件已获取 OceanBase 数据库的基本连接信息，详细步骤请参见获取连接参数。大数据开发治理平台 ...

云计算资源类型

云计算资源是企业数据智能平台中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...

使用向导模式创建数据服务API

数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，可减少资源操作成本。向导模式适用于单表的简单查询，零代码通过界面化的设置完成API的封装。本文介绍如何使用向导模式创建数据API。前提条件已...

大数据下云计算

新品推荐