大数据及云计算-大数据及云计算文档介绍内容-阿里云

新建工作组

后续操作通过添加云计算资源，为使用企业数据智能平台做数据支撑。以RDS MySQL资源为例，更多信息，请参见新建云计算资源。通过成员管理功能，对工作组实现账号和角色权限控制。更多信息，请参见工作组成员管理。通过全局变量功能，可...

云计算资源类型

云计算资源是企业数据智能平台中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...

新建云计算资源

支持新建多种类型的数据源，为使用企业数据智能平台做数据支撑。本文介绍如何新建云计算资源。...重要删除云计算资源将造成数据无法访问，导致该云计算资源中存储的已授权物理表、标签、数据服务API等无法使用或加工任务异常，请谨慎操作。

云计算资源类型

云计算资源是企业数据智能平台中数据建模使用的基础，通过了解数据建模支持的云计算资源类型，并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源，以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中...

云计算资源类型

云计算资源是企业数据智能平台中通用资源使用的基础，通过了解通用资源支持的云计算资源类型，并在系统设置模块添加通用资源需要使用的云计算资源类型对应资源，以备在新建函数资源、自定义函数并物理化以及新建数据基础库并物理化时使用...

新建云计算资源

支持新建多种类型的数据源，为使用数据资源平台做数据支撑。本文介绍如何新建云计算资源。...重要删除云计算资源将造成数据无法访问，导致该云计算资源中存储的已授权物理表、标签、数据服务API等无法使用或加工任务异常，请谨慎操作。

输入节点

运行配置运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数说明 云计算资源类型节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...

新建云计算资源

添加云计算资源为使用数据资源平台做数据支撑。以新建ApsaraDB for RDS和MaxCompute云计算资源为例，介绍如何新建云计算资源。前提条件您已经购买ApsaraDB for RDS云计算资源，并完成RDS快速入门，具体操作，请参见 RDS快速入门。您已经...

云计算资源类型

了解数据查询支持的云计算资源类型，以便后续参考使用。本文介绍数据查询支持的云计算资源。目前支持的云计算资源类型：MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、Hive、...

云计算资源类型

云计算资源是企业数据智能平台资产管理的基础，了解运营支持的云计算资源类型，以备在系统设置模块添加对应资源。本文介绍运营模块支持的云计算资源类型。表资产支持的云计算资源类型：MaxCompute、DataHub、Hive、RDS MySQL、...

基于Flink的资讯场景实时数仓

实时计算实时计算（Alibaba Cloud Realtime Compute）是阿里云提供的基于Apache Flink构建的企业级大数据计算平台。在PB级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处理流程和行业解决方案；支持Datastream API作业...

操作审计事件数据迁移至MaxCompute

参数描述 大数据计算服务地域被投递数据的MaxCompute项目所在地域。说明操作审计会将审计日志投递至MaxCompute指定地域下的actiontrail_<阿里云账号ID>项目中。因为同一阿里云账号下MaxCompute项目名称唯一，若账号下已有actiontrail_...

云计算资源类型

通过了解数据开发支持的云计算资源类型，并在系统设置模块添加数据开发需要使用的云计算资源类型对应资源，以备在运行离线节点或者部署运行测试场景和线上场景时使用。本文介绍数据开发中支持使用的云计算资源类型。节点模式支持的云计算...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...

云计算资源类型

了解数据同步支持的云计算资源类型，以便后续参考使用。本文介绍数据同步支持的云计算资源。单表任务链路目前系统支持的任务链路如下表所示。说明对号（√）代表支持，其他则为不支持。目标端支持版本与源端一致。批量任务链路目前系统...

数据分析整体趋势

存储计算分离：云计算的本质是资源高效池化，而数据库的两大核心组件是存储和计算。通过存储计算分离，做到两者解耦，资源池化，独立扩展，满足业务上资源隔离，数据共享的需求，是当下的架构趋势。计算分析一体化：传统数据分析方案是定期...

使用限制

云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集架构或分片集群架构）使用MongoShake实现MongoDB副本集间的单向同步使用MongoShake实现MongoDB实例间的延迟同步分片集群实例功能约束实例部署目前不是所有地域和可用...

计算巢按量付费服务云市场上报数据说明

计算巢服务上架云市场且设置为按量付费后，需要上报服务实例资源或数据以便云市场计算费用。本文介绍如何上报数据和修改数据的上报方式。背景信息数据上报是指计算巢将云市场购买的计算巢服务实例中使用的资源数据推送至云市场，云市场在...

什么是云数据库HBase

云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...

云计算资源类型

通过了解质量评估支持的云计算资源类型，并在系统设置模块添加质量评估需要使用的云计算资源类型对应资源，以备在运行质量检测计划时使用。本文介绍质量评估模块支持的云计算资源类型。质量规则支持的云计算资源类型：MaxCompute Hive ...

物理化数据字典

通过物理化数据字典，可以将数据字典物理化到云计算资源生成物理表，保证设置的数据质量规则在云计算资源中生效。本文介绍如何物理化数据字典。前提条件已创建或者导入数据字典，具体操作，请参见新建数据字典和导入数据字典。已创建...

资源包

为了更好地帮助您节省成本，云数据库 ClickHouse 企业版推出了计算资源包和存储资源包，用于抵扣企业版集群的资源消耗。资源包概述项目计算资源包存储资源包抵扣对象 云数据库 ClickHouse 企业版计算资源。云数据库 ClickHouse 企业...

操作流程

数据服务API：数据API是一种由云计算资源中的数据通过参数配置生成API的API类型，生成API后可以方便后续调用，减少资源操作成本。上线API 通过上线API操作才能使API被调用。服务调用流程（工作组内）及说明流程图流程说明流程说明 API...

就绪检测节点

运行属性运行属性用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数说明 云计算资源类型节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构数据模型指代您已经在云资源中创建的物理表。...

计费项

本文介绍云数据库MongoDB的计费项。说明具体价格信息，请参见价格计算器。云数据库MongoDB计费组成如下。单节点实例副本集实例分片集群实例 Serverless实例计费项单节点实例副本集实例分片集群实例 Serverless实例实例规格存储...

发展历程

2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换开源体系。2015~2018年，平台开始日趋成熟，ODPS更名为MaxCompute。单集群已过万台，...

批量或异步插入数据

异步插入数据云数据库ClickHouse适合大批次的数据写入方式，这样可以节省计算周期和磁盘I/O，节省成本。在client端常用的写入方式为批量写入，如果想在ClickHouse Server侧支持批量写入，可以使用异步插入模式。启动异步写入方式需要启用 ...

Serverless Spark概述

DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版湖仓...

基于混合负载的查询优化

Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...

简介

系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

RDS与自建数据库对比优势

比云计算硬件更新速度慢，性能一般都会低于云数据库。难以实现计算和存储分离，若使用高端存储实现计算和存储分离，动辄需要数千万支出。实现集群系列的难度较高，咨询成本较高，维护成本极高。依赖资深DBA，支出大，受制于人。安全事前...

规格及选型

8C32G ESSD云盘 PL1 16C64G ESSD云盘 PL2 表 2.Serverless 实例系列调度模式节点规格/计算资源阈值（ACU）存储磁盘类型适配场景高可用手动调度 4C16G 共享存储新产品形态，支持秒级变配、按需存储及数据共享。适合如下场景：业务负载...

计算费用（按量付费）

标准SQL作业（指使用按量付费标准版计算配额的SQL作业）SQL作业当日总费用=计算输入数据量×SQL复杂度×单价单日计算量小于100 TB（包含）时，单价如下：公共云：0.3元/GB 金融云：0.57元/GB 说明单日计算量大小=计算输入数据量×SQL复杂...

引擎简介

与多模引擎共享存储，LindormDFS支撑，充分利用了对象存储的低成本与高可靠、块存储的高性能等优势，并通过高低速分层存储、副本共享去重、智能冷热转存等技术，面向用户提供弹性低成本、100%HDFS协议兼容的云原生大数据存储能力，可使用...

快照原理

然后继续写入10 GB数据，云盘容量仍然是40 GB，但此时快照总容量就是30 GB，以此类推。您可以通过快照链查看快照容量的大小。具体操作，请参见根据快照链查看快照容量。如下图所示，①是云盘容量大小，②是当前云盘包含的所有快照容量大小...

常见术语

云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...

什么是云原生数据湖分析

云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...

通过实时计算Flink读写云原生数据仓库AnalyticDB ...

云原生数据仓库AnalyticDB PostgreSQL版支持通过实时计算Flink读写数据。本文介绍如何通过Flink写入数据到 AnalyticDB PostgreSQL版及读取 AnalyticDB PostgreSQL版数据。通过实时计算Flink版写入数据到AnalyticDB PostgreSQL版具体...

云数据库RDS简介

通过数据集成服务，可将RDS数据导入MaxCompute，实现大规模的数据计算 DTS 您可以使用数据传输服务DTS将本地数据库迁移到云上的RDS，以及实现RDS的异地容灾。OSS 对象存储服务OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务。...

大数据及云计算

新品推荐