Tunnel操作

MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中,以追加...

UDT示例

聚合操作 UDT实现聚合的原理是,先用内建函数 COLLECT_SET 或 COLLECT_LIST 将数据转变成List,之后对该List应用UDT的标量方法计算数据的聚合值。示例如下,计算BigInteger的中位数(由于数据是 java.math.BigInteger 类型的,所以不能直接...

客户案例

客户需求 海量数据处理效率下降,离线数据计算时长不稳定。实时计算不开发维护代价,希望对数仓进行综合治理。价值体现 基于飞天数据平台产品,快狗打车不仅机器成本节约30%以上,数据开发效率提升100%。从Java Storm迁移到Flink SQL使...

ECS资源复用版

ECS资源复用版是MaxCompute按量付费类型中的...则04:00~05:00的账单详情(部分字段)示例如下:产品 产品明细 消费时间 实例ID 计费项code 单价 用量 官网价 云原生大数据计算服务 MaxCompute 大数据计算服务MaxCompute(按量付费)2023-12-30...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

数据分析整体趋势

近些年来,随着业务数据量的增多,企业需要能够对数据进行分析,助力商业决策,更好地发挥数据价值,而传统开源及商业关系型数据库通常为单机版,在海量数据分析场景下扩展能力有限,性能无法满足需求。以Teradata,Oracle Exadata为代表的...

资源抵扣包

选择此规格的计算抵扣包可以为您节省计算费用为 3090-(1615+59)=1416 元(按首次购买3000资源抵扣包计算)。抵扣量查看及预警 查看使用明细 购买资源抵扣包后,您可以在用户中心查看资源包的使用详情,并确认剩余额度。进入阿里云管理控制...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架,提供了一套兼容MaxCompute计算资源及数据接口的Python生态环境。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。背景信息 为满足用户基于MaxCompute进行规模数据处理、分析及数据挖掘的...

应用场景

本文将以部门场景和技术领域场景为例,为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎,Flink可以广泛应用于实时数据处理领域,例如ECS...

基于混合负载的查询优化

Batch模式:采用批计算架构,通过DAG进行任务切分,分批调度,满足有限资源下大数据计算,支持计算数据落盘,适用于计算,吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...

Pandas API支持

MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作,本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...

内置时空数据引擎Ganos

PolarDB PostgreSQL版(兼容Oracle)内置了时空数据库引擎Ganos,可对空间/时空数据进行高效的存储、索引、查询和分析计算。从静态POI(兴趣点)到APP位置信息,从电子地图到移动对象轨迹,从卫星遥感到泛在物联网,空间和时空信息已成为...

ECS实例说明

大数据型 使用本地SATA盘作存储数据,存储性价比高,是大数据量(TB级别的数据量)场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点;Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...

计算设置概述

计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink,支持...

技术架构选型

数据模型设计之前,您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};

数据中心

数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...

产品简介

多方安全建模控制台作为多方安全建模的可视化操作平台,提供了一站式端到端的数据安全计算服务,服务包括安全计算环境安装、数据连接、数据探查、数据分析、模型研发、模型投产和模型监控,同时可根据您的业务需求配置安全策略。...

应用场景

云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力,为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景:实时数...

访问数据库

本文介绍函数计算访问VPC内数据库的机制,并提供访问数据库的示例。访问机制 在函数计算中,运行函数的实例由函数计算动态分配,IP地址不固定,因此无法通过添加函数实例的IP地址到数据库白名单的方式来访问数据库。此外,基于最小权限原则...

使用函数计算对日志进行ETL处理

本文介绍如何使用阿里云日志服务接入电商系统Web服务器,并在函数计算中编写ETL托管程序,对日志服务中的数据进行处理,然后通过日志服务的仪表盘进行可视化展示。ETL托管程序通过日志服务触发器以秒级准实时的频率被调用。应用场景 数据...

羲和分析计算引擎

相对于传统的以数据为中心的计算方式,面向算子为中心的计算方式对现代CPU计算更友好:缓存友好的同时,利用乱序执行扩大了CPU的指令并发,利用SIMD又扩大CPU的数据并发,充分挖掘了现代CPU的算力。面向混合负载的查询执行 羲和分析计算...

云产品集成

您可以使用 DMS 录入云数据库 OceanBase 的数据,通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。什么是数据管理DMS 支持的数据库...

升级和降配

在 变配 页面,配置升级后所需的CU数量,并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute,单击 立即购买。订单价格计算规则如下:升级订单价格计算=新配置剩余时长购买金额(新配置的月单价/30/24×剩余时...

数据质量保障原则

不同行业有不同的评估数据质量的标准。对于MaxCompute,数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整,是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...

设备上云数据筛选

本文以使用官方示例驱动的LightSensor设备为例,讲述如何筛选设备上报到云端的数据。前提条件 请您确保已完成边缘实例的创建。具体操作步骤,请参见 专业版环境搭建 或 标准版环境搭建。创建光照度传感器产品以及该产品下的LightSensor设备...

全球数据库最佳实践

(可选)购买固定规格计算包 若创建主集群或从集群时选择付费方式为 按量付费,您还可以购买固定规格计算包来抵扣按量付费集群的计算节点费用。购买固定规格计算包后,按量付费 集群的计算节点费用将由固定规格计算包自动抵扣费用,更加...

HASH

使用示例 示例1:计算相同数据类型的输入参数的Hash值。命令示例如下。返回66。select hash(0,2,4);示例2:计算不同数据类型的输入参数的Hash值。命令示例如下。返回97。select hash(0,'a');示例3:任一输入参数为空或NULL。命令示例如下。...

基本概念

本文列出了蚂蚁隐私计算服务平台涉及的基本概念,以便于您更好地理解产品。安全配置 安全配置全称为授权安全配置,离线样本被授权到多方安全分析项目后,数据所有方在项目中按照安全级别对数据进行分列、分级的配置。数据的安全性越高,对...

就绪检测节点

在场景运行开始时,就绪检测节点可检测数据源是否符合设定的条件,如果不符合,则无法继续运行场景。本文介绍就绪检测节点的配置参数说明。节点属性 节点属性 界面关键参数说明如下:参数 说明 节点名称 节点的名称。节点标识 节点的唯一...

就绪检测节点

在场景运行开始时,就绪检测节点可检测数据源是否符合设定的条件,如果不符合,则无法继续运行场景。本文介绍就绪检测节点的配置参数说明。节点属性 节点属性 界面关键参数说明如下:参数 说明 节点名称 节点的名称。节点标识 节点的唯一...

存储费用

MaxCompute会对存储的数据(例如表或资源)及备份的数据,按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右,因此多数情况下,您上传的数据文件大小与实际存储在MaxCompute的大小...

应用场景

本文介绍函数计算的典型应用场景,包括Web应用、数据ETL处理、AI推理、视频转码等。Web应用 函数计算和其他云产品搭配使用,可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行,不...

应用场景

本文介绍函数计算的典型应用场景,包括Web应用、数据ETL处理、AI推理、视频转码等。Web应用 函数计算和其他云产品搭配使用,可以让工程师只需编写业务代码即能够快速构建可弹性扩展的Web应用。同时这些程序可在多个数据中心高可用运行,不...

数据组织优化

Compaction服务通过消除记录中间历史状态,可节省计算和存储成本,极加速全量快照查询场景的效率,但也不是频率越高越好,首先执行一次也要读取一遍全量数据进行Merge,极消耗计算和IO资源,并且生成的新BaseFile也会占据额外的存储...

数据库访问失败的常见原因

本文介绍函数计算访问数据库失败的常见原因。常见原因排查 数据库连接偶现失败 如果您访问数据库偶现失败,可按照以下步骤进行原因排查。数据库断开连接时,是否使用 destroy()替换 end()使用。由于函数实例在空闲2~5分钟左右后,会自动...

PyODPS概述

PyODPS提供了 to_pandas 接口,可以直接将MaxCompute数据转化成Pandas DataFrame数据结构,但这个接口只应该被用于获取小规模数据做本地开发调试使用,而不是用来规模处理数据,因为使用这个接口会触发下载行为,将位于MaxCompute中的...

应用场景

双11使用场景 每年一度的双11购物狂欢节,数据库自治服务DAS以持续的创新为之保驾护航,同时也在延续它一次次华美的蜕变。从最初面向DBA的工具化辅助诊断,到Self-driving Platform理念提出,开始孵化和锤炼数据库自治能力,随后DAS自治...

计算费用(包年包月)

如果您的任务量较稳定,建议对于消耗资源较少的任务购买包年包月预留计算资源,资源较的任务购买按I/O按量计费资源,这样可以保证任务运行时一直有CU资源。包月标准版和包年包月套餐版规格详情,请参见 包年包月标准版 和 包年包月套餐版...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...

挂载NAS

1.背景 绝部分计算模型下,客户数据直接存储于云端 NAS 里。为了方便客户读写云端计算数据,批量计算根据用户提供的挂载信息,自动将 NAS 的挂载点挂载到本地目录。完成 NAS 挂载后,对挂载目录里数据的读写行为将和读写本地数据完全相同...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据传输服务 云服务器 ECS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用