外部表概述

随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力,正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...

金融大数据

数据仓库充分利用了阿里数据产品强大的数据处理能力和数据计算能力。架构优势:合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明:阿里数据数据仓库解决方案经历...

准备环境

实名认证,详情请参见 个人实名认证 背景信息 本次实验涉及的阿里云产品如下:大数据计算服务 MaxCompute 数据工场 DataWorks 人工智能平台 PAI MaxCompute DataWorks PAI 开通大数据计算服务MaxCompute 说明 如果您已经开通MaxCompute,请...

计算设置概述

计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink,支持...

什么是物联网边缘计算

物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频等能力,打造出云边端三位一体的计算体系。功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件,是一个边缘实例业务的核心,提供整个边缘实例所需要的...

计费常见问题

SQL作业的费用计算方式为 输入数据量×复杂度×单价,因此在复杂度和单价不变情况下,输入数据量越费用越高。MaxCompute作业跑失败了会收费吗?MaxCompute有两种计费模式:按量计费:如果作业是按照按量计费进行运行的,当运行失败后,...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

选择付费方式

对周期性高密度计算作业使用包年包月模式,对非周期性的规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据,通过读取其它账号下的表获取数据,从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现,详细请...

创建单账号跟踪

说明 创建跟踪首次投递到大数据计算服务时,需要选择大数据计算服务的配额,若当前地域下无可配额,请选择其他大数据计算服务地域。选择 投递到其他账号,设置 大数据计算服务ARN 和 大数据计算服务写入角色ARN。选择投递到其他账号时...

通过选择已有表新建数据

数据源中引入业务所需的数据集,以便在模型画布中编辑业务模型时使用数据集。本文介绍如何通过选择已有表新建数据集。前提条件 已创建云计算资源,并通过查看云计算资源的物理表更新缓存表。具体操作,请参见 新建计算资源。背景信息 ...

什么是数据管理DMS

DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。视频介绍 功能特性 详情信息,请参见 功能概览。为什么选择数据管理DMS 全域数据...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎(例如Flink、Spark、Hive或Trino)都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务,并接入上述计算引擎实现数据湖的分析...

开发Dataphin数据源并加速数据查询

开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源,同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源,以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...

开发Dataphin数据源并加速数据查询

开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源,同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源,以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...

什么是阿里云实时计算Flink版

阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...

快速入门

如果您初次使用阿里云关系型数据库RDS,请参见快速入门系列文档,帮助您快速上手RDS。MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍:云数据库RDS MySQL MySQL是全球受...

从Amazon RDS for PostgreSQL增量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

从Amazon RDS for PostgreSQL全量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

授权信息

以下仅列举产品级的条件关键字,阿里云定义的 通用条件关键字 也同样适用 云原生大数据计算服务 MaxCompute(MaxCompute)。其中,数据类型决定了您可以使用哪些条件运算符将请求中的值与权限策略语句中的值进行比较。您必须使用与数据类型...

什么是DataWorks

DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始,DataWorks与阿里巴巴业务共同发展,结合MaxCompute、Hologres等大数据计算引擎的能力,跨越多个技术阶段,支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...

阿里云账号实现数据传输

数据库实例 阿里数据库 自建数据库 源库 RDS MySQL、RDS MariaDB、RDS PostgreSQL、PolarDB-X 1.0、PolarDB-X 2.0、PolarDB PostgreSQL版、PolarDB PostgreSQL版(兼容Oracle)、PolarDB MySQL版、云数据库Redis、云原生内存数据库Tair、...

使用MongoDB工具将腾讯云MongoDB迁移至阿里

使用MongoDB数据库自带的备份还原工具mongodump和mongorestore,您可以将腾讯云MongoDB副本集实例全...根据业务需求选择合适的时间,将业务切换至阿里云MongoDB实例中。如何连接阿里云MongoDB数据库 副本集实例连接说明 分片集群实例连接说明

从Amazon RDS for PostgreSQL增量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

从Amazon RDS for PostgreSQL全量迁移至阿里

注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

阿里云账号任务如何配置RAM授权

数据库实例 阿里数据库 自建数据库 源库 RDS MySQL、RDS MariaDB、RDS PostgreSQL、PolarDB-X 1.0、PolarDB-X 2.0、PolarDB PostgreSQL版、PolarDB PostgreSQL版(兼容Oracle)、PolarDB MySQL版、云数据库Redis、云原生内存数据库Tair、...

升级和降配

在 变配 页面,配置升级后所需的CU数量,并勾选 大数据计算服务MaxCompute服务等级协议 和 阿里云产品服务协议-MaxCompute,单击 立即购买。订单价格计算规则如下:升级订单价格计算=新配置剩余时长购买金额(新配置的月单价/30/24×剩余时...

管理Paimon Catalog

目前阿里云开源大数据平台E-MapReduce常见的计算引擎(例如Flink、Spark、Hive或Trino)都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务,并接入上述计算引擎实现数据湖的分析...

DataWorks交流钉钉群

DataWorks作为阿里数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系,同时提供优质高效的交流服务,本文为您介绍...

Pandas API支持

MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作,本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...

阿里云账号迁移RDS实例

如果源或目标数据库是阿里数据库实例(例如 RDS MySQL、云数据库MongoDB版 等),DTS会自动将对应地区DTS服务的IP地址添加到阿里数据库实例的白名单;如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到...

Logview诊断实践

比如:某些UDF在内存计算、排序的数据量比较时,会报内存溢出错误。内存不足引起gc频率过高。这时可以尝试调整内存参数,不过此方法只能暂时缓解,具体的优化还是需要从业务上去处理。示例如下:set odps.sql.udf.jvm.memory=-设定UDF ...

什么是边缘流数据分析

数据分析是一种使用流的方法快速实时处理数据计算方式。边缘计算中的流数据分析,继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务,并将该任务下发到边缘端,通过边缘设备实时运行。运行结果可以存储在边缘端...

将多个阿里云账号的事件投递到同一账号

在 审计事件投递 区域,设置将跟踪分别投递到日志服务SLS、对象存储OSS或大数据计算服务MaxCompute,或者同时进行投递。关于如何选择存储服务,请参见 将事件持续投递到指定服务。选择 将事件投递到日志服务SLS,然后选择 投递到其他账号,...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库,支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业,推荐您使用SQL查询或DataWorks的临时查询等工具,高效便捷地完成数据分析...

PyODPS概述

整个流程中,下载上传数据消耗了大量的时间,并且在执行脚本的机器上需要很大的内存处理所有的数据,特别是对于使用DataWorks节点的用户来说,很容易因为超过默认分配的内存值而导致OOM运行报错。高效处理代码demo from odps.df import ...

Paimon外部表

阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎(如Spark、Hive或Trino)都与Paimon有完善的集成。借助Apache Paimon,您可以快速构建自己的数据湖存储服务在存储服务OSS上,并接入MaxCompute实现数据湖的分析。关于...

教程概述

本案例使用阿里云DTS将您的增量数据同步到DataHub上,再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算,并将结果插入到RDS数据库中,最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导,业务场景和数据与实际情况会有...

阿里云MaxCompute数据

概述 云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据...

常见问题

1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好:如果您准备购买阿里大数据专家服务,但是遇到如服务范围、规格、服务选择等售前方面的问题,您可以通过钉钉与我们联系,您将“当面”获得阿里大数据专家咨询专家的建议。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据传输服务 实时计算 Flink版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用