[帮助文档] 基于MaxFrame实现大模型(LLM)数据处理

随着人工智能的发展,许多业务和数据分析可以基于大语言模型(LLM)进行广泛的应用,而数据处理是LLM开发尤为重要的一环,数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源,MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础,而MaxFrame分布式计算...

[帮助文档] 基于MaxFrame实现分布式Pandas处理

MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据,通过MaxFrame,您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。

阿里云大数据工程师ACA认证(2023版)

21 课时 |
807 人已学 |
免费

基于MaxCompute的热门话题分析

8 课时 |
329 人已学 |
免费

独家揭秘当下大数据体系

4 课时 |
331 人已学 |
免费
开发者课程背景图

[帮助文档] MaxCompute租户信息

您可以在租户属性页面进行租户级别的操作,包括查看租户ID,用于进行租户级别的资源授权;开启租户级Schema,使租户下所有项目自动开启Schema。项目开启Schema后,所有表(Table)、资源(Resource)和函数(Function)都按照Schema进行组织和隔离。此外,如果第三方引擎需...

[帮助文档] MaxFrame快速入门

本文以具体数据及开发场景为例,为您介绍在DataWorks数据开发的PyODPS 3节点中,如何创建和操作MaxFrame中的DataFrame对象,以及使用DataFrame完成基本的数据处理,帮助您在十分钟内快速使用MaxFrame进行开发。

[帮助文档] 通过MaxCompute控制台上传数据

MaxCompute控制台提供数据上传功能,支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线(非实时)上传至MaxCompute进行分析处理及相关管理操作。

大数据计算MaxCompute可以优化的部分是不是就只有打包这块了?有什么可以优化的方案?

大数据计算MaxCompute可以优化的部分是不是就只有打包这块了?有什么可以优化的方案?现在是每次运行,打包,上传,运行,看log。这块比较麻烦。

大数据计算MaxCompute用的 table 2.0的表 ,这个可以如何进行优化 ?

大数据计算MaxCompute用的 table 2.0的表 , 在查询的时候 使用 加上 where 创建时间

大数据计算MaxCompute优化后速度没变,在哪里调整并发?

大数据计算MaxCompute优化后速度没变,在哪里调整并发?之前用to_pandas方法下载到本地来处理,4万数据跑了3个小时。现在改了PyODPS Dataframe来处理,目前估算的时间,貌似也没比原来快很多。不知道是不是没有设置并发的原因

在大数据计算MaxCompute中,有其他优化空间吗?

在大数据计算MaxCompute中,https://logview.aliyun.com/logview/?h=http://service.cn-s...LCJWZXJzaW9uIjoiMSJ9 这个任务执行很慢,大表关联小表,获取前13个月的数据,大表有5000万表,小表268万,已经加mapj...

大数据计算MaxCompute做了一个查询 结果一直在排队 这个能优化吗?

大数据计算MaxCompute做了一个查询 结果一直在排队 这个能优化吗?数据量可能太大了?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里巴巴大数据计算
阿里巴巴大数据计算
阿里大数据官方技术圈
347749+人已加入
加入
相关电子书
更多
MaxCompute 2.0: 阿里巴巴的大数据进化之路
生态与兼容MaxCompute大数据生态集成和开发工具
MaxCompute 2.0—从ODPS到MaxCompute
立即下载 立即下载 立即下载

云原生大数据计算服务 MaxComputemaxcompute相关内容

云原生大数据计算服务 MaxCompute更多maxcompute相关