大数据计算MaxCompute优化后速度没变,在哪里调整并发?

大数据计算MaxCompute优化后速度没变,在哪里调整并发?之前用to_pandas方法下载到本地来处理,4万数据跑了3个小时。现在改了PyODPS Dataframe来处理,目前估算的时间,貌似也没比原来快很多。不知道是不是没有设置并发的原因

[帮助文档] MaxCompute计算成本优化_云原生大数据计算服务 MaxCompute(MaxCompute)

当您需要在保证作业完成的前提下降低包年包月规格计算资源的费用或遇到基于现有资源配置作业完成时间达不到预期的情况时,MaxCompute为您提供计算成本优化功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,也支持查看当前使用按量付费计算资源的项目调...

阿里云大数据工程师ACA认证(2023版)

21 课时 |
807 人已学 |
免费

基于MaxCompute的热门话题分析

8 课时 |
329 人已学 |
免费

独家揭秘当下大数据体系

4 课时 |
331 人已学 |
免费
开发者课程背景图

在大数据计算MaxCompute中,有其他优化空间吗?

在大数据计算MaxCompute中,https://logview.aliyun.com/logview/?h=http://service.cn-s...LCJWZXJzaW9uIjoiMSJ9 这个任务执行很慢,大表关联小表,获取前13个月的数据,大表有5000万表,小表268万,已经加mapj...

大数据计算MaxCompute做了一个查询 结果一直在排队 这个能优化吗?

大数据计算MaxCompute做了一个查询 结果一直在排队 这个能优化吗?数据量可能太大了?

大数据计算MaxCompute的查询优化里面对concat拼接起来的分区字段会走优化嘛?

大数据计算MaxCompute的查询优化里面对concat拼接起来的分区字段会走优化嘛?就是比如表以a,b为分区字段,查询的时候写a||b,这样还能识别分区吗?

有大数据计算MaxCompute作业效率优化的规范文档吗?

有大数据计算MaxCompute作业效率优化的规范文档吗?

大数据计算MaxCompute有参数可以控制分区的filenum吗? 这方面有优化措施吗?

大数据计算MaxCompute有参数可以控制分区的filenum吗? 这方面有优化措施吗?

大数据计算MaxCompute生产中有两个表,有没有其他优化方案?

大数据计算MaxCompute生产中有两个表,且两表数据不符合mapjoin规范,且必须做优化时,有没有其他优化方案?

请问下大数据计算MaxCompute:有哪些比较好的优化方案呢?

请问下大数据计算MaxCompute:数据倾斜导致JOB运行时间过长导致系统会自动kill掉job,有哪些比较好的优化方案呢?

请教下大数据计算MaxCompute,这个jobs任务,有没有优化的方法呢?

请教下大数据计算MaxCompute,这个jobs任务,在这个节点一直卡在90%,跑一个多小时了,,有没有优化的方法呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里巴巴大数据计算
阿里巴巴大数据计算
阿里大数据官方技术圈
347749+人已加入
加入
相关电子书
更多
MaxCompute计算长尾问题优化
MaxCompute SQL计算成本调优以及优化方法
帮助企业做好MaxCompute成本优化的实践
立即下载 立即下载 立即下载