欢迎关注微信公众号“Tim在路上”之前我们已经了解了shufflewriter的详细过程，那么生成文件后会发生什么呢？以及它们是如何被读取呢？读取是内存的操作吗？这些问题也随之产生，那么今天我们将先来了解了shufflereader的细枝末节。在文章SparkShuffle概述中我们已经知道，在ShuffleManager中不仅定义了getWriter来获取mapwriter的实现方式，同时还定义了getReader来获取读取shuffle文件的实现方式。在Spark中调用有两个调用getReader的抽象类的重要实现，分别是ShuffledRDD和ShuffleRowRDD。前者是与RDDA