SortShuffleManager的bypass機制觸發(fā)條件是什么？

SortShuffleManager的運行機制主要分成兩種，一種是普通運行機制，另一種是bypass運行機制。當shuffle write。

task的數(shù)量小于等于spark.shuffle.sort.bypassMergeThreshold參數(shù)的值時(默認為200)，就會啟用bypass機制。

該模式下，數(shù)據(jù)會先寫入一個內(nèi)存數(shù)據(jù)結(jié)構(gòu)中(默認5M)，此時根據(jù)不同的shuffle算子，可能選用不同的數(shù)據(jù)結(jié)構(gòu)。如果是reduceByKey這種聚合類的shuffle算子，那么會選用Map數(shù)據(jù)結(jié)構(gòu)，一邊通過Map進行聚合，一邊寫入內(nèi)存;如果是join這種普通的shuffle算子，那么會選用Array數(shù)據(jù)結(jié)構(gòu)，直接寫入內(nèi)存。

(2)接著，每寫一條數(shù)據(jù)進入內(nèi)存數(shù)據(jù)結(jié)構(gòu)之后，就會判斷一下，是否達到了某個臨界閾值。如果達到臨界閾值的話，那么就會嘗試將內(nèi)存數(shù)據(jù)結(jié)構(gòu)中的數(shù)據(jù)溢寫到磁盤，然后清空內(nèi)存數(shù)據(jù)結(jié)構(gòu)。

(3)排序

在溢寫到磁盤文件之前，會先根據(jù)key對內(nèi)存數(shù)據(jù)結(jié)構(gòu)中已有的數(shù)據(jù)進行排序。

(4)溢寫

排序過后，會分批將數(shù)據(jù)寫入磁盤文件。默認的batch數(shù)量是10000條，也就是說，排序好的數(shù)據(jù)，會以每批1萬條數(shù)據(jù)的形式分批寫入磁盤文件。

(5)merge

一個task將所有數(shù)據(jù)寫入內(nèi)存數(shù)據(jù)結(jié)構(gòu)的過程中，會發(fā)生多次磁盤溢寫操作，也就會產(chǎn)生多個臨時文件。最后會將之前所有的臨時磁盤文件都進行合并成1個磁盤文件，這就是merge過程。由于一個task就只對應(yīng)一個磁盤文件，也就意味著該task為Reduce端的stage的task準備的數(shù)據(jù)都在這一個文件中，因此還會單獨寫一份索引文件，其中標識了下游各個task的數(shù)據(jù)在文件中的start offset與end offset。

觸發(fā)條件

bypass運行機制的觸發(fā)條件如下： 1)shuffle map task數(shù)量小于spark.shuffle.sort.bypassMergeThreshold=200參數(shù)的值。 2)不是map combine聚合的shuffle算子(比如reduceByKey有map combie)。

bypass運行機制的觸發(fā)條件如下：

1)shuffle map task數(shù)量小spark.shuffle.sort.bypassMergeThreshold=200參數(shù)的值。

2)不是map combine聚合的shuffle算子(比如reduceByKey有map combie)。

  ? 此時task會為每個reduce端的task都創(chuàng)建一個臨時磁盤文件，并將數(shù)據(jù)按key進行hash，然后根據(jù)key的hash值， 將key寫入對應(yīng)的磁盤文件之中。當然，寫入磁盤文件時也是先寫入內(nèi)存緩沖，緩沖寫滿之后再溢寫到磁盤文件的 。最后，同樣會將所有臨時磁盤文件都合并成一個磁盤文件，并創(chuàng)建一個單獨的索引文件。

  ? 該過程的磁盤寫機制其實跟未經(jīng)優(yōu)化的HashShuffleManager是一模一樣的，因為都要創(chuàng)建數(shù)量驚人的磁盤文件， 只是在最后會做一個磁盤文件的合并而已。因此少量的最終磁盤文件，也讓該機制相對未經(jīng)優(yōu)化的 HashShuffleManager來說，shuffle read的性能會更好。

而該機制與普通SortShuffleManager運行機制的不同在于：

第一，磁盤寫機制不同;

第二，不會進行排序。也就是說，啟用該機制的最大好處在于，shuffle write過程中，不需要進行數(shù)據(jù)的排序操作， 也就節(jié)省掉了這部分的性能開銷。

總結(jié)：

SortShuffle也分為普通機制和bypass機制

普通機制在內(nèi)存數(shù)據(jù)結(jié)構(gòu)(默認為5M)完成排序，會產(chǎn)生2M個磁盤小文件。

而當shuffle map task數(shù)量小于spark.shuffle.sort.bypassMergeThreshold參數(shù)的值。或者算子不是聚合類的shuffle算子(比如reduceByKey)的時候會觸發(fā)SortShuffle的bypass機制，SortShuffle的bypass機制不會進行排序，極大的提高了其性能。