最近在看<<Hadoop技术内幕>>里面对shuffle中"奇迹发生的地方"有比较细致的叙述
在这整理一下：
在mapper端业务逻辑走完后，调用MapOutputCollector.collect()输出结果，其中MapOutputCollector这个接口有两个实现类MapOutputBuffer和DirectMapOutputCollector，后者是在没有ReduceTask时调用的直接写入HDFS，而前者就是环形缓冲区所在地。
MapOutputBuffer采用二级索引结构，涉及三个环形内存缓冲区kvoffsets(键值对索引的偏移量)、kvindices(分区信息、键值对索引)、kvbuffer(键值对具体的值)，总大小在配置文件中io.sort.mb属性设置(默认为100mb)。
缓冲区采用典型单生产者消费者模型。MapOutputBuffer的collect方法和MapOutputBuffer.Buffer的write方法作为生产者，spillThread线程是消费者，其间同步是通过可重入互斥锁spillLock和spillLock上的两个条件变量(spillDone和spillReady)实现的。
1、kvoffsets
这部分比较简单，主要由三个变量控制，kvstart、kvend、kvindex。开始时kvstart=kvend，kvindex指向待写入位置，当写入一条数据后，kvindex向后移动一位，当kvoffsets内存使用率超过io.sort.spill.percent(默认80%)后，数据开始溢出到磁盘。
2、kvbuffer
kvbuffer的读写操作由指针bufstart/bufend/bufvoid/bufindex/bufmark控制，其中bufstart/bufend/bufindex含义与kvstart/kvend/kvindex相同，bufvoid指向缓冲区中有效内存结束位置。
写入一个key，bufindex移动到可写内存初始位置
写入一个value，bufmark和bufindex都进行移动，表示已经写入一个完整的kv键值对
不断写入，直到满足溢出条件，kvoffsets或者kvbuffer空间使用率超过io.sort.spill.percent(默认80%)，令bufend=bufindex，将缓冲区[bufstart,bufend)之间的数据写出到磁盘，spill线程以bufstart为读指针，
溢出时，MapTask仍然可向kvbuffer中写入数据。
最终，bufstart到达bufend的位置，至此，等待新的一轮溢写。
在hadoop 0.21版本中，将以上三个区域进行了整合，使得索引与记录共享一个环形缓冲区最大限度的利用io.sort.mb空间，进而减少磁盘溢写次数。其中新增指针equator限定索引与数据的分界。
【转载】原文地址：https://blog.csdn.net/weixin_42252211/article/details/80939526
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) | 黑马程序员IT技术论坛 X3.2 |
