1. Mapper/Reducer의 설정
1) Mapper/Reducer의 Task Timeout 설정
<property>
<name>mapred.task.timeout</name>
<value>600000</value>
</property>
mapred-site.xml 에 설정하며 값은 milisecond 임
"The number of milliseconds before a task will be terminated if it neither reads an input, writes an output, nor updates its status string"
2) 맵 출력 임시 파일에 압축 적용하기
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
또는 org.apache.hadoop.io.compress.GzipCodec 으로 해도 된다.
3) Child Java Process의 Heap 메모리 설정
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
2. HDFS의 Block Size 설정
<property>
<name>dfs.block.size</name>
<value>268435456</value>
</property>
기본값은 64mb 이다, 위 value는 256mb입(256*1024*1024), 기본적으로 512 byte 단위어야 함