몽상가

public class WordCount {

 public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
    private final static LongWritable one = new LongWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

         // map 프로그램은 입력으로 LongWritable  key와 Text value를 받는다. 이는 main 함수에서

         // setInputFormatClass의 TextInputFormat 클래스로 지정하였기 때문이며 TextInputFormat 클래스

         // 는 파일에서 라인단위로 읽어서 라인 번호를 Key로, 라인 텍스트를 Value로 Map 입력에 넣어준다.
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line, "\t\r\n\f |,.()<>");
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken().toLowerCase());
            context.write(word, one);
        }

        // Text를 StringTokenizer의 입력으로 이용하기 위해서 변환하고 tokenizer로 분리된 각 단어를 Key로

        // 이 Key에 대한 Value를 LongWritable one으로 설정해서 Map에서 출력한다.
    }
 }

 public static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
    private LongWritable sumWritable = new LongWritable();

    public void reduce(Text key, Iterable<LongWritable> values, Context context)

       // Map 프로그램에서 출력된 Key, Value는 Hadoop Framework 내부에서 Key에 대한 값들이

       // 셔플링과 소팅이 되어 리듀서의 Key, Value List 값으로 들어간다.
      throws IOException, InterruptedException {
        long sum = 0;
        for (LongWritable val : values) {
            sum += val.get();
        }

        // 이 리스트에서 값을 추출하여 Sum 하면 단어 빈도가 되며
        sumWritable.set(sum);
        context.write(key, sumWritable);
         // 이 값을 리듀서의 출력으로 한다.
    }
 }