ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • mapper, reducer
    Data Analysis 2014. 11. 11. 16:07

    type을 잘맞춰주셔야 합니다...


    Driver

    public class PartitionerDriver extends Configured implements Tool{

     public int run(String[] args) throws Exception


    job.setMapperClass(PartitionerMapper.class);

    job.setPartitionerClass(AgePartitioner.class); 

    job.setReducerClass(PartitionerReducer.class);


    mapper, reducer, partitioner 클래스를 설정해 준다.



    mapper


    LongWriable은 Long, Text는 String, IntWritable은 Integer



    Mapper <입력 키 타입, 입력 값 타입, 출력 키 타입, 출력 값 타입>

    map(입력 키 타입, 입력 값 타입, Context 객체)



    input : value


    output : context.write(word, one); // (키, 값)


    입력지정


    입력 포맷 : setInputFormatClass

    입력 파일 위치 : 


    reducer


    Reducer<입력 키 타입, 입력 값 타입, 출력 키 타입, 출력 값 타입>

    reduce(입력 키 타입, Iterator<입력 값 타입>, Context 객체)


    public class PartitionerReducer extends Reducer<Text, Text, Text, Text> {

    @Override

    protected void reduce(Text key, Iterable<Text> values, Context context)

    throws IOException, InterruptedException{


    'Data Analysis' 카테고리의 다른 글

    hive , mysql 설치 및 연동  (0) 2014.11.26
    B310-W2  (0) 2014.11.25
    BGP raw data 분석위한 url  (0) 2014.10.30
    AWS  (0) 2014.10.30
    hadoop이란?  (0) 2014.10.09
Designed by Tistory.