-
mapper, reducerData Analysis 2014. 11. 11. 16:07
type을 잘맞춰주셔야 합니다...
Driver
public class PartitionerDriver extends Configured implements Tool{
public int run(String[] args) throws Exception
job.setMapperClass(PartitionerMapper.class);
job.setPartitionerClass(AgePartitioner.class);
job.setReducerClass(PartitionerReducer.class);
mapper, reducer, partitioner 클래스를 설정해 준다.
mapper
LongWriable은 Long, Text는 String, IntWritable은 Integer
Mapper <입력 키 타입, 입력 값 타입, 출력 키 타입, 출력 값 타입>
map(입력 키 타입, 입력 값 타입, Context 객체)
input : value
output : context.write(word, one); // (키, 값)
입력지정
입력 포맷 : setInputFormatClass
입력 파일 위치 :
reducer
Reducer<입력 키 타입, 입력 값 타입, 출력 키 타입, 출력 값 타입>
reduce(입력 키 타입, Iterator<입력 값 타입>, Context 객체)
public class PartitionerReducer extends Reducer<Text, Text, Text, Text> {
@Override
protected void reduce(Text key, Iterable<Text> values, Context context)
throws IOException, InterruptedException{
'Data Analysis' 카테고리의 다른 글
hive , mysql 설치 및 연동 (0) 2014.11.26 B310-W2 (0) 2014.11.25 BGP raw data 분석위한 url (0) 2014.10.30 AWS (0) 2014.10.30 hadoop이란? (0) 2014.10.09