Data Analysis
-
AWSData Analysis 2014. 10. 30. 10:38
instance만들기 AWS EC2 : https://console.aws.amazon.com/ec2/ 참조 : http://scvlife.kr/3417539 아무래도 막쓰다간 요금폭탄당할지도 모르니깐 조심스럽게 된다.instance를 terminate하면 완전 삭제되고, stop은 서버를 끈다. putty로 서버에 접속하기 AWS instance생성시 key를 생성하고 pem파일을 다운 받는다. puttyGen을 이용하여.pem파일을 .ppk로 변환해준다.putty접속시 아래 Configuration창에 .ppk파일을 추가해 준다. HostName : ID@public DNS. 고정 IP등록하지 않으면 서버 새로 start할때마다 public DNS가 새롭게 설정되기 때문에 HostName도 매번 바뀐..
-
hadoop이란?Data Analysis 2014. 10. 9. 10:36
hadoop 대용량의 데이터를 분산처리해줄 수 있는 자바 기반의 오픈소스 프레임워크크게 HDFS(분산파일시스템)과 MapReduce(분산처리시스템)으로 구성된다. HDFShttp://static.googleusercontent.com/media/research.google.com/ko//archive/gfs-sosp2003.pdf HDFSsecondaryNameNode : 주기적으로 네임노드의 파일시스템 이밎 파일을 갱신하는 역활Data node : HDFS에 데이터를 입력하면 입력 데이터는 32MB의 블록으로 Name node MapReducehttps://www.usenix.org/legacy/publications/library/proceedings/osdi04/tech/full_papers/dea..