Data Analysis
-
Rstudio server, RHive 설치Data Analysis 2014. 11. 30. 12:32
Rstudio, R설치 rstudio server http://www.rstudio.com/products/rstudio/download-server/웹접속으로 통해 rstudio를 사용할 수 있다. 서버 재부팅하지 않는 이상 이전작업도 남아있고, desktop버전보다 훨씬 편했다. 설치$sudo apt-get install r-base$sudo apt-get install gdebi-core$sudo apt-get install libapparmor1$wget http://download2.rstudio.org/rstudio-server-0.98.1091-amd64.deb$sudo gdebi rstudio-server-0.98.1091-amd64.debR-core, rstudio-server를 설치한다..
-
hive, MySQL, sqoop, R wrap up 및 참조 urlData Analysis 2014. 11. 29. 00:15
1. hive설치 및 mysql설치 및 연동 mysql 및 hive 설치는 이전포스터에 있다. 가장 삽질많이한곳.이틀동안 막다른 곳에 있다가 결국 instance 새로 생성하고 차례대로해서 처음부터 다시하면서 성공함.. hive with mysql 설치 (가장 깔끔하게 잘설명되어있는곳.)http://sidcode.tistory.com/217 hive, mysql 환경설정http://o-m-i.tistory.com/148 [1004jonghee]Hive 메타스토어(MySQL) 구축http://1004jonghee.tistory.com/14 hive with mysql 확인 이건 이전이후 포스터에서도 중복되겠지만, 사실 매번까먹는관계로.. $sudo serivce mysql restart$mysql -uhi..
-
windwos 에서 AWS EC2 mysql server로 접속Data Analysis 2014. 11. 28. 19:02
windwos 에서 AWS EC2 mysql server로 접속 시도 1. AWS EC2 에서 mysql 설정 instance에서 mysql에 접속하기 위해서는 해당 instace의security policy에서 3306 port 열어주어야한다. $sudo vi /etc/mysql/my.cnf bind-address = 0.0.0.0bind address를 변경한다. 0.0.0.0은 모든 ip에 대해 mysql이 listen한다. 2. windows에서 mysql server로 접속 여러가지 connectionq방식이 있지만, AWS EC2에 접속하려면 Standart TCP/IP over SSH로 접속해야한다. SSH Hostname 에는 instance의 public DNS, 혹은 public IP를..
-
hive , mysql 설치 및 연동Data Analysis 2014. 11. 26. 23:17
hive에 원격 metastore를 mysql로 하기 위한 작업. mysql설치 1. 리눅스에서 설치 명령어$apt-get install mysql-server mysql-client 2. jdbc $ wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.27.tar.gz && tar xvzf mysql*.gz$ cp mysql-connector-java-5.1.27/*.jar $HIVE_HOME/lib 3. mysql시작 sudo service mysql restartmysql -u root -p 4. mysql 계정생성 및 권한부여 $ mysql -u root -pmysql> use mysqlmysql> insert ..
-
B310-W2Data Analysis 2014. 11. 25. 23:40
wifi를 중심으로, 핸드폰과 노트북이 wifi에 접속되어 있어야 한다. 핸드폰 어플을 실행하면 파워매니저를 search한다. 이때 연결해주면 된다.핸드폰 어플에서 설정 페이지로 가면 밑에 IP주소가 있다. 이 IP주소를 노트북 powermanager에의 IP주소에 입력하면 완료.! DawonDNS\PowerManager(PM-B310-W3)\WifiConnect\PowerManager.mdb에 db가 누적되어 저장된다. 혹시나했지만.. 물론 PC의 PowerManager로 network에 연결해야 한다. 결국 지속적으로 DB를 얻기 위해서는 노트북과 핸드폰이 켜진채로 wifi에 연결되어 있어야 한다.외부에 있을 경우에는 해당 wifi 공유기의 port forwarding을 해주면 된다고 하지만, 어쨌든..
-
mapper, reducerData Analysis 2014. 11. 11. 16:07
type을 잘맞춰주셔야 합니다... Driverpublic class PartitionerDriver extends Configured implements Tool{ public int run(String[] args) throws Exception job.setMapperClass(PartitionerMapper.class);job.setPartitionerClass(AgePartitioner.class); job.setReducerClass(PartitionerReducer.class); mapper, reducer, partitioner 클래스를 설정해 준다. mapper LongWriable은 Long, Text는 String, IntWritable은 Integer Mapper map(입력 키 타..
-
BGP raw data 분석위한 urlData Analysis 2014. 10. 30. 11:56
BGP dumpfile 구하기 http://www.ripe.net/data-tools/stats/ris/ris-raw-datahttp://archive.routeviews.org/ libBGPdump libbgpdump is a C library designed to help with analyzing dump files produced by Zebra/Quagga or MRT. The project is maintained by the RIPE NCC and the internet researcher community. Building을 위한 Prerequisites: zlib./configure --disable-ipv6make./bgpdump –T https://bitbucket.org/ripenc..