Logistic Regression in RHadoop Logistic Regression in RHadoop library(dplyr) ## ## Attaching package: 'dplyr' ## The following objects are masked from 'package:stats': ## ## filter, lag ## The following objects are masked from 'package:base': ## ## intersect, setdiff, setequal, union library(rhdfs) ## Loading required package: rJava ## ## HADOOP_CMD=/home/stat/hadoop/hadoop-2.7.4/bin/hadoop ## #..
11_28_Lecture_Note 파일 및 참고자료 : http://stat.knu.ac.kr/http://stat.knu.ac.kr/pg/bbs/board.php?bo_table=ja02&part=1 11_28_Lecture_Note library(tm) ## Loading required package: NLP library(KoNLP) ## Checking user defined dictionary! library(proxy) ## ## Attaching package: 'proxy' ## The following objects are masked from 'package:stats': ## ## as.dist, dist ## The following object is masked from 'pac..
11_23_Lecture_Note 파일 및 참고자료 : http://stat.knu.ac.kr/http://stat.knu.ac.kr/pg/bbs/board.php?bo_table=ja02&part=1 11_23_Lecture_Note “R4_1.R” rm(list = ls()) #install.packages("twitteR") #install.packages("plyr") #install.packages("stringr") #install.packages("ggplot2") setwd("/home/stat/다운로드/┴ж4└х") library(twitteR) library(plyr) ## ## Attaching package: 'plyr' ## The following object is masked ..
11_14_Lecture_Note 파일 및 참고자료 : http://stat.knu.ac.kr/http://stat.knu.ac.kr/pg/bbs/board.php?bo_table=ja02&part=1 11_14_Lecture_Note “R2_3.R” setwd("/home/stat/다운로드") #install.packages("tm") #install.packages("wordcloud") library(tm) ## Loading required package: NLP library(wordcloud) ## Loading required package: RColorBrewer textMining = readLines("wikipedia.txt") myCorpus
11 02 Lecture Note Code Show All Code Hide All Code Download Rmd 11 02 Lecture Note Hiderequire(rhdfs) 필요한 패키지를 로딩중입니다: rhdfs 필요한 패키지를 로딩중입니다: rJava HADOOP_CMD=/home/stat/hadoop/hadoop-2.7.4/bin/hadoop Be sure to run hdfs.init() 경고메시지(들): S3 메소드 ‘gorder.default’, ‘gorder.factor’, ‘gorder.data.frame’, ‘gorder.matrix’, ‘gorder.raw’는 NAMESPACE 내에 선언되었으나 찾을 수 없습니다 Hidehdfs.init() 17/11/01 14:41:24 W..
10 26 Lecture Note 10 26 Lecture Note Choi Youngtae 선형 회귀 Linear Regression Simple Linear Regression yi=β0+β1xi+ϵi where ϵi∼iidN(0,σ2)⟺y=β0+β1x+ϵ where ϵ∼iidN(0,σ2I)yi=β0+β1xi+ϵi where ϵi∼iidN(0,σ2)⟺y=β0+β1x+ϵ where ϵ∼iidN(0,σ2I)β^0=y¯−β^1x¯β^1=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2β^0=y¯−β^1x¯β^1=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 Multiple Linear Regression yi=β0+β1xi1+⋯+βpxip+ϵi where ϵi∼iidN(0,σ2)⟺y=..
10 12 Lecture Note 10 12 Lecture Note Choi Youngtae Hadoop Streaming Hadoop Streaming은 개념적으로 data가 어디서 와서 어떻게 흘러가서 어디에 모이게 할 것인지를 정의해주는 것이다.Hadoop Streaming안에서 data는 우리가 정의해주는 특정한 mapper와 reducer를 따라가면서 우리가 필요한 형태로 가공되게 되고, 이를 우리가 원하는 위치에 저장하게 된다.mapper와 reducer는 C, C++, Python, java, R 등등의 다양한 프로그래밍 언어로 작성될 수 있으며, 다른 프로그래밍 언어로 작성되더라도 사용방법이 크게 다르지 않다.우리는 R로 작성된 mapper와 reducer를 가지고 실습하게 된다. 우리가 ..
2017/09/28 LECTURE NOTE 2017/09/28 LECTURE NOTE Choi YT Object : Understanding “REDUCE” require(rhdfs) ## Loading required package: rhdfs ## Loading required package: rJava ## ## HADOOP_CMD=/home/stat/hadoop/hadoop-2.7.4/bin/hadoop ## ## Be sure to run hdfs.init() hdfs.init() require(rmr2) ## Loading required package: rmr2 ## Please review your hadoop settings. See help(hadoop.settings) Hadoop E..
9월 21일 목요일목표 : mapreduce 중 map 이해하기. RHADOOP EXAMPLE 1 # 1부터 1000까지의 숫자들을 생성, 각 숫자들을 모두 제곱하는 연산 수행하는 Rhadoop Code. > require(rhdfs)> hdfs.init()> require(rmr2) > small_ints result out out EXERCISES 1 0부터 9까지의 숫자들을 생성, 각 숫자들의 factorial 연산. 1부터 20까지의 숫자들을 생성, 각 숫자들을 5배 하는 연산. 0부터 10까지의 숫자들을 생성, 2^0, 2^1, 2^2, … , 2^10 연산. 2부터 6까지의 숫자들을 생성, 64의 제곱근, 세제곱근, … 6제곱근 연산. RHADOOP EXAMPLE 2 # Uniform 분포에서..