Ha-Myung Park

eclipse와 maven을 이용한 hadoop 테스트 환경 설정

Wed, 17 Apr 2019 00:00:00 +0000

1. 사전 준비사항

java 8 (혹은 8 이후의 버전) 설치
eclipse (maven plugin 포함) 설치
windows 10의 경우 환경 설정 필요함 (본 페이지 마지막 항목 참조)

2. pom.xml에 mapreduce dependency 추가

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>3.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
        <version>3.0.0</version>
    </dependency>
</dependencies>

3. MapReduce 코드 작성

wordcount (unigram) 예제코드 (`WordCount.java`)

package kmu.bigdata.wordcount;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class WordCount extends Configured implements Tool{
    
    public static void main(String[] args) throws Exception {
        ToolRunner.run(new WordCount(), args);
    }
    
    public static class WCMapper extends Mapper<Object, Text, Text, IntWritable>{

        Text word = new Text();
        IntWritable one = new IntWritable(1);
        
        @Override
        protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context)
                throws IOException, InterruptedException {
            
            StringTokenizer st = new StringTokenizer(value.toString());
            
            while(st.hasMoreTokens()) {
                word.set(st.nextToken());
                context.write(word, one);
            }
            
        }
        
    }
    
    public static class WCReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

        IntWritable oval = new IntWritable();
        
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,
                Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            
            int sum = 0;
            for(IntWritable value : values) {
                sum += value.get();
            }
            oval.set(sum);
            
            context.write(key, oval);
        }
        
    }

    public int run(String[] args) throws Exception {
        
        Job myjob = Job.getInstance(getConf());
        myjob.setJarByClass(WordCount.class);
        myjob.setMapperClass(WCMapper.class);
        myjob.setReducerClass(WCReducer.class);
        myjob.setMapOutputKeyClass(Text.class);
        myjob.setMapOutputValueClass(IntWritable.class);
        myjob.setOutputFormatClass(TextOutputFormat.class);
        myjob.setInputFormatClass(TextInputFormat.class);
        FileInputFormat.addInputPath(myjob, new Path(args[0]));
        FileOutputFormat.setOutputPath(myjob, new Path(args[0]).suffix(".out"));
        
        myjob.waitForCompletion(true);
        
        return 0;
    }
    
}

Test 코드 (`WordCountTest.java`)

package kmu.bigdata.wordcount;

import org.apache.hadoop.util.ToolRunner;

public class WordCountTest {
	public static void main(String[] args) throws Exception {
		ToolRunner.run(new WordCount(), new String[] {"src/test/resources/testfile.txt"});
	}
}

4. Windows에서 설정

https://github.com/steveloughran/winutils 에서 hadoop-3.x.x 폴더째로 다운로드
- https://wiki.apache.org/hadoop/WindowsProblems 참조
1.에서 다운받은 폴더를 적절한 경로에 위치시키고 (예: c:\hadoop-3.x.x) 환경 변수 설정
- 환경변수 HADOOP_HOME를 다운받은 폴더의 경로로 설정
- 환경변수 PATH에 %HADOOP_HOME%\bin 추가
ExitCodeException exitCode=-1073741515 에러 발생시
- Visual C++ 2010 Redistributable Package 설치하면 에러 해결됨
- 참조1: https://stackoverflow.com/questions/45947375/why-does-starting-a-streaming-query-lead-to-exitcodeexception-exitcode-1073741
- 참조2 (Visual C++ 2010 Redistributable Package 다운로드 경로): https://answers.microsoft.com/en-us/insider/forum/insider_wintp-insider_repair/how-do-i-fix-this-error-msvcp100dll-is-missing/c167d686-044e-44ab-8e8f-968fac9525c5?auth=1

우분투 꾸미기

Wed, 20 Mar 2019 00:00:00 +0000

우분투 18.04 버전을 설치하자마자 보이는 보라색 화면은 영 맘에 들지 않음. 아이콘도 별로고, 창 모양도 뭔가 모르게 지저분해보임.

요즘 대세인 material design으로 flat하게 꾸며보자.

1. 사전 작업

gnome-tweak-tool 설치

ubuntu는 기존에는 unity를 기본 데스크탑 환경으로 사용하였는데, 18.04 버전부터 gnome을 사용한다. gnome-tweak-tool은 gnome 데스크탑 환경을 설정하는데 사용되는 도구이다.

다음 명령어로 gnome-tweak-tool을 설치한다.

sudo apt install gnome-tweak-tool

gnome-extension 설치

https://extensions.gnome.org/에 접속하여 다음 두 gnome extension을 설치한다.

User Themes (그놈 쉘의 대쉬, 패널 등을 꾸미는게 가능하도록 해줌)
Dash To Panel (그놈 쉘의 상단 바와 대쉬를 없애고, 화면 아래에 패널을 만들어줌 (마치 윈도우 처럼) )

2. flat-plat-blue 테마 설치

flat-plat-blue github 저장소 를 참고하여 flat-plat-blue 테마 설치
gnome-tweak-tool –> 모양새(appearance) –> 프로그램 부분과 쉘 부분 각각을 Flat-Plat-Blue로 수정

3. papirus 아이콘 팩 설치

아래 명령어로 papirus 아이콘 팩 설치
```
sudo apt install papirus-icon-theme
```
gnome-tweak-tool –> 모양새(appearance) –> 아이콘 부분을 Papirus로 수정

4. Breeze 마우스 커서 테마 설치

아래 명령어로 breeze 커서 테마 설치
```
sudo apt install breeze-cursor-theme
```
gnome-tweak-tool –> 모양새(appearance) –> 커서 부분을 Breeze_Snow로 수정

5. 고해상도 모니터 설정

화면 해상도가 높아서 글씨가 너무 작게 보일 때

글씨 크기 키우기:

gnome-tweak-tool –> 글꼴 –> 스케일 상수를 적당히 수정 (1.25 등의 소수점 표현 가능)
아이콘 크기 키우기:

탐색기 (nautilus) 에서 키보드의 ctrl 키를 누른 상태에서 마우스 스크롤을 하여 아이콘 크기 조절
커서 크기 키우기:

설정 –> 접근성 –> 커서크기 부분을 조절

mencoder를 이용하여 동영상 속도 조절하기

Mon, 25 Feb 2019 00:00:00 +0000

mencoder -speed 10 -o output.mp4 -ovc copy -nosound -ofps 15 input.mp4

옵션

-speed: 속도
-o: 출력파일명
-ovc: 출력파일 비디오 코덱

ovc	Description
mp3lame	encode to VBR, ABR or CBR MP3 with LAME
lavc	use one of libavcodec’s audio codecs
faac	FAAC AAC audio encoder
toolame	MPEG Audio Layer 2 encoder
twolame	MPEG Audio Layer 2 encoder based on tooLAME
pcm	uncompressed PCM audio
copy	do not reencode, just copy compressed frames

-oac: 출력파일 오디오 코덱 (-nosound는 소리 없음)

oac	Description
lavc	use one of libavcodec’s video codecs
xvid	Xvid, MPEG-4 Advanced Simple Profile (ASP) codec
x264	x264, MPEG-4 Advanced Video Coding (AVC), AKA H.264 codec
nuv	nuppel video, used by some realtime applications
raw	uncompressed video frames
copy	do not reencode, just copy compressed frames
frameno	used for 3-pass encoding (not recommended)

-ofps: 출력파일 fps 설정

Using Gnuplot with Gedit

Mon, 25 Feb 2019 00:00:00 +0000

Gedit의 external tools에 다음을 추가.

#!/bin/sh
#cd $GEDIT_CURRENT_DOCUMENT_DIR
echo $GEDIT_CURRENT_DOCUMENT_NAME
gnuplot $GEDIT_CURRENT_DOCUMENT_NAME
output=$(cat $GEDIT_CURRENT_DOCUMENT_NAME | grep "set output" | awk '{print $3}' | sed 's/'\''//g')
evince $output

참고: 단축키를 지정 하면 편하다 (예: ctrl + f11)

Using Latex with Gedit

Mon, 25 Feb 2019 00:00:00 +0000

1. gedit plugin install

$ sudo apt install gedit-plugins

2. turn on plugin

latex plugin과 synctex plugin 을 켤 것

3. use `external tools` to compile tex file.

#!/bin/sh

filename=$GEDIT_CURRENT_DOCUMENT_NAME
mastername=`cat .$filename.ini | grep master-filename | awk -F'= ' '{print $2}'` || 2
if [ -z "$mastername" ]; then
mastername=$filename
fi
shortmastername=`echo $mastername | sed 's/\(.*\)\.tex$/\1/'`


rubber -d --synctex $mastername
evince $shortmastername.pdf &

rubber is a latex compiler.
.[filename].ini 파일이 있을 경우, 이 파일에 적혀있는 master-filename의 값을 받아서 master tex file을 컴파일 함.
- 이 파일은 gedit의 latex plugin에 의해 생성됨. 수동으로 생성할 경우 다음과 같은 형식으로 만들 것
```
  [LATEX]
  master-filename = paper.tex
```

Some tips

각 서브파일 맨 위에다가

% mainfile: paper.tex

라고 달아놓으면 서브파일에서도 synctex가 제대로 동작 (이거 없으면 forward search가 안됨)

가상머신 디스크 이미지 크기 줄이기

Tue, 12 Feb 2019 00:00:00 +0000

1. client 내에서 다음 명령어를 통해 사용되지 않는 영역을 모두 0으로 채운다.

  sudo dd if=/dev/zero of=test.file bs=4M && sync
  sudo rm test.file

2. host 컴퓨터에서 다음 명령어로 가상머신 디스크 이미지 크기를 줄인다.

  VBoxManage modifyhd --compact yourImage.vdi

Ha-Myung Park

eclipse와 maven을 이용한 hadoop 테스트 환경 설정

1. 사전 준비사항

2. pom.xml에 mapreduce dependency 추가

3. MapReduce 코드 작성

wordcount (unigram) 예제코드 (WordCount.java)

Test 코드 (WordCountTest.java)

4. Windows에서 설정

우분투 꾸미기

1. 사전 작업

gnome-tweak-tool 설치

gnome-extension 설치

2. flat-plat-blue 테마 설치

3. papirus 아이콘 팩 설치

4. Breeze 마우스 커서 테마 설치

5. 고해상도 모니터 설정

mencoder를 이용하여 동영상 속도 조절하기

옵션

Using Gnuplot with Gedit

Gedit의 external tools에 다음을 추가.

Using Latex with Gedit

1. gedit plugin install

2. turn on plugin

3. use external tools to compile tex file.

Some tips

가상머신 디스크 이미지 크기 줄이기

1. client 내에서 다음 명령어를 통해 사용되지 않는 영역을 모두 0으로 채운다.

2. host 컴퓨터에서 다음 명령어로 가상머신 디스크 이미지 크기를 줄인다.

wordcount (unigram) 예제코드 (`WordCount.java`)

Test 코드 (`WordCountTest.java`)

3. use `external tools` to compile tex file.