Ubuntu 16.04 Spark Kurulumu

Standard

 

Merhaba Arkadaşlar;

Yaptığım staj gereği, bilgisayarıma Spark kurulumu gerçeleştirdim. Kurulum için birkaç adım mevcut, genelde anlatımlarda bu kısımlar olmadığından temiz ve işe yarar bir anlatım yapmak istedim.

Öncelikle Spark Java Virtual Machine (JVM)’e ihtiyaç duyduğu için onun kurulumu ile başlıyoruz.

Repository’sini ekleyelim;


1
<span class="line">sudo apt-add-repository ppa:webupd8team/java</span>

Sistemi güncelleyip, kurulumunu yapalım;


1
2
<span class="line">sudo apt-get update
</span><span class="line">sudo apt-get install oracle-java7-installer</span>

Kurulumun doğru şekilde yapılıp yapılmadığını kontrol etmek için şu komutu verdiğinizde, altındaki çıktının benzerini almalısınız;

sezer@optimist:~$ java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

Spark, yazıldığı dil Scala olduğundan, çalışabilmesi için sisteminize Scala’nın kurulu olması gerekiyor. Onun yüklemesini yapalım;

Skala’yı sitesinden indiriyoruz(ben kurarken bu sürüm vardı, siz kurulum için güncel sürümden faydalanın):


1
<span class="line">wget http://www.scala-lang.org/files/archive/scala-2.11.7.tgz</span>

İndirme tamamlandıktan sonra, dosyayı PATH altına taşıyor ve açıyoruz;


1
2
<span class="line">sudo mkdir /usr/local/src/scala
</span><span class="line">sudo tar xvf scala-2.11.7.tgz -C /usr/local/src/scala/</span>

Scala’yı konsoldan çağırabilmek için .bashrc dosyasının sonuna bu 2 satırı ekleyerek, Scala’nın yolunu gösteriyoruz;


1
2
<span class="line">export SCALA_HOME=/usr/local/src/scala/scala-2.11.7
</span><span class="line">export PATH=$SCALA_HOME/bin:$PATH</span>

Scala’nın aktif olması için konsolu tekrardan başlatıyoruz: (kapa-aç’da olur)


1
<span class="line">. .bashrc</span>

Scala’nın doğru şekilde yüklenip yüklenmediğini kontrol etmek için alttaki komut ve benzeri çıktısını görüyor olmanız gerekmekte;


1
2
3
<span class="line">sezer@optimist:~$ scala -version
Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL
</span>

Şimdiyse Spark’ın kurulumuna geçmeden önce, Github’dan veri çekebilmek için (şart değil, isterseniz sayfasına gidip indirme yaparak bu basamağı pas geçebilir, isterseniz “Github’dan nasıl yazılım indiriliyor?” u bilmiyorsanız buradan öğrenebilirsiniz) git’i kuruyoruz;


1
<span class="line">sudo apt-get install git</span>

Şimdi Spark’ın son sürümünü (şu an için, ileride bu link üzerinden sonraki son sürümünü indiriniz), indiriyoruz;

wget http://www.apache.org/dyn/closer.lua/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz

Şimdi Spark için ana dizinimizde bir dosya oluşturup, onun içerisine aktarıyoruz;

mkdir ~/apache-spark
 cd ~/apache-spark

mv ~/Downloads/spark-1.6.1-bin-hadoop2.6.tgz ~/apache-spark

Şimdi de dosyamızı açıp, çalıştırmayı deniyoruz;


1
 
tar -xzvf 
1
2
3
4
spark-1.6.1-bin-hadoop2.6.tgz
cd spark-1.6.1-bin-hadoop2.6

./bin/spark-shell

Çalıştıysa karşısınıza böyle bir konsol düşer;

scala>

Birkaç örnek ile çalıştığını test edebilirsiniz;


1
2
3
<span class="line"><span class="n">scala</span><span class="o">&gt;</span> <span class="k">val</span> <span class="n">textFile</span> <span class="k">=</span> <span class="n">sc</span><span class="o">.</span><span class="n">textFile</span><span class="o">(</span><span class="s">"README.md"</span><span class="o">)</span>
</span><span class="line"><span class="n">scala</span><span class="o">&gt;</span> <span class="n">textFile</span><span class="o">.</span><span class="n">count</span><span class="o">()
<code>scala&gt; textFile.first()

Az-çok gelecek çıktıları tahmin ediyorsunuzdur 🙂

Kurulum tamamlanmıştır, bir sonraki yazımda görüşmek üzere…

banner

 

 

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir