Python Notebook with Scala, Spark and plotting

From sparknotebook

Install ipython notebook

apt-get install python-dev
pip install "ipython[notebook]"

Create a Scala profile for ipython

ipython profile create scala

The output from this command will tell you the location of the ipython_config.py file. You will need to edit that file soon.

mkdir ~/.ipython/profile_scala/lib

Get Iscala (scala-language backend for IPython) :

cd ~/.ipython/profile_scala/lib
wget https://github.com/mattpap/IScala/archive/master.zip
unzip master.zip
cd IScala-master/
./sbt stage
mv target/scala-2.11/lib/IScala.jar ../

Edit ~/.ipython/profile_scala/ipython_config.py

c = get_config()
c.KernelManager.kernel_cmd = ["java", "-jar",
"/User/yournamehere/.ipython/profile_scala/lib/IScala.jar",
"--profile",
"{connection_file}",
"--parent"]

Plotting

wget https://raw.githubusercontent.com/tpinville/ipynb/master/Display.ipynb

Spark notebook

wget https://raw.githubusercontent.com/hohonuuli/sparknotebook/master/Scala-2-Text-Analytics.ipynb

Change the first line by

%libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"

Run python notebook with scala

ipython notebook --profile scala

References :
Spark : https://spark.apache.org/
Ipython : http://ipython.org/
Iscala : https://github.com/mattpap/IScala
Sparknotebook : https://github.com/hohonuuli/sparknotebook

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s