[Linux] 우분투에 Spark 설치하기

우분투에서 Spark 설치하기

Apache Spark는 대량의 데이터를 처리하고 분석하는 빅데이터 처리를 위한 오픈 소스 분산 컴퓨팅 시스템입니다. 이번 글에서는 Ubuntu 운영체제에 Spark를 설치하는 방법에 대해 알아보겠습니다.

1. Java 설치

Spark는 Java로 작성되었기 때문에, 우선적으로 Java를 설치해야 합니다. 아래 명령어를 사용하여 OpenJDK 8을 설치합니다.

시스템 환경에 따라 환경변수(JAVA_HOME, PATH)를 수동으로 설정해야할 경우도 있습니다.

sudo apt-get update
sudo apt-get install default-jdk or sudo apt-get install openjdk-11-jdk

2. Spark 다운로드

Spark는 공식 웹사이트에서 다운로드 받을 수 있습니다. 아래 명령어로 Spark 다운로드 페이지로 이동합니다.

cd ~
wget https://dlcdn.apache.org/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz

3. Spark 압축 해제

다운로드 받은 Spark 압축파일을 해제합니다.

tar xvf spark-3.4.1-bin-hadoop3.tgz

다음, 폴더를 이동합니다.

sudo mv spark-3.4.1-bin-hadoop3 /usr/local/spark

4. 환경 변수 설정

Spark를 사용하기 위해 필요한 환경 변수를 설정합니다. .bashrc 또는 .bash_profile 파일을 열어 아래 내용을 추가합니다.

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

변경 사항을 적용하기 위해 터미널을 재시작하거나 아래 명령어를 실행합니다.

source ~/.bashrc

5. Spark 실행 확인

Spark가 올바르게 설치되었는지 확인하기 위해 Spark 쉘을 실행해봅니다.

spark-shell

Spark 쉘이 정상적으로 실행된다면 Spark가 성공적으로 설치된 것입니다.

결론

위의 단계들을 따라하면 우분투에서 간단하게 Spark를 설치할 수 있습니다. Spark를 사용하여 빅데이터 처리 및 분석에 도전해보세요!

 

본 블로그 글은 G-ChatBot 서비스를 이용하여 AI(ChatGPT) 도움을 받아 작성하였습니다.

https://gboysking.net

G-ChatBot