Dev Platform/Linux (8) 썸네일형 리스트형 [Linux] Pyspark, Jupyter(쥬피터) 쉽게 연동하기 Pyspark은 파이썬으로 작성된 Apache Spark의 파이썬 API입니다. 쥬피터 노트북(Jupyter Notebook)은 데이터 분석 및 시각화를 위한 인터랙티브한 환경을 제공하는 툴입니다. Pyspark과 쥬피터를 함께 사용하면 데이터 처리 및 분석 작업을 보다 편리하게 수행할 수 있습니다. 이번 글에서는 Pyspark와 쥬피터를 연동하는 방법에 대해 알아보겠습니다. https://tobelinuxer.tistory.com/135 [Linux] 우분투에 Spark 설치하기 우분투에서 Spark 설치하기 Apache Spark는 대량의 데이터를 처리하고 분석하는 빅데이터 처리를 위한 오픈 소스 분산 컴퓨팅 시스템입니다. 이번 글에서는 Ubuntu 운영체제에 Spark를 설치하는 방법에 tobeli.. [Linux] 우분투에 Spark 설치하기 우분투에서 Spark 설치하기 Apache Spark는 대량의 데이터를 처리하고 분석하는 빅데이터 처리를 위한 오픈 소스 분산 컴퓨팅 시스템입니다. 이번 글에서는 Ubuntu 운영체제에 Spark를 설치하는 방법에 대해 알아보겠습니다. 1. Java 설치 Spark는 Java로 작성되었기 때문에, 우선적으로 Java를 설치해야 합니다. 아래 명령어를 사용하여 OpenJDK 8을 설치합니다. 시스템 환경에 따라 환경변수(JAVA_HOME, PATH)를 수동으로 설정해야할 경우도 있습니다. sudo apt-get update sudo apt-get install default-jdk or sudo apt-get install openjdk-11-jdk 2. Spark 다운로드 Spark는 공식 웹사이트에서 .. [Linux] 우분투 Jupyter notebook 설치하기 Jupyter Notebook 설치하기 Jupyter Notebook은 데이터 과학과 기계 학습 등 다양한 작업에 널리 사용되는 대화식 개발 환경입니다. 이 글에서는 Ubuntu 리눅스에서 Jupyter Notebook을 설치하는 방법을 안내합니다. 1. 패키지 업데이트하기 먼저 패키지 관리자를 업데이트하여 최신 패키지 정보를 가져옵니다. sudo apt update 2. 파이썬과 필수 패키지 설치하기 Jupyter Notebook은 파이썬으로 작성되었으므로 원활하게 작동하려면 파이썬과 관련 라이브러리를 설치해야 합니다. sudo apt install python3-pip python3-dev 3. 가상 환경 설정하기 (선택사항) 가상 환경을 사용하면 프로젝트별로 독립된 Python 환경을 구성할 수 있.. [Linux] 리눅스 모니터링 프로그램 ( htop ) 소개 1. htop란? htop(HTML TOP)은 리눅스에서 실행되는 인터랙티브한 프로세스 모니터링 도구입니다. 기본적으로 top 명령어와 비슷한 기능을 제공하지만, 사용자 친화적인 인터페이스와 다양한 편의 기능을 갖추고 있습니다. htop은 프로세스의 CPU, 메모리, 디스크, 네트워크 등 다양한 시스템 상태 정보를 실시간으로 모니터링할 수 있어 시스템 관리자 및 개발자들에게 많은 도움을 줍니다. htop은 커맨드 라인 기반의 프로세스 모니터링 도구인 top과 달리, 그래픽 사용자 인터페이스(GUI)를 제공하므로 사용자가 프로세스 상태를 쉽게 파악할 수 있습니다. 표 형식으로 표시되는 프로세스 리스트는 현재 실행 중인 프로세스들을 사용자가 요약 정보를 볼 수 있도록 정렬하고 색상으로 구분하여 표현합니다. .. [리눅스] 데스크탑 화면 동영상 캡쳐 프로그램 - OBS 안녕하세요. 리눅스에서 화면 캡처에 매우 좋은 프로그램을 소개할까 합니다. OBS Studio 장점 1. 무료 해당 프로그램의 가장 큰 장점 >> 무료라는 점! 회사에서도 무료라고 알고 있습니다. 2. 설치가 쉽다. - 우분투 14.04 이하에서는 ffmpeg(필수 라이브러리)이 공식으로 포함되어 있지 않기 때문에 아래와 같이 소스 리스트를 추가하고 업데이트 및 설치를 따로 해줘야합니다. sudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next sudo apt-get update && sudo apt-get install ffmpeg - 마찬가지로 OBS는 공식이 아니기 때문에 ffmpeg과 마찬가지로 소스 리스트를 추가하고 업데이트 및 설치를 따로 해줘야합니.. [Ubuntu] 18.04에서 쉽게 Nvidia 그래픽 카드 드라이버 설치하기 안녕하세요. 우분투 18.04에서 Nvidia 그래픽 드라이버를 설치하겠습니다. Nvidia 그래픽 드라이버 설치에는 여러 방법이 있습니다. 그 중에 제일 쉬운 방법을 소개하고자 합니다. 1. sudo ubuntu-drivers autoinstall nvidia-smi 툴로 현재 nvida 그래픽 드라이버 정보를 호출합니다. 제 컴퓨터에는 아직 그래픽 드라이버가 설치되지 않아서 아무것도 출력이 되질 않네요 이제 드라이버 설치를 위해 상기 커맨드를 입력합니다. 2. 재부팅 재부팅 후 nvida-smi하면 위와 같은 형태로 그래픽카드 정보가 출력됩니다. 잠시 내용을 살펴보면 드라이버 버전 : 390.116 그래픽 카드 정보 : GTX 960 / 2 Gb GPU 사용 프로그램 및 해당 프로그램에서 사용중인 G.. [Ubuntu] 18.04에서 한글 입력 및 한영키 사용 안녕하세요. Ubuntu 18.04에서 한글 입력 및 한영키 사용에 대해서 알아보겠습니다. Ubuntu 18.04에서는 IBus가 기본 탑재 되어있어 이를 활용하면 편리하게 설정할 수 있습니다. 1. Region & Language 실행 좌측 하단에 Show Application을 클릭하시거나,윈도우키를 누르면 현재 Ubuntu에 설치된 Application을 검색하실 수 있습니다. 검색창에 language를 검색 및 검색 결과 중 Region & Language 실행 2. Manage installed Languages 클릭 만약 필요 프로그램이 설치 안되있다면 아래와 같이 Install 클릭해서 설치 진행 3. Keyboard input method system을 iBus로 선택 4. 터미널에서 ib.. [Ubuntu] GPU 사용 확인하기 우분투에서 GPU 사용량 등을 확인하고 싶을 때 사용하는 툴을 소개합니다. 1. nvidia-smi NAME nvidia-smi - NVIDIA System Management Interface program SYNOPSIS> nvidia-smi [OPTION1 [ARG1]] [OPTION2 [ARG2]] ... TIP : watch -n 0.5 nvidia-smi - 0.5초마다 nvidia-smi 호출 2. gpustat Link : https://github.com/wookayin/gpustat Options: --color : Force colored output (even when stdout is not a tty) --no-color : Suppress colored output -u, --.. 이전 1 다음
