Dev Platform (19) 썸네일형 리스트형 [Linux] Pyspark, Jupyter(쥬피터) 쉽게 연동하기 Pyspark은 파이썬으로 작성된 Apache Spark의 파이썬 API입니다. 쥬피터 노트북(Jupyter Notebook)은 데이터 분석 및 시각화를 위한 인터랙티브한 환경을 제공하는 툴입니다. Pyspark과 쥬피터를 함께 사용하면 데이터 처리 및 분석 작업을 보다 편리하게 수행할 수 있습니다. 이번 글에서는 Pyspark와 쥬피터를 연동하는 방법에 대해 알아보겠습니다. https://tobelinuxer.tistory.com/135 [Linux] 우분투에 Spark 설치하기 우분투에서 Spark 설치하기 Apache Spark는 대량의 데이터를 처리하고 분석하는 빅데이터 처리를 위한 오픈 소스 분산 컴퓨팅 시스템입니다. 이번 글에서는 Ubuntu 운영체제에 Spark를 설치하는 방법에 tobeli.. [Linux] 우분투에 Spark 설치하기 우분투에서 Spark 설치하기 Apache Spark는 대량의 데이터를 처리하고 분석하는 빅데이터 처리를 위한 오픈 소스 분산 컴퓨팅 시스템입니다. 이번 글에서는 Ubuntu 운영체제에 Spark를 설치하는 방법에 대해 알아보겠습니다. 1. Java 설치 Spark는 Java로 작성되었기 때문에, 우선적으로 Java를 설치해야 합니다. 아래 명령어를 사용하여 OpenJDK 8을 설치합니다. 시스템 환경에 따라 환경변수(JAVA_HOME, PATH)를 수동으로 설정해야할 경우도 있습니다. sudo apt-get update sudo apt-get install default-jdk or sudo apt-get install openjdk-11-jdk 2. Spark 다운로드 Spark는 공식 웹사이트에서 .. [Linux] 우분투 Jupyter notebook 설치하기 Jupyter Notebook 설치하기 Jupyter Notebook은 데이터 과학과 기계 학습 등 다양한 작업에 널리 사용되는 대화식 개발 환경입니다. 이 글에서는 Ubuntu 리눅스에서 Jupyter Notebook을 설치하는 방법을 안내합니다. 1. 패키지 업데이트하기 먼저 패키지 관리자를 업데이트하여 최신 패키지 정보를 가져옵니다. sudo apt update 2. 파이썬과 필수 패키지 설치하기 Jupyter Notebook은 파이썬으로 작성되었으므로 원활하게 작동하려면 파이썬과 관련 라이브러리를 설치해야 합니다. sudo apt install python3-pip python3-dev 3. 가상 환경 설정하기 (선택사항) 가상 환경을 사용하면 프로젝트별로 독립된 Python 환경을 구성할 수 있.. [Linux] 리눅스 모니터링 프로그램 ( htop ) 소개 1. htop란? htop(HTML TOP)은 리눅스에서 실행되는 인터랙티브한 프로세스 모니터링 도구입니다. 기본적으로 top 명령어와 비슷한 기능을 제공하지만, 사용자 친화적인 인터페이스와 다양한 편의 기능을 갖추고 있습니다. htop은 프로세스의 CPU, 메모리, 디스크, 네트워크 등 다양한 시스템 상태 정보를 실시간으로 모니터링할 수 있어 시스템 관리자 및 개발자들에게 많은 도움을 줍니다. htop은 커맨드 라인 기반의 프로세스 모니터링 도구인 top과 달리, 그래픽 사용자 인터페이스(GUI)를 제공하므로 사용자가 프로세스 상태를 쉽게 파악할 수 있습니다. 표 형식으로 표시되는 프로세스 리스트는 현재 실행 중인 프로세스들을 사용자가 요약 정보를 볼 수 있도록 정렬하고 색상으로 구분하여 표현합니다. .. [Docker] tensorflow object detection 샘플 돌려보기(GPU) 안녕하세요. 이전 포스팅에서 GPU를 사용하는 Docker를 알아보았습니다. 2019/04/04 - [Dev Platform/Docker] - [Docker] nvidia docker 및 nvidia/cuda 이미지 설치하기 [Docker] nvidia docker 및 nvidia/cuda 이미지 설치하기 안녕하세요. Docker에서 GPU를 사용할 수 있는 방법을 알아보겠습니다. https://github.com/NVIDIA/nvidia-docker NVIDIA/nvidia-docker Build and run Docker containers leveraging NVIDIA GPUs - NVIDIA/nvidia.. tobelinuxer.tistory.com 이어서 GPU 기반의 tensoflow를 이용.. [Docker] nvidia docker 및 nvidia/cuda 이미지 설치하기 안녕하세요. Docker에서 GPU를 사용할 수 있는 방법을 알아보겠습니다. https://github.com/NVIDIA/nvidia-docker NVIDIA/nvidia-docker Build and run Docker containers leveraging NVIDIA GPUs - NVIDIA/nvidia-docker github.com 위 페이지를 참고하였습니다. 위 페이지 내용을 요약하면 nvidia-docker2를 설치하고 nvidia-docker로 docker을 실행합니다. 1. nvidia-docker 설치 curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \ sudo apt-key add - distribution=$(. /etc/o.. [Docker] jupyter notebook(쥬피터 노트북) 포함하여 이미지 만들기 안녕하세요. 쥬피터 노트북을 포함하는 Dockerfile을 만들고 이미지를 만들겠습니다. 우선 기본 이미지로 이전 포스팅에서 만들 Dockerfile을 기반으로 만들겠습니다. 2019/03/31 - [Dev Platform/Docker] - [Docker] python3 도커 이미지 만들기 ( 파이참 포함 ) [Docker] python3 도커 이미지 만들기 ( 파이참 포함 ) 이전 포스팅 2019/03/31 - [Dev Platform/Linux] - [Docker] image를 계층 분리해서 관리 ( Dockerfile ) [Docker] image를 계층 분리해서 관리 ( Dockerfile ) 안녕하세요. 저는 이거 저거 많이 해보는 개발자라... tobelinuxer.tistory.com 우선 .. [Docker] python3 도커 이미지 만들기 ( 파이참 포함 ) 이전 포스팅에 이어 기본 개발 이미지( dev:ubuntu_18.04 )에 python 개발을 위한 python3 설치 및 환경설정 그리고 개발툴 ( Pycham )을 포함한 도커 이미지를 만들어 보겠습니다. 2019/03/31 - [Dev Platform/Linux] - [Docker] image를 계층 분리해서 관리 ( Dockerfile ) [Docker] image를 계층 분리해서 관리 ( Dockerfile ) 안녕하세요. 저는 이거 저거 많이 해보는 개발자라... Docker 이미지를 많이 만들다 보면 용량의 압박이 그리고 이미지 만들때 기존 수행했던 작업들은 다시 하고 싶지 않아서^^ 개발자의 센스~ 그래서 좀 체계적.. tobelinuxer.tistory.com 1. 기본 개발 이미지( d.. 이전 1 2 3 다음
