Data Engineering
2024. 3. 26.
Apache Spark 로컬 환경 구성
사전 요구 사항: Python 1. 자바 설치 1) 자바 다운로드 및 경로 지정 https://www.oracle.com/in/java/technologies/downloads/ D:\jdk-21.0.2 2) 시스템 변수 편집 (JAVA_HOME) 시스템 환경 변수 편집 -> 시스템 변수 새로 만들기 3) Path 편집 (시스템 환경 변수에서 Path 내에 %JAVA_HOME%\bin 추가) 4) java 정상 설치 여부 확인 (java -version) 2. Pyspark 설치 https://spark.apache.org/downloads.html 1) 스파크 다운로드 및 경로 지정 https://www.oracle.com/in/java/technologies/downloads/ D:\spark-3.5..
