jupyter 썸네일형 리스트형 Jupyter에서 Spark 사용하기 w.Python 이전 포스팅에 이어서 이번에는 Jupyter에서 간단하게 Spark를 사용해보고 Spark history server에 어떻게 기록되는지 알아보겠습니다. 1. Create Spark Session 우선 Jupyter에 접속해 테스트에 사용할 임의의 폴더를 만들고 Jupyter Notebook 파일을 생성하겠습니다. Notebook을 누르면 화면이 바뀌면서 팝업 창으로 커널을 선택하라고 나오게 되고 이때 Docker에 설치된 Python을 선택합니다. 오른쪽 상단에 선택한 언어의 이미지가 보이게됩니다. 이제 아래 예시 코드를 cell에 입력한 뒤 실행을 해주면 Spark Session이 생성됩니다. from pyspark.sql from SparkSession spark = SparkSession.buil.. 더보기 이전 1 다음