Jupyter notebook 파일 실행 오류(out of memory)

 

Jupyter notebook 진입 시 out of memory 문제로 진입이 불가할때

[재현과정]

1) Jupyter notebook 작업 중 메모리 부족문제로 페이지가 뻗었다.

 

2) 파일 목록에서 파일 클릭하여 재진입 시,

진입이 안돼...

 

3) 아래와 같이 오류코드 5번 반환하면서 페이지 진입이 불가하다.

오류코드 5번에 대해서 좀 자세히 설명해주면 좋겠건만...

<시도방법>

1) 처음엔 커널이 뻗은건가하고 터미널을 종료해봤다 -> 실패

2) 해당 파일을 복사해서 파일을 실행하면 되지않을까?(사실 저번엔 이렇게 해결했었다.) -> 실패

-> 구글링 해보니, 가상메모리를 다시 설정해봐라,,,또는 캐시를 날려봐라, 재부팅 해봐라 별의별 조언이 있었지만, 모두 해결은 되지않았고...

 

<해결방법>

문제는 해당 파일안의 작업에서 print문이 수천 수만 row가 발생하며, 뻗은상황으로 보이고, 이것은 커널을 꺼도 파일 실행자체가 되지않았다.

이때, jupyter 파일을 json형태로 불러와서 다시 dump하면 모든 작업이 종료되어 코드만 그대로 dump되어 실행이 가능하다.

 

 

4) json 파일로 불러온 후 다시 dump해서 파일을 실행한 결과, 잘 실행된다.

jupyter file을 json load한 후 다시 dump

 

---

결과 ->

잘 불러와진다. 다시 일하자.