대용량의 torch data를 pickle file로 dump하려고할때, 4GB이상의 데이터에 대해 dump error가 발생했다.
해결방법
요때는 dump할때, 아래와 같이 "protocol" parameter를 추가해주면 된다.
with open('/workspace/DBP/data_storage/wontae_kim/슈퍼북/dataset/taxsave_2000000_data.pkl', 'wb') as f:
pkl.dump(last_data, f, protocol=4)'Error_Log' 카테고리의 다른 글
| Mecab 설치 및 trouble shooting 하기(+user-dict 셋팅) (0) | 2024.05.02 |
|---|---|
| [파이참] django를 활용한 App setting시 자잘한 체크리스트 (0) | 2023.04.06 |
| [ML]모델 학습 진행 시 "IndexError: Target 811 is out of bounds." Error (0) | 2023.02.21 |
| Jupyter notebook 파일 실행 오류(out of memory) (0) | 2023.02.20 |
