Error_Log 썸네일형 리스트형 Mecab 설치 및 trouble shooting 하기(+user-dict 셋팅) Mecab 을 사용하는 가장 큰 이유는 빠르면서도 뛰어난 Tokeinzing 성능과 함께 user dictionary를 활용해서특정 token의 tokenizing 형태와 우선순위를 조정할 수 있다는 점이다. 평소에 mecab을 자주 사용하지는 않기때문에, 매번 설치하고 셋팅할때마다, 여러 오류들에 직면하게 되는데정상적으로 setting을 완료하기 위한 진행 순서를 정리해보고자 한다. 먼저, mecab을 활용해 한국어를 tokenizing하기 위해서는 mecab과 mecab-ko-dic을 각각 설치해야한다.각각의 역할은 아래와 같다.1) mecab(ex. mecab-0.996-ko-0.9.2) : 해당파일은 MeCab의 핵심 엔진을 포함하고 있습니다. 이 엔진은 텍스트를 형태소 분석하는 데 사용되며, 다.. 더보기 [파이참] django를 활용한 App setting시 자잘한 체크리스트 1. app root directory 내부에 가상환경(venv)이 생성되어있는지 확인 2. 현재 가상환경 연결이 잘 되어있는지 확인 (source venv/bin/activate) 3. Preferences setting 확인 Languages & Frameworks > Django Django project root 에 root directory설정이 잘되어있는지 확인 settings에 settings.py 경로가 잘 셋팅 되어 있는지 확인 Project: [서비스폴더(root folder명)] python interpreter : 파이썬 인터프리터 설정 제대로 되어있는지 확인(가상환경 내 python 경로) 4. Configuration Environment > Environment variable.. 더보기 [Pickle file dump error]OverflowError: cannot serialize a bytes object larger than 4 GiB 대용량의 torch data를 pickle file로 dump하려고할때, 4GB이상의 데이터에 대해 dump error가 발생했다. 해결방법 요때는 dump할때, 아래와 같이 "protocol" parameter를 추가해주면 된다. with open('/workspace/DBP/data_storage/wontae_kim/슈퍼북/dataset/taxsave_2000000_data.pkl', 'wb') as f: pkl.dump(last_data, f, protocol=4) 더보기 [ML]모델 학습 진행 시 "IndexError: Target 811 is out of bounds." Error "IndexError: Target 811 is out of bounds." 간단한 multi-layer perceptron 모델을 학습시키는 과정에서, 위 오류가 발생했다. 모델이 예측한 클래스 레이블이 실제 데이터셋의 클래스 레이블 범위를 벗어날 때 발생하는 오류이다. 예를 들어, 클래스 레이블이 0부터 9까지인데 모델이 10 이상의 값을 예측한 경우 발생할 수 있다. 가능한 원인으로는 다음과 같은 것들로 요약해볼 수 있다. 데이터셋의 클래스 레이블 개수(unique한 label개수)와 모델의 output_dim이 일치하지 않는 경우 데이터셋의 클래스 레이블 범위가 0부터 output_dim-1까지가 아닌 경우 학습 데이터에 레이블이 잘못 매핑된 경우 따라서, 데이터셋의 클래스 레이블 범위를 확인하고.. 더보기 Jupyter notebook 파일 실행 오류(out of memory) Jupyter notebook 진입 시 out of memory 문제로 진입이 불가할때 [재현과정] 1) Jupyter notebook 작업 중 메모리 부족문제로 페이지가 뻗었다. 2) 파일 목록에서 파일 클릭하여 재진입 시, 3) 아래와 같이 오류코드 5번 반환하면서 페이지 진입이 불가하다. 1) 처음엔 커널이 뻗은건가하고 터미널을 종료해봤다 -> 실패 2) 해당 파일을 복사해서 파일을 실행하면 되지않을까?(사실 저번엔 이렇게 해결했었다.) -> 실패 -> 구글링 해보니, 가상메모리를 다시 설정해봐라,,,또는 캐시를 날려봐라, 재부팅 해봐라 별의별 조언이 있었지만, 모두 해결은 되지않았고... 문제는 해당 파일안의 작업에서 print문이 수천 수만 row가 발생하며, 뻗은상황으로 보이고, 이것은 커널을.. 더보기 이전 1 다음
