본문 바로가기

전체 글

Jupyter notebook 파일 실행 오류(out of memory) Jupyter notebook 진입 시 out of memory 문제로 진입이 불가할때 [재현과정] 1) Jupyter notebook 작업 중 메모리 부족문제로 페이지가 뻗었다. 2) 파일 목록에서 파일 클릭하여 재진입 시, 3) 아래와 같이 오류코드 5번 반환하면서 페이지 진입이 불가하다. 1) 처음엔 커널이 뻗은건가하고 터미널을 종료해봤다 -> 실패 2) 해당 파일을 복사해서 파일을 실행하면 되지않을까?(사실 저번엔 이렇게 해결했었다.) -> 실패 -> 구글링 해보니, 가상메모리를 다시 설정해봐라,,,또는 캐시를 날려봐라, 재부팅 해봐라 별의별 조언이 있었지만, 모두 해결은 되지않았고... 문제는 해당 파일안의 작업에서 print문이 수천 수만 row가 발생하며, 뻗은상황으로 보이고, 이것은 커널을.. 더보기
[Real-time Instance Segmentation] 화상대화 배경제거 (1) 현재 회사에서 제공하고 있는 메신저의 화상대화 서비스에서 'ZOOM'에서 제공하는 배경 제거(대체)기능 구현에 대한 업무를 맡게 되었다. 사실, Instance Segmentation과 real-time 수준의 빠른 모델적용을 요구하는 부분에 있어 지금까지 경험이 부족했기 때문에, 어려울 수 있지만, 이번 Task가 큰 경험이 될 것으로 생각하고, 기쁜마음으로 시작하게 되었다. 일단 배경 제거 기능의 경우 1차적으로 화상대화에 참여하고있는 화자와 그 외의 영역을 분리할 수 있어야하고, 화상대화 내부에서 빠르게 동작해야하기 때문에 1) Instance Segmentation 이 선행되어야하고, 2) Real-time으로 제공되어야한다. 우선, 해당 과제에 대해 정보를 수집하기 시작했고, 우선 Instanc.. 더보기
[Source Tree] Branch 추가 및 Remote push하기! 0. 사전 과정 Git에 Repository를 생성한다. Git Repo URL을 복사해서, Source Tree > Local > New... > "Clone from URL" 3.git URL을 입력하고, 해당 코드를 Pull 받기위한 Local 경로를 설정한 후 로컬 repo를 생성한다. 1. 'dev' 브랜치 추가하기 - master에 commit하기 전 dev라는 별도의 branch를 생성하여 코드를 관리하고자 한다. - 사용자별로 별도 브랜치를 생성하여 관리할 수도 있다. 2. Remote에 'dev'브랜치를 추적하는 dev를 추가하기 아래의 REMOTES > origin > 'dev'가 생성된것을 확인할 수 있다. 더보기
[Hugging Face model load관련 오류] git: 'lfs' is not a git command 1) Hugging face에서 아래와 같이 pre-trained model을 불러와서 사용하려했다. 2) jupyter notebook에서 관련 repo 설치를 위해 아래 코드 입력시, "git: 'lfs' is not a git command" 오류가 발생했다. 3) git-lfs가 설치되어있지 않아 발생하는 문제였다. 우선 설치를 위해 homebrew가 먼저 설치되어 있어야한다. MacOS (Using Homebrew) $ brew update $ brew install git-lfs 4) homebrew설치 후 git-lfs가 정상적으로 설치완료된 것을 확인할 수 있다. 더보기
이번 주는 이번 달의 몇 주차? 몇 주차는 어떻게 계산하지? 이번 주는 몇 주차일까? 올해의 몇 번째 주일까? 오늘은 이번 달의 몇 주 차일까? 궁금할 때가 있습니다. 그런데 연, 월이 월요일부터 항상 시작하는 것은 아니어서 몇 주 차인 것을 셀 때 어떻게 세는지 기준을 잘 모르는 경우가 많아서 말하는 사람마다 다른 경우도 있습니다. 이 글에서는 이번 주가 몇 주차인지 세는 방법을 국제 표준 기준으로 알아보도록 할게요. 오늘은 올해의 몇 주차 인가요? https://today-week.netlify.app/ 오늘은 몇주차? 오늘은 올해의 몇 번째 주인가요? today-week.netlify.app 먼저 오늘이 올해의 몇주차인지, 몇일째인지를 위 사이트에서 확인할 수 있습니다. 그렇다면 몇 주차인지 세는 기준은 뭘까요? 몇 주차인지 세는 기준은 국제기준이 있습니다... 더보기
[Python]가상환경 생성 및 Django 셋팅하기 서비스를 개발하기 위한 첫번째 단계인 VM구성과 Pycharm을 이용한 Django 셋팅 과정 정리 [가상환경 셋팅] 1. 가상환경을 생성할 디렉토리를 생성하고 해당 디렉토리 내부로 진입 2. 가상환경 생성 -> Python 3.5 이후부터는 venv가 파이썬 표준 라이브러리에 내장되어 있기 때문에 따로 설치할 필요가 없으며, Terminal 혹은 cmd 창에서 가상 환경을 생성할 수 있습니다. python -m venv test_venv #가상환경 생성 3-1. 가상환경 활성화 source [가상환경이름]/bin/activate -> 좌측의 괄호안에 가상환경이름이 표시되며, 가상환경이 활성화된것을 확인할 수 있다. 3-2. 가상환경 비활성화 및 삭제 deactivate # 가상환경 비활성화(비활성화가 .. 더보기
[Python 버전 변경]Ubuntu에서 python 버전 변경하기 ubuntu의 python 버전을 2.7 -> 3.8으로 변경하기 1. 현재 파이썬 버전을 확인한다. python --version # Python 2.7.17 2. 현재 바라보고 있는 파이썬 버전도 확인해본다. ls -al /usr/bin/python # lrwxrwxrwx 1 root root 9 Apr 16 2018 /usr/bin/python -> python2.7* -> 2.7버전을 바라보고있는것을 확인할 수 있다. 3. 설치되어있는 파이썬 버전중에서 사용하려고하는 파이썬 버전이 있는지 확인한다. -> 파이썬은 여러버전을 설치할 수 있고, 그 중 선택된 버전을 사용한다. ls /usr/bin/ |grep python ''' dh_python2* dh_python3@ python@ python-c.. 더보기
[GPU]GPU 셋팅 시 버전 체 1. GPU가 사용 가능한 상태인지 확인 import os os.environ['CUDA_DEVICE_ORDER']="PCI_BUS_ID" os.environ['CUDA_VISIBLE_DEVICES']='0' device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') print('Device:', device) # print('Current cuda device:', torch.cuda.current_device()) print('Count of using GPUs:', torch.cuda.device_count()) [Out] 2. 해당 서버 또는 컨테이너의 shell에서 CUDA버전을 확인 CUDA버전과 torch관련 라이브러리의 버전.. 더보기

티스토리툴바