model drift 썸네일형 리스트형 Drift를 감지하는 방법 (2) Concept Drift Detection (+ADWIN, Page-Hinkley Test, CUSUM, DDM) 오늘은 concept drift를 detectioin하는 여러가지 방법론들을 살펴보려한다. 'concept drift'는 시간이 지남에 따라 모델에 input되는 데이터의 통계적 특성이 달라지거나, feature와 label간의 관계가 달라질때 model의 성능이 저하되는 경우를 일컫는다. concept drift가 data drift에 비해 갖는 특징중 하나는, 모델의 도메인에 따라 중요성이 달라질 수 있다는 것이다. 가령, 얼굴인식 또는 STT, TTS, 언어모델과 같은 경우에는 데이터의 특성이 달라지지 않기 때문에 concept drift가 발생할 확률이 낮다. 하지만, 그 외 과제를 해결하기 위한 예측모델의 경우 데이터 분포나 feature와 label의 관계에 변화가 생기는 concept dr.. 더보기 Drift를 감지하는 방법 (1) Data Drift Detection 지난 포스팅에서는 Model Drift의 개념과 발생원인에 대해서 정리해보았다. > Model Drift의 개념과 원인 (+ Data Drift, Label Drift, Concept Drift) https://familia-89.tistory.com/69 잠깐 리마인드해보자면, model drift가 발생했을때, 가장 대표적인 원인으로는 data drift, label drift, concept drift를 꼽을 수 있었다. data drift는 학습당시의 데이터분포와 프로덕트단에서 input되는 데이터의 분포가 상이할 때 발생하는 성능 저하 현상이다. label drift는 target데이터 분포가 학습당시와 프로덕트 단에서 차이가 있을 경우, 발생하는 성능 저하 현상이다. 마지막으로, concept.. 더보기 Model Drift의 개념과 원인 (+ Data Drift, Label Drift, Concept Drift) 머신러닝 모델을 학습하고 배포에 이르렀다는것은 학습과 평가 단계에서 어느정도 서비스에 적용이 가능한 수준의 성능이 확보되었다는 의미일 것이다. 따라서 모델을 배포했을 당시에는 의도했던 수준의 퍼포먼스를 확인할 수 있다. 하지만, 모델이 배포 된 후, 성능하락 속도의 차이는 있겠지만, 시간이 흐름에 따라 모델은 처음에 기대했던 성능에서 차츰 퍼포먼스가 떨어지게된다. 이런 현상을 Model drift, Model decay(모델의 쇠퇴), Model staleness(모델의 진부)라고 한다. 아래에서는 이러한 현상을 model drift로 통일하여 설명하도록 하겠다. 오늘은 모델의 퍼포먼스가 떨어지는 이유와 해결방법에 대해서 정리해보자. Model Drift ? model drift란 한마디로, 예측하지 못.. 더보기 이전 1 다음
