(최*현) (강의노트 3장) MNIST 데이터셋의 라벨링 오류와 오분류

[ch101634]

강의노트 3장에서는 MNIST 숫자 손글씨 데이터셋을 이용해 숫자-5 감별기와 다중 클래스 분류기를 훈련시키고, 오류 분석을 통해 모델이 특정 숫자들을 더 자주 오판함을 설명하고 있습니다.

혼동 행렬을 바탕으로 오분류 사례를 시각화한 이미지에서, 일부 샘플은 모델이 단순히 잘못 예측했다기보다 사람 눈으로 보아도 실제 라벨이 타당한지 의심되는 경우가 있습니다. 예를 들어, 해당 이미지 맨 윗줄의 오른쪽에서 두 번째 숫자를 살펴보면, 실제 라벨이 3으로 표시되어 있지만 형태상 5에 더 가깝게 보이는 샘플이 있어, 데이터셋을 만드는 단계에서 5가 3으로 잘못 라벨링된 것일 가능성이 있어 보입니다.

이를 보면서, 분류 모델의 오분류를 해석할 때 데이터셋의 라벨링 오류를 어디까지 함께 고려해야 하는지 궁금해졌습니다. 즉, 혼동 행렬에서 3과 5 사이의 오분류가 많이 나타난다고 하더라도, 그중 일부가 모델의 한계가 아니라 애초에 잘못 붙은 라벨 때문에 발생한 것이라면, 정확도, 정밀도, 재현율 같은 성능지표의 해석도 달라질 수 있을 것 같습니다.

또 한편으론, 실제 환경에서는 사람 눈으로도 판별하기 어려운 손글씨가 충분히 입력으로 들어올 수 있으므로, 모델 역시 이런 글씨를 어느 정도는 처리할 수 있어야 한다고 생각했습니다. 하지만 데이터셋을 만드는 단계에서 이런 애매한 샘플까지 억지로 라벨링하면, 사람도 확신하기 어려운 만큼 라벨링 오류가 다수 발생할 가능성도 커질 것 같습니다. 그렇다면 실제 입력 분포를 반영하기 위해 이런 샘플까지 포함시키는 것이 더 중요한지, 아니면 라벨 오류를 줄이기 위해 제외하고 데이터셋 자체의 품질을 높이는 것이 더 중요한지 궁금합니다.

[liganega]

• 최신 ai의 사례를 생각해보면 이해될 듯.
• 인터넷의 자료를 학습한다고 하는데 모두 정답이고, 모두 옳은 것만 있을까요?
• MS, Google, Claude 등은 어떻게 대처하고 있을까요?

[liganega]

추가: 책, 논문 등 공식적으로 인정받은 저작물의 내용은 100% 진리인가요?

[ch101634]

(최*현)
인터넷 자료나 공식적으로 인정받은 저작물도 100% 진리는 아니라는 사례를 통해, 제가 고민한 문제가 결국 현재 거대 AI도 겪고 있는 데이터 노이즈 문제와 연결된다는 점을 이해하게 되었습니다. 말씀하신 부분을 찾아보니, 최신 LLM들도 학습 데이터가 완벽하다기보단 오류 가능성을 전제로 하고 있었습니다. 환각이 여전히 남아 있는 문제라는 점을 인정하고, 불확실한 경우에는 억지로 단정하지 않게 하거나, 외부 검색 결과나 신뢰할 만한 문서에 근거해 답하도록 하며, 모델 출력의 품질을 별도 기준으로 점검하는 평가, 유해하거나 부정확한 데이터를 학습 전에 걸러내는 필터링 등을 통해 신뢰도를 높이려는 방향을 취하고 있었습니다.

제가 강의노트를 다시 읽으면서 두 가지 생각이 들었습니다.

첫째, 강의노트 말미에서는 새로운 손글씨 이미지를 수작업으로 추가 수집하는 것이 현실적으로 매우 어렵기 때문에, 기존 이미지를 조금씩 회전하거나 뒤집고 이동시키는 등 약간의 변형을 가해 훈련 데이터를 인위적으로 늘리는 데이터 증식 기법을 소개하고 있습니다. 이를 보며, 데이터셋에 라벨링 오류나 애매한 샘플이 일부 섞여 있어도 데이터가 충분히 많으면 모델은 그런 노이즈보다 전체적인 패턴을 중심으로 학습할 수 있다고 생각했습니다. 하지만 한편으로는, 원래 라벨이 잘못 붙은 샘플까지 함께 증식하면 오히려 잘못된 정보도 같이 늘어나는 셈이 될 수 있을 것 같아, 데이터 증식이 이런 라벨링 오류도 커버할 수 있는지 궁금합니다.

둘째, 3장에서는 정밀도와 재현율의 균형을 조절하기 위해 결정 함수의 임계값을 바꾸는 방식을 설명하고 있습니다. 그런데 최근 LLM들이 환각을 줄이기 위해, 확실하지 않은 경우에는 억지로 답하지 않고 “모르겠다”라고 답하는 모습을 보면서, 교재의 분류 문제에서도 양성과 음성만 두기보다 “모름” 또는 “판독 불가” 같은 선택지를 추가할 수도 있겠다는 생각이 들었습니다. 물론 이런 방식이 정밀도와 재현율 자체를 직접 높여 주는 것은 아니고, 애매한 샘플을 따로 보류하는 방식에 가깝다고 이해했습니다. 다만 이렇게 하면 모델이 조금만 애매해도 지나치게 많은 샘플을 “모름”으로 보내 버리는 문제도 생길 수 있을 것 같은데, 실제로는 이런 보류 기준에 대한 임계값을 어떤 방식으로 조절하는지 궁금합니다.

[liganega]

첫째, 데이터 증식으로 언급한 문제를 해결할 수 없어요. 그런 건 수작업으로 걸러낼 수밖에 없다고 봐요. 그리고 어떤 데이터건 피할 수 없는 문제이지요. 당연히 많은 이들이 문제를 최소화하기 위해 엄청난 애를 쓰고 있지요.

둘째, 좋은 질문이에요. 더 알아보면 좋을 듯. 일종의 예측값에 대한 신뢰도 차원에서 생각해보면 좋을듯.

[ch101634]

(최*현)
분류 모델은 보통 각 범주에 대한 점수나 확률값을 산출하고, 그중 가장 큰 값을 가진 범주로 분류합니다. 물론 이 값이 실제 확률과 일치하는 것은 아니며 어디까지나 모델의 예측값이지만, 이를 통해 모델이 자기 예측을 확신하는 정도를 확인할 수 있습니다.

“모름” 또는 “판독 불가”는 새로운 정답 클래스를 하나 더 두는 방식이라기보다, 가장 높은 점수나 확률값이 일정 기준 이상일 때만 분류를 확정하고, 그 기준에 못 미치면 보류하는 방식에 가깝습니다. 이는 결국 예측값을 어디서부터 신뢰할 수 있다고 볼 것인지, 그 임계값을 어떻게 설정할 것인가의 문제라고 볼 수 있습니다. 이때 교재에서 다룬 결정함수 임계값이 양성과 음성을 가르는 기준이라면, 여기서 말하는 보류 임계값은 예측을 확정할지 보류할지를 정하는 기준입니다.

관련 내용을 찾아보니, 이런 보류 임계값은 임의로 정하기보다 별도의 검증 데이터에서 여러 값으로 바꿔 가며 성능을 비교한 뒤 정한다고 합니다. 예를 들어 최고 확률이 0.9 이상일 때만 판정할지, 0.8 이상부터 판정을 허용할지를 각각 적용해 보고, 그때 정확도, 정밀도, 재현율이 어떻게 달라지는지와 함께 전체 샘플 중 몇 %가 “모름”으로 빠지는지도 같이 확인해보는 방식입니다. 결국 임계값을 높이면 모델에 의한 자동 판정 대상은 줄지만 틀린 예측도 줄어들고, 임계값을 낮추면 더 많은 샘플을 처리할 수 있지만 오분류 가능성이 커집니다. 그래서 실제로는 단순히 성능이 가장 높은 값을 찾기보다, 문제의 성격에 따라 어느 정도의 오분류와 어느 정도의 보류를 감수할지를 먼저 정한 뒤 그에 맞는 임계값을 선택한다고 합니다.