시기

• 2022.11 ~ 2023.01

프로젝트 소개

• 서비스 중인 앱, 웹에 작성된 댓글에 혐오 발언이 포함되어 있는지 분류하는 모델 개발

개발 환경

인력 구성

• AI 엔지니어 1명

역할

• KocoHub, SmileGate AI, Kaggle의 데이터 셋 전처리 작업 수행

  • KocoHub, SmileGate 데이터 만을 이용해 학습 진행하였고, Kaggle 데이터는 시험용으로 사용

• 레이블 불균형 문제를 위해 데이터 증강 옵션 구현

  • 특정 단어를 유의어로 교체 (SR)
  • 임의의 단어를 삽입 및 삭제 (RI, RD)
  • 단어의 위치를 변경 (RS)

  

  [사진 1] 데이터 증강 전, 증강 후 데이터 분포

• Huggingface API를 이용해 KcELECTRA 신경망을 fine-tuning 후 학습

  

  [사진 2] 검증 데이터 셋 검증 평가 지표

  

  [사진 3] 시험 데이터 셋 검증 평가 지표