SKT-AI에서 공개한 KoGPT2 모델을 파인튜닝하여 대학 커뮤니티 게시글을 생성하는 모델입니다. 총 에브리타임, 캠퍼스픽 데이터 22만개를 이용해서 학습을 진행했으며, 학습에는 대략 3일정도 소요되었습니다.
-
<everytime> : "숭실대 에브리타임 자유게시판" 스타일 토킅
-
<bamboo> : "캠퍼스픽 대나무숲 게시판" 스타일 토큰
-
<moyun> : "캠퍼스픽 모두를 위한 연애 게시판" 스타일 토큰
커뮤니티 데이터의 특성상 url이나 개행 등등 특수한 텍스트가 많아서 이를 무시하기 보다는 문장의 어느 위치에 들어갈 것인가 를 학습해서 템플릿 형식으로 학습하도록 유도하였습니다.
-
<unused0> : URL
-
<unused1> : LINK (오픈카톡방 등등)
-
<unused2> : 개행
아래 표와 같이 데이터가 column에 id, text 가 포함된 .csv 파일을 탭 단위로 분리된 ${id}\t${text} 형태로 저장된 .txt 파일로 변환해 주는 과정을 진행합니다.
실행은 preprocess.ipynb 파일을 colab으로 실행시키면 됩니다.
| id | ... | text |
|---|---|---|
| 1 | ... | 취향 자장면 평가 쏘스가 이렇게 꾸덕하고 물기없는 자장면은 첨봤음 참기름인것같은 맛... |
| 2 | ... | (성공) 뜨면 F는 아닌거지? F일줄 알았는데..제발.. |
| 3 | ... | 요즘 케리비안베이 사람 많나? |
| 4 | ... | 싸강 출석 싸강 오십분 오프라인 오십분으로 진행하는 강의가있는데여 온라인 결석 한번... |
| 5 | ... | 컴퓨팅적사고 삽니다 이공계재수강 쪽지주세요 제발부탁드립니다.. |
| ... | ... | ... |
| n | ... | 미엌 미엌미엌미엌 |
| n+1 | ... | 컴퓨터학부 복필 다음학기 복수전공 예정자인데 컴퓨터학부 복필과목은 뭐가있나요...?... |
| n+2 | ... | 경상관 보통 몇시에 문 잠금?? 열시? |
| n+3 | ... | 야간대학이랑 주간대학이랑 학력 차이 없지? |
| n+4 | ... | 최우진 전력전자 족보 삼 있음? |
preprocess.ipynb 파일을 colab으로 실행시키면 됩니다.
- 자신이 학습한 모델로 생성하기 :
inference.ipynb파일을 colab으로 실행시키면 됩니다. - 레포 소유자 가 학습한 모델로 생성하기 : 제목 아래에 있는
뱃지를 클릭해 주세요.
MIT License
Copyright (c) 2019 Kichang-Yang
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions: ...