1) BERT모델을 이용하여 BIO tagging data로 fine-tuning 해봄으로써 모델 이해
2) 기존의 biobert는 tensorflow로 이루어져 있어 코드를 이해하는데어려움 多
→ 우리는 이를 keras로 수정하여 돌려볼 예정
주제 설명
: biobert의 weight를 이용하여 마지막 layer만 수정해 키워드 추출을 할 수 있도록 한다
: biobert 사용 이유
--> 우리가 사용하는 data가 medical 데이터인데,
biobert의 weight는 PubMed, PMC로 pretrain된 weight(뒷페이지)이기 때문에
우리가 사용하려는 데이터를 돌릴때 더 좋을 것 같아서
:우리가 layer 수정 후 fine tunig할 때 사용할 data : NCBI disease (BIO tagging 된 data)
최종 발표까지의 계획
(02/06 기준)
2/6일(목)
: keras bert에 들어갈 수 있는 data로 data를 변환
: input data, target data로 나누는 코드를 만들기
2/7일(일)
: output layer를 keras로 구현
진행상황 (02/06 기준)
- input data, target data 형식으로 변환
1. 본래 data를 읽어와 max_sequence_len 길이의 문장들로 자르기 -> [문장, labels] 형식의 examples 생성
2. 각각의 example들을 WordPieceTokenizer로 토큰화
3. 토큰화된 단어들을 word vocab을 통해 인덱스화