가톨릭대학교 공지사항을 스크랩하여 Firecloud에 저장합니다.
/boards에 다음과 같은 구조로 저장됩니다.
- 문서 ID: 자동
- title: 게시판 제목
- url: 크롤링 타겟 url
- type: 크롤링 타입
/notices에 다음과 같은 구조로 저장됩니다.
- 문서 ID: 공지사항 본래의 주소에서
/를_로 변환하여 저장합니다. - title: 공지사항 제목이 들어갑니다.
- writtenAt: 글 쓴 날짜
- writtenBy: 글쓴이
- boardId: 게시판 ID
도서관 홈페이지와 일반 공지 홈페이지의 구조가 다르며, 리뉴얼 등의 이유로 언제든지 구조가 바뀔 수 있기 때문에 크롤링 타입으로 이를 구분합니다.
- renewal2019: 2019년에 리뉴얼 된 가톨릭대학교 홈페이지