- Go를 배우긴 했는데 이해도를 높이고자
- 이전에 Python 을 이용해서 만든 경험이 있어서
- 크롤링을 시도할 때에 Go 의 Goroutine 을 이용해서 더 빠르게 할 수 있지 않을까
(너무 많은 삽질로 인해 아직 고루틴을 생성하진 못했다..OTL..)했다
- 네이버 뉴스는 charset 이 euc-kr 로 되어있어 이를 utf-8로 변환해주어야 함
Python의 BeautifulSoup >>>> goquery........- 재밌다!!
제목에 특수문자를 제거하여 파일 생성시 오류 방지하기- 기사 본문에
<script>내용이 표시되지 않도록 하기 모든 기사들의 링크를 긁어 온 후에 기사 내용을 가져올 때에는 goroutine 이용하기- 기사 내용을 표시하는 interface 를 만들기
하드코딩 된 것들 제거하기 => 사용자로 부터 검색어와 검색일자 등을 받을 수 있도록 처리하기생성되는 폴더 날짜 하드코딩 되어있던 것을 금일 날짜로 자동으로 가져올 수 있도록 변경에러처리 함수 생성 및 그에 대한 코드 변경windows 가 아닌 환경에서 크롤링 결과 저장될 path 지정 windows => C:\, mac: HOME 디렉토리- Goroutine 적용 시 stream error: stream ID 281; STREAM_CLOSED 에러나는 문제 파악 및 해결
- Goroutine 적용 시 크롤링 된 결과가 달라지는 문제 (goroutine 적용 전에도 결과가 달라짐) 파악 및 해결