Shop Crawler 프로젝트는 스칼라 기반의 라이브러리로 (국내) 온라인 쇼핑몰 상품 링크(HTTP URI)를 Crawling 과 Scraping 하여 상품과 가맹점의 메타 데이터를 추출, 구성, 추론한다.
- 상품에 대한 메타 데이터를 추출한다.
- 상품의 메타 데이터를 이용하여 상품 간 동일 여부를 측정, 추론한다.
- 상품에 대한 평가를 추출한다.
- 가맹점에 대한 메타 데이터를 추출한다.
- 가맹점의 메타 데이터를 이용하여 가맹점 간 동일 여부를 측정, 추론한다.
- Crawling
- Scraping
- 쇼핑몰은 판매 상품의 유일한 HTTP URI 를 제공해야 하며 외부에서 해당 HTTP URI 로 동일한 상품에 접근 가능해야 한다.
- 동일한 상품은 쇼핑몰 또는 제공 환경에 따라 다른 표기 방식(영어와 한글, 이미지와 문자, 모델명과 상품명 등)으로 게시 될 수 있다.