sidebi / cyworld-bot

๐Ÿค– Cyworld image crawler

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

์‹ธ์ด์›”๋“œ์˜ ์‚ฌ์ง„๋“ค๋กœ ์ถ”์–ต์„ ๊ฐ„์งํ•˜์„ธ์š”

์„ค์น˜

0. ์‚ฌ์ „ ์ค€๋น„

์•„๋ž˜ ๊ฐ€์ด๋“œ๋ฅผ ํ†ตํ•ด ์ƒ์„ธํ•œ ์„ค์น˜ ๋ฐฉ๋ฒ•์„ ํ™•์ธํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

1. ์†Œ์Šค์ฝ”๋“œ ๋‹ค์šด๋กœ๋“œ

Clone or download ๋ฒ„ํŠผ์„ ๋ˆŒ๋Ÿฌ ZIP ํŒŒ์ผ๋กœ ์†Œ์Šค์ฝ”๋“œ๋ฅผ ๋‹ค์šด๋กœ๋“œ ๋ฐ›์Šต๋‹ˆ๋‹ค.

  • ๋‹ค์šด๋กœ๋“œ ๋ฐ›์€ ํ›„ ์••์ถ•์„ ํ’€์–ด์ฃผ์„ธ์š”

2. ํฌ๋กฌ ๋ธŒ๋ผ์šฐ์ € ๋ฒ„์ „ ํ™•์ธ

๋ฉ”๋‰ด > ๋„์›€๋ง > Chrome ์ •๋ณด ์ˆœ์„œ๋Œ€๋กœ ์ง„์ž…ํ•˜์—ฌ ์ •๋ณด์ฐฝ์œผ๋กœ ์ง„์ž…ํ•ฉ๋‹ˆ๋‹ค.

ํฌ๋กฌ ์ •๋ณด์ฐฝ์—์„œ ํฌ๋กฌ ๋ฒ„์ „์˜ ๋งจ ์•ž์ž๋ฆฌ๋ฅผ ๋ฉ”๋ชจํ•ด์ฃผ์„ธ์š” (์œ„ ์‚ฌ์ง„์˜ ๊ฒฝ์šฐ 78)

3. ํฌ๋กฌ ๋“œ๋ผ์ด๋ฒ„ ๋‹ค์šด๋กœ๋“œ

ํฌ๋กฌ ๋“œ๋ผ์ด๋ฒ„ ๋‹ค์šด๋กœ๋“œ ํŽ˜์ด์ง€์— ์ ‘์†ํ•˜์—ฌ 3๋ฒˆ ๊ณผ์ •์—์„œ ๋ฉ”๋ชจํ•œ ๋ฒ„์ „๊ณผ ์ผ์น˜ํ•˜๋Š” ๋“œ๋ผ์ด๋ฒ„๋ฅผ ๋‹ค์šด๋กœ๋“œ ๋ฐ›์Šต๋‹ˆ๋‹ค.

์ปดํ“จํ„ฐ ์šด์˜์ฒด์ œ์— ๋งž๋Š” ๋ฒ„์ „์„ ๋‹ค์šด๋กœ๋“œ ๋ฐ›๊ณ  ์••์ถ•์„ ํ’€์–ด์ค๋‹ˆ๋‹ค.

  • ์••์ถ• ํ•ด์ œ ํ›„ ๋‚˜์˜จ ํŒŒ์ผ์€ driver ํด๋”์— ๋„ฃ์–ด์ฃผ์„ธ์š”

4. ์˜์กด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์„ค์น˜

CMD ํ˜น์€ ํ„ฐ๋ฏธ๋„ ๋“ฑ์„ ์†Œ์Šค์ฝ”๋“œ๊ฐ€ ์žˆ๋Š” ํด๋”์—์„œ ์—ด์–ด ์•„๋ž˜ ๋ช…๋ น์–ด๋ฅผ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค.

pip3 install -r requirements.txt

5. ๊ธฐ๋ณธ ์„ค์ •

  • config.ini ํŒŒ์ผ์„ ์—ด์–ด ๊ฐœ์ธ ์„ค์ •์„ ์ง„ํ–‰ํ•ด์ฃผ์„ธ์š”
    • user
      • email: ์‹ธ์ด์›”๋“œ ์ด๋ฉ”์ผ
      • password: ๋น„๋ฐ€๋ฒˆํ˜ธ
    • bot
      • chromedriver: ํฌ๋กฌ๋“œ๋ผ์ด๋ฒ„ ๊ฒฝ๋กœ
        • ์œˆ๋„์šฐ: ./driver/chromedriver.exe
        • ๋ฆฌ๋ˆ…์Šค & ๋งฅ: ./driver/chromedriver
      • wait: ํฌ๋กฌ๋“œ๋ผ์ด๋ฒ„ ๋Œ€๊ธฐ์‹œ๊ฐ„ (์ดˆ)
        • ๋„คํŠธ์›Œํฌ ํ™˜๊ฒฝ์ด ์ข‹์ง€ ์•Š์•„ ๋กœ๊ทธ์ธ, ํ™ˆ์œผ๋กœ ์ด๋™ ๊ณผ์ • ๋“ฑ์—์„œ ์‹œ๊ฐ„์ดˆ๊ณผ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•  ๊ฒฝ์šฐ ์ ์ ˆํžˆ ์กฐ์ ˆํ•ด์ฃผ์„ธ์š”
      • delay: ๋‹ค์šด๋กœ๋“œ ์ง€์—ฐ์‹œ๊ฐ„ (๋˜๋„๋ก์ด๋ฉด ๊ธฐ๋ณธ๊ฐ’์ธ 3์ดˆ๋ฅผ ์œ ์ง€ํ•ด์ฃผ์„ธ์š”)
      • parser: ํŒŒ์‹ฑ ํ”„๋กœ์„ธ์Šค ์ˆ˜
        • โš ๏ธ CPU ์ฝ”์–ด ์ˆ˜๋ณด๋‹ค ํฐ ์ˆ˜๋ฅผ ์ž…๋ ฅํ•˜์ง€ ์•Š๋Š”๊ฒƒ์„ ์ถ”์ฒœํ•ฉ๋‹ˆ๋‹ค. (1 ~ ์ฝ”์–ด ์ˆ˜)
      • downloader: ๋‹ค์šด๋กœ๋” ํ”„๋กœ์„ธ์Šค ์ˆ˜
        • โš ๏ธ CPU ์ฝ”์–ด ์ˆ˜๋ณด๋‹ค ํฐ ์ˆ˜๋ฅผ ์ž…๋ ฅํ•˜์ง€ ์•Š๋Š”๊ฒƒ์„ ์ถ”์ฒœํ•ฉ๋‹ˆ๋‹ค. (1 ~ ์ฝ”์–ด ์ˆ˜)
[user]
email=์ด๋ฉ”์ผ
password=๋น„๋ฐ€๋ฒˆํ˜ธ

[bot]
chromedriver=./driver/chromedriver.exe
delay=3
parser=4
downloader=4

6. ์‹คํ–‰

์•„๋ž˜ ๋ช…๋ น์–ด๋ฅผ ์ž…๋ ฅํ•˜์—ฌ ์‹ธ์ด์›”๋“œ ์ด๋ฏธ์ง€ ์ˆ˜์ง‘์„ ์‹œ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

python3 bot.py

  • ๊ฒฐ๊ณผ ์ด๋ฏธ์ง€๋Š” images ํด๋” ๋‚ด์— ๋‚ ์งœ_๋ฒˆํ˜ธ_์ œ๋ชฉ ํ˜•์‹์œผ๋กœ ์ €์žฅ๋ฉ๋‹ˆ๋‹ค
  • ๊ฒฐ๊ณผ ํ…์ŠคํŠธ๋Š” posts ํด๋” ๋‚ด์— ๋‚ ์งœ_๋ฒˆํ˜ธ_์ œ๋ชฉ ํ˜•์‹์œผ๋กœ ์ €์žฅ๋ฉ๋‹ˆ๋‹ค

์ด์Šˆ

์‚ฌ์šฉ ์ค‘ ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒํ•  ๊ฒฝ์šฐ ์ด์Šˆ ๋‚จ๊ฒจ์ฃผ์„ธ์š” ๐Ÿ˜Š

๊ฐœ๋ฐœ์ž

Geunhyeok LEE

About

๐Ÿค– Cyworld image crawler

License:MIT License


Languages

Language:Python 100.0%