스파르타 코딩 교육) 웹 개발 종합 교육 3주차 개발일지

크롤링 기초, mongoDB연동

 

# Python으로 DB연동

import certifi

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.8vjpv.mongodb.net/?retryWrites=true&w=majority',tlsCAFile=certifi.where())
db = client.dbsparta

 

#DB 조작

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

 

#지니뮤직 크롤링

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

songs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for song in songs:
    title = song.select_one('td.info > a.title.ellipsis').text.strip()
    rank = song.select_one('td.number').text[0:2].strip()
    artist = song.select_one('td.info > a.artist.ellipsis').text
    print(rank,title,artist)

 

#크롤링 과정

 

1. 크롤링 하고싶은 부분 우클릭 후 검사

 

 

2. 해당 부분 우클릭 후 Copy > Copy selector

 

 

3. 개발툴에 붙여넣기 한뒤 규칙찾기

위에선 tr까지 같은 구간이 반복되고 있기 때문에 먼저 select로 지정한 뒤 for문을 이용하여 하나씩 가져와준다.

 

 

 

4. Soup를 이용해 원하는 부분 가져오기

먼저 select를 이용해 songs에 담아주고 원하는 부분의 텍스트를 .text를 이용하여 가져와줄수 있다.