웹개발 종합반 3주차

웹 스크래핑

기본 세팅

import requests
from bs4 import BeautifulSoup

#header 쓰는 이유 : 코드에서 콜을 날리는게 아닌 브라우저에서 콜을 날리는것처럼 하기 위해
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

# 코딩 시작

select / select_one

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

#select를 이용해서 모든 영화들을 불러오기
movies = soup.select('#old_content > table >tbody > tr')

for movie in movies:
	#movie에서 'td.title > div > a'가 있고,
	a = movie.select_one('td.title > div > a')
    	#None이 아니면
    	if a is not None:
    	# a의 text를 프린트
    	print(a.text)

mongodb

기본 세팅

from pymongo import MongoClient
client = MongoClient('mongodb+srv://##:##@cluster0.u6oggvp.mongodb.net/Cluster0?retryWrites=true&w=majority')
db = client.dbsparta

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})