Python으로 웹 스크래핑 하기

pip install beautifulsoup4

import pandas as pd company = pd.read_csv('./raw/19년 1월 2일 기준(코스피).csv',encoding='utf-8') company_list = company.iloc[:100,]['종목명'][0:100] # 시총 상위 100개 기업 리스트

import datetime days_list=[] # datetime.datetime(yyyy,m,d,0,0) start = datetime.datetime.strptime("2019-01-01", "%Y-%m-%d") end = datetime.datetime.strptime("2020-01-01", "%Y-%m-%d") # 원하는 날짜 + 1 입력 # 수집을 원하는 기간을 list로 만들어준다. // datetime.datetime(yyyy,m,d,0,0)으로 저장 date_list = [start + datetime.timedelta(x) for x in range(0, (end-start).days)] for date in date_list: #datetime 형식을 str로 만들어 days_list에 삽입 // yyyy.mm.dd로 저장 days_list.append(date.strftime("%Y-%m-%d").replace('-','.'))

import timeit import requests import re import bs4 # user-agent를 이용하여 비정상적인 접근으로 인한 차단 방지 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36" } for company in company_list: df_news = pd.DataFrame(columns=['ID','Day','Head','Main']) # 각 회사별 데이터프레임 초기화 count = 0 #데이터프레임 인덱스 start_time = timeit.default_timer() # 시작 시간 체크 print(company) for day in days_list: print('-----------'+day+'-----------') # 크롤링 과정 중 어디 기간을 수집하는지 확인하기 위해서 # ds와 de를 길게 설정하면 4000개 제한으로 모든 기사를 가져오지 못하므로 하루씩 조회해서 가져온다. url = 'https://search.naver.com/search.naver?where=news&query='+company+'&pd=3&ds='+ day +'&de='+ day + '&start=' link_list = [] # 먼저 네이버뉴스로 확인 가능한 기사만 링크 리스트에 저장 for page in range(0, 400): #네이버 뉴스 최대 조회수가 4000개에 맞게끔 범위 지정 start = page*10+1 #네이버 뉴스는 한페이지에 최대 10개씩 노출 new_url = url + str(start) res = requests.get(new_url) bs_obj = bs4.BeautifulSoup(res.text, 'lxml') list_info = bs_obj.find_all('a', {'class': re.compile('info$')}) #네이버뉴스가 있는 클래스명이 'info' temp_info = bs_obj.find_all('a', {'class': re.compile('news_tit')}) #뉴스 타이틀 for i in list_info: if i.get_text() == '네이버뉴스': c = i.get('href') if c.find('sports') != -1: # 주식과 관련없는 스포츠에 해당되는 뉴스 삭제(실제 스포츠뉴스는 기존 뉴스와 양식도 다름) continue if c not in link_list: # 중복되는 기사가 있으므로 확인 후 리스트에 삽입 link_list.append(c) if len(temp_info) < 10: #링크 크롤링시 종료 조건 설정을 뉴스 타이틀 갯수로 판단 break for link in link_list: #링크 뽑은 후 기사 크롤링 시작 try: #간혹 링크에 따라 들어가더라도 네이버뉴스 창이 아닌 다른 창이 뜨는 경우 발생하여 예외처리 필요 res = requests.get(link, headers=headers) #네이버 뉴스는 헤더없이 접근시 접근 불가 bs_obj = bs4.BeautifulSoup(res.text, 'lxml') a = link.find('sid1') b = link.find('oid') c = link.find('aid') news_id = link[a+5:a+8]+link[b+4:b+7]+link[c+4:c+14] #고유ID 생성 day_span = bs_obj.find('span', {'class':'t11'}) # 뉴스 날짜 if day_span != None: day_info = day_span.text else: day_info = None head_info = bs_obj.find('h3').text # 뉴스 타이틀 main_info = bs_obj.find('div', {'class':'_article_body_contents'}).text.replace("// flash 오류를 우회하기 위한 함수 추가\nfunction _flash_removeCallback() {}","") # 뉴스 본문 except AttributeError as e: #예외 처리시 널값을 넣어서 진행은 하되 추후에 제거 가능하도록 지정 news_id = head_info = main_info = None day_info='0000000000' df_news.loc[count] = [news_id,day_info[0:10],head_info,main_info] #데이터프레임 삽입 count += 1 terminate_time = timeit.default_timer() # 종료 시간 체크 print("%s : %f초" % (company,terminate_time - start_time)) df_news.to_csv("./raw/기사/%s.csv" %(company), mode='w',encoding = 'utf-8-sig') # 각 회사별로 파일 생성