뉴스 기사로 주가의 방향을 예측해 보자

import pandas as pd import re import timeit company = pd.read_csv('./raw/19년 1월 2일 기준(코스피).csv',encoding='utf-8') company_list = company.iloc[:100,]['종목명'][0:100] # 시총 상위 100개 기업 리스트 for company in company_list: start_time = timeit.default_timer() # 시작 시간 체크 df = pd.read_csv("./raw/기사/%s.csv" %(company)) df_del = df[df['Day']=='0000000000'].index # 이전 뉴스 스크래핑 당시에 형식에 맞지 않은 기사는 00000000을 넣어주어서 결측치 처리 df1 = df.drop(df_del) # 형태소 처리 전단계까지 전처리한 Head, Main 컬럼 data_head = [] data_main = [] data_day = [] data_id = [] for idx, val in df1.iterrows(): # 한글, 띄어쓰기 제외한 모든 문자 제거 parse = re.compile('[^ ㄱ-ㅣ가-힣+]') # 간단한 정규표현식 if val['Main'] == None or val['Head'] == None or val['Day'] == '0000000000': continue result_main = parse.sub('', str(val['Main'])) result_head = parse.sub('', str(val['Head'])) result_day = str(val['Day']) result_id = str(val['ID']) data_head.append(result_head) data_main.append(result_main) data_day.append(result_day) data_id.append(result_id) col_name1 = ['Head_after'] trans_head = pd.DataFrame(data_head, columns=col_name1) col_name2 = ['Main_after'] trans_main = pd.DataFrame(data_main, columns=col_name2) col_name3 = ['Day'] trans_day = pd.DataFrame(data_day, columns=col_name3) col_name4 = ['ID'] trans_id = pd.DataFrame(data_id, columns=col_name4) df3 = pd.concat([trans_id,trans_day, trans_head, trans_main], axis = 1) df3.to_csv("./전처리/1차 전처리 기사/%s_전처리.csv" %(company), mode='w',encoding = 'utf-8-sig') terminate_time = timeit.default_timer() # 종료 시간 체크 print("%s : %f초" % (company,terminate_time - start_time))

from eunjeon import Mecab main = df_total['Main_after'] for i, news in enumerate(main): nouns_list = mecab.nouns('%s' %news)

import pickle stopwords = ''' 이곳에 불용어로 만들고 싶은 단어들을 넣자 '''.split('\n') with open('word_dict.pkl','wb') as f: pickle.dump(stopwords,f)

import pandas as pd import numpy as np import re import timeit import pickle from eunjeon import Mecab mecab = Mecab() with open('word_dict.pkl','rb') as f: stopwords = pickle.load(f) company = pd.read_csv('./raw/19년 1월 2일 기준(코스피).csv',encoding='utf-8') company_list = company.iloc[:100,]['종목명'][0:100]# 시총 상위 100개 기업 리스트 total_df = pd.DataFrame(columns=['Company','Day','Main','Head']) # 분석 중에 불용어 사전에 추가하고 업로드하기 힘들 경우, 아래와 같이 리스트를 추가해서 사용 list_del= ['기사','기자','신문','네이버','뉴스','연합뉴스','하이닉스','텔레콤','사진','데일리','가운데','구독',\ '이날','이후','지난해','최근','삼성','종목','한국','거래소','현대','종합','주요'] + company_list.to_list() stopwords += list_del for company in company_list: df = pd.read_csv("./전처리/1차 전처리 기사/%s_전처리.csv" %(company),encoding='utf-8') df.dropna(axis=0,inplace=True) df['Day']=df['Day'].str[:10] df_head = df.groupby(['Day'])['Head_after'].apply(' '.join).reset_index() df_main = df.groupby(['Day'])['Main_after'].apply(' '.join).reset_index() df_total = pd.merge(df_head,df_main,on='Day') temp_pd = pd.DataFrame() print("------"+ company +"------") start_time = timeit.default_timer() main = df_total['Main_after'] temp_list_main = [] for i, news in enumerate(main): nouns_list = mecab.nouns('%s' %news) # mecab에서 nouns라는 명사 추출하는 함수 사용 clean_words = [] for word in nouns_list: if len(word) < 2: # 단어가 한글자인 경우 생략 continue if word not in stopwords: # 단어가 불용어 사전에 없을 경우만 리스트에 삽입 clean_words.append(word) total_nouns = ' '.join(clean_words) temp_list_main.append(total_nouns) terminate_time = timeit.default_timer() print("Main 처리 시간 : %f초" % (terminate_time - start_time)) start_time = timeit.default_timer() head = df_total['Head_after'] temp_list_head = [] for i, news in enumerate(head): nouns_list = mecab.nouns('%s' %news) clean_words = [] for word in nouns_list: if len(word) < 2: continue if word not in stopwords: clean_words.append(word) total_nouns = ' '.join(clean_words) temp_list_head.append(total_nouns) terminate_time = timeit.default_timer() print("Head 처리 시간 : %f초" % (terminate_time - start_time)) temp_pd['Main'] = temp_list_main temp_pd['Head'] = temp_list_head df2 = df_total.loc[:,['Day']] new_df = pd.concat([df2, temp_pd], axis = 1) total_df = pd.concat([total_df,new_df]) total_df.fillna('%s' %(company),inplace=True) total_df.to_csv("./전처리/2차 전처리(토큰화)/total_df.csv" , mode='w',encoding = 'utf-8-sig')

total_df = pd.read_csv('./전처리/2차 전처리(토큰화)/total_df.csv') total_df.dropna(axis=0,inplace=True) # TF-IDF를 이용하기 위한 라이브러리 from sklearn.feature_extraction.text import TfidfVectorizer list_features =[500,1000,1500,2000] for i in list_features: start_time = timeit.default_timer() text = total_df['Head'].to_list() # min_df : 최소한의 문서에서 나타나야할 빈도 # max_features : TF-IDF 중 피쳐의 최대 갯수 설정 tfidf_vectorizer = TfidfVectorizer(min_df = 300, max_features = i) tfidfv = tfidf_vectorizer.fit(text) # 벡터라이저가 단어 학습 final_df = pd.DataFrame(tfidfv.transform(text).toarray(), columns=sorted(tfidf_vectorizer.vocabulary_)) df3 = total_df.loc[:,['Company','Day']].reset_index().drop(['index'],axis=1) df4 = pd.concat([df3, final_df], axis = 1) terminate_time = timeit.default_timer() print("TF-IDF 처리 시간 : %f초" % (terminate_time - start_time)) df4.to_csv("./전처리/TF-IDF/head_tf-idf_%s.csv" %(str(i)) , mode='w',encoding = 'utf-8-sig')

import pandas as pd mcp = pd.read_csv('./raw/marcap-2019.csv') # 19년 1월 2일 기준 KOSPI 시가총액 상위 100개 mcp1 = mcp[ (mcp['Date'] == '2019-01-02') & (mcp['Marcap'][(mcp['Date']=='2019-01-02') & (mcp['Market']=='KOSPI')].rank(ascending=False) <= 100) ] codes = mcp1['Code'].values # 위의 기준에 맞는 기업들의 code들을 가져온다. df = mcp[mcp['Code'].isin(list(codes))] # 그리고 그 code와 일치하는 기업만 새로운 df로 만들어준다. df_stock = df.copy() # ChangeCode : 기본 라벨값 # 1: 전일대비 상승 1 -> 1 # 2 : 전일대비 하락 2 -> 0으로 변경 # 3 : 등락 변동 없음 3 -> 1로 변경 (라벨 1은 결국 손실이 없는 경우, 라벨 2는 손실이 발생한 경우) df_stock['ChangeCode'][df_stock['ChangeCode']==2] = 0 df_stock['ChangeCode'][df_stock['ChangeCode']==3] = 1 # 변경된 라벨로 csv로 만들어주자 df_stock1 = df_stock[['Code','Name','ChangeCode','Date']] df_stock1 = df_stock1.sort_values(by=['Code','Date']) df_stock1.to_csv('./전처리/df_stock.csv', encoding='utf-8')

import numpy as np import matplotlib as mp import matplotlib.pyplot as plt mp.rcParams['axes.unicode_minus'] = False # 폰트 깨짐 방지 plt.rcParams["font.family"] = 'Malgun Gothic' # 그래프 폰트 plt.hist(df_stock['ChagesRatio'],range=(-30,30), bins=60, density=True) plt.xlabel('전일 종가 대비 변화율', size=12) plt.ylabel('density', size=12) plt.title('코스피 시가총액 상위 100위 종목 변화율 분포도', size = 10) plt.show()

import pandas as pd from sklearn.preprocessing import LabelEncoder df= pd.read_csv("./전처리/df_stock.csv") df_stock = df.drop(['Unnamed: 0','Code'],axis = 1) # 1월3일의 결과를 1월 2일의 기사를 토대로 예측해야 하므로 한칸 위로 df_stock['target']=df_stock['ChangeCode'].shift(-1) # shift가 발생하면서 1월2일의 라벨들이 12월 30이롤 이동하기 때문에 삭제 check = (df_stock['Date'] == '2019-12-30') # ~ 기호를 이용하여, 해당하지 않은 데이터만 남긴다 df_stock = df_stock[~check] # 라벨인코딩을 통해서, 해당 타겟 값을 바꿔준다. encoder = LabelEncoder() encoder.fit(df_stock['target']) labels = encoder.transform(df_stock['target']) df_stock['target'] = labels

from pycaret.classification import * # main - feature 500 df_news = pd.read_csv('./전처리/TF-IDF/main_tf-idf_500.csv') # 주식 데이터와 뉴스 데이터를 맞추기 위해서, # 회사의 이름과 날짜를 하나의 id(키) 역할로 만듬 df_stock['Date'] = df_stock['Date'].str.replace('-','.') df_stock['id'] = df_stock['Name']+df_stock['Date'] df_news['id'] = df_news['Company']+df_news['Day'] total_df = pd.merge(df_stock, df_news, on = 'id').drop(['Name','Date','id','Company','Day','Unnamed: 0','ChangeCode'],axis=1) total_df = total_df.dropna() #### pycaret 사용 #### setup_clf = setup(data=total_df, target='target', session_id = 1, use_gpu = True) top5_main_500 = compare_models(sort='Accuracy', n_select=5, exclude=['catboost','gbc']) # 해당 모델들이 시간이 너무 걸려서 그냥 빼버림 ㅠㅠ

import numpy as np pred_proba = lr_clf.predict_proba(X_test) # 각 결과의 대한 예측 확률 pred = lr_clf.predict(X_test) pred_proba_result = np.concatenate([pred_proba, pred.reshape(-1,1)], axis = 1) df_proba = pd.DataFrame(pred_proba_result)

import matplotlib.pyplot as plt import seaborn as sns plt.rcParams['figure.figsize'] = [10, 6] %matplotlib inline fig, ax = plt.subplots() ax.boxplot([df_proba[0], df_proba[1]], sym="b*") plt.xticks([1, 2]) plt.show()

# 0을 예측하는 확률의 분포 plt.hist(df_proba[0], bins=100, density=True, alpha=0.7, histtype='stepfilled') plt.show

from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score, roc_auc_score def get_clf_eval(y_test, pred): print("오차 행렬\n", confusion_matrix(y_test, pred)) print("정확도 : ", accuracy_score(y_test, pred)) print("정밀도 : ", precision_score(y_test, pred)) print("재현율 : ", recall_score(y_test, pred)) print("f1 : ", f1_score(y_test,pred)) print("roc : ", roc_auc_score(y_test,pred)) from sklearn.preprocessing import Binarizer thresholds = [0.2,0.25,0.3,0.35,0.4,0.45,0.5,0.55] def get_eval_by_threshold(y_test, pred_proba, thresholds): for custom in thresholds: binarizer = Binarizer(threshold=custom).fit(pred_proba) custom_predict = binarizer.transform(pred_proba) print(f"임곗값 : {custom}") get_clf_eval(y_test, custom_predict) get_eval_by_threshold(y_test, pred_proba[:,1].reshape(-1,1), thresholds)

from sklearn.metrics import precision_recall_curve def precision_recall_curve_plot(y_test, pred_proba): precisions, recalls, thresholds = precision_recall_curve(y_test, pred_proba) plt.figure(figsize = (8,6)) # x축 범위 설정 threshold_boundary = thresholds.shape[0] #정밀도와 재현율 시각화 plt.plot(thresholds, precisions[0:threshold_boundary], linestyle='--', label = 'precision') plt.plot(thresholds, recalls[0:threshold_boundary], label='recall') start,end =plt.xlim() # x축 설정 plt.xticks(np.round(np.arange(start,end,0.1),2)) plt.xlabel('Threshold value'); plt.ylabel('precision and Recall value') plt.legend(); plt.grid() plt.show() precision_recall_curve_plot(y_test, lr_clf.predict_proba(X_test)[:,1])

import eli5 from eli5.sklearn import PermutationImportance perm1 = PermutationImportance(lr_clf, scoring = "f1", random_state = 42).fit(X_test, y_test) eli5.show_weights(perm1, top = 80, feature_names = X_test.columns.tolist())