day 15 ] 내 데이터로 출력해보기

1) 데이터 불러오기

import os
from nltk import pos_tag, word_tokenize, sent_tokenize

base = "./scraping/"

corpus = list()
for _ in [_ for _ in os.listdir(base) if "IT" in _][:100]:
    with open(base + _) as fp:
        corpus.append(fp.read())

 

2) 토큰화

from konlpy.tag import Komoran

ma = Komoran()
tokens = list()
for doc in corpus:
    for _ in word_tokenize(doc):
        nonus = ma.nouns(_)
        if len(nonus) > 1:
            tokens.extend(nonus)

 

3) Frequency 가져오기

from nltk.probability import FreqDist
fd = FreqDist(tokens)
fd.most_common(10)

 

4) WordClude 만들기

from wordcloud import WordCloud
font = "/Library/Fonts/AppleGothic.ttf"
wc = WordCloud(font, max_words=30, background_color="white")

 

5) WordClude 출력하기

wc.generate_from_frequencies(fd)
wc.to_image()