1. naive bayes.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import os\n",
    "import sys\n",
    "import numpy as np\n",
    "\n",
    "from nltk.classify import NaiveBayesClassifier\n",
    "import nltk"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "id\tdocument\tlabel\r\n",
      "9976970\t아 더빙.. 진짜 짜증나네요 목소리\t0\r\n",
      "3819312\t흠...포스터보고 초딩영화줄....오버연기조차 가볍지 않구나\t1\r\n",
      "10265843\t너무재밓었다그래서보는것을추천한다\t0\r\n",
      "9045019\t교도소 이야기구먼 ..솔직히 재미는 없다..평점 조정\t0\r\n",
      "6483659\t사이몬페그의 익살스런 연기가 돋보였던 영화!스파이더맨에서 늙어보이기만 했던 커스틴 던스트가 너무나도 이뻐보였다\t1\r\n",
      "5403919\t막 걸음마 뗀 3세부터 초등학교 1학년생인 8살용영화.ㅋㅋㅋ...별반개도 아까움.\t0\r\n",
      "7797314\t원작의 긴장감을 제대로 살려내지못했다.\t0\r\n",
      "9443947\t별 반개도 아깝다 욕나온다 이응경 길용우 연기생활이몇년인지..정말 발로해도 그것보단 낫겟다 납치.감금만반복반복..이드라마는 가족도없다 연기못하는사람만모엿네\t0\r\n",
      "7156791\t액션이 없는데도 재미 있는 몇안되는 영화\t1\r\n"
     ]
    }
   ],
   "source": [
    "!head data/ratings_train.txt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "id\tdocument\tlabel\r\n",
      "6270596\t굳 ㅋ\t1\r\n",
      "9274899\tGDNTOPCLASSINTHECLUB\t0\r\n",
      "8544678\t뭐야 이 평점들은.... 나쁘진 않지만 10점 짜리는 더더욱 아니잖아\t0\r\n",
      "6825595\t지루하지는 않은데 완전 막장임... 돈주고 보기에는....\t0\r\n",
      "6723715\t3D만 아니었어도 별 다섯 개 줬을텐데.. 왜 3D로 나와서 제 심기를 불편하게 하죠??\t0\r\n",
      "7898805\t음악이 주가 된, 최고의 음악영화\t1\r\n",
      "6315043\t진정한 쓰레기\t0\r\n",
      "6097171\t마치 미국애니에서 튀어나온듯한 창의력없는 로봇디자인부터가,고개를 젖게한다\t0\r\n",
      "8932678\t갈수록 개판되가는 중국영화 유치하고 내용없음 폼잡다 끝남 말도안되는 무기에 유치한cg남무 아 그립다 동사서독같은 영화가 이건 3류아류작이다\t0\r\n"
     ]
    }
   ],
   "source": [
    "!head data/ratings_test.txt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "TRAIN_FILE = 'data/ratings_train.txt'\n",
    "TEST_FILE = 'data/ratings_test.txt'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# Read data\n",
    "train_reviews = []\n",
    "with open(TRAIN_FILE, 'r') as f:\n",
    "    next(f) # header skip\n",
    "    for line in f.readlines():\n",
    "        _, review, label = line.strip().split('\\t')\n",
    "        train_reviews.append((review.strip(), label.strip()))\n",
    "        \n",
    "test_reviews = []        \n",
    "with open(TEST_FILE, 'r') as f:\n",
    "    next(f) # header skip\n",
    "    for line in f.readlines():\n",
    "        _, review, label = line.strip().split('\\t')\n",
    "        test_reviews.append((review.strip(), label.strip()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('아 더빙.. 진짜 짜증나네요 목소리', '0'),\n",
       " ('흠...포스터보고 초딩영화줄....오버연기조차 가볍지 않구나', '1'),\n",
       " ('너무재밓었다그래서보는것을추천한다', '0'),\n",
       " ('교도소 이야기구먼 ..솔직히 재미는 없다..평점 조정', '0'),\n",
       " ('사이몬페그의 익살스런 연기가 돋보였던 영화!스파이더맨에서 늙어보이기만 했던 커스틴 던스트가 너무나도 이뻐보였다', '1'),\n",
       " ('막 걸음마 뗀 3세부터 초등학교 1학년생인 8살용영화.ㅋㅋㅋ...별반개도 아까움.', '0'),\n",
       " ('원작의 긴장감을 제대로 살려내지못했다.', '0'),\n",
       " ('별 반개도 아깝다 욕나온다 이응경 길용우 연기생활이몇년인지..정말 발로해도 그것보단 낫겟다 납치.감금만반복반복..이드라마는 가족도없다 연기못하는사람만모엿네',\n",
       "  '0'),\n",
       " ('액션이 없는데도 재미 있는 몇안되는 영화', '1'),\n",
       " ('왜케 평점이 낮은건데? 꽤 볼만한데.. 헐리우드식 화려함에만 너무 길들여져 있나?', '1')]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_reviews[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('굳 ㅋ', '1'),\n",
       " ('GDNTOPCLASSINTHECLUB', '0'),\n",
       " ('뭐야 이 평점들은.... 나쁘진 않지만 10점 짜리는 더더욱 아니잖아', '0'),\n",
       " ('지루하지는 않은데 완전 막장임... 돈주고 보기에는....', '0'),\n",
       " ('3D만 아니었어도 별 다섯 개 줬을텐데.. 왜 3D로 나와서 제 심기를 불편하게 하죠??', '0'),\n",
       " ('음악이 주가 된, 최고의 음악영화', '1'),\n",
       " ('진정한 쓰레기', '0'),\n",
       " ('마치 미국애니에서 튀어나온듯한 창의력없는 로봇디자인부터가,고개를 젖게한다', '0'),\n",
       " ('갈수록 개판되가는 중국영화 유치하고 내용없음 폼잡다 끝남 말도안되는 무기에 유치한cg남무 아 그립다 동사서독같은 영화가 이건 3류아류작이다',\n",
       "  '0'),\n",
       " ('이별의 아픔뒤에 찾아오는 새로운 인연의 기쁨 But, 모든 사람이 그렇지는 않네..', '1')]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_reviews[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from konlpy.tag import Twitter\n",
    "twi_tagger = Twitter()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def tokenizer(doc):\n",
    "    tokens = ['/'.join(t) for t in twi_tagger.pos(doc, norm=True, stem=True)]\n",
    "    return tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 6min 24s, sys: 3.63 s, total: 6min 28s\n",
      "Wall time: 7min 20s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "train_reviews = [(tokenizer(review), label) for review, label in train_reviews]\n",
    "test_reviews = [(tokenizer(review), label) for review, label in test_reviews]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(['아/Exclamation',\n",
       "   '더빙/Noun',\n",
       "   '../Punctuation',\n",
       "   '진짜/Noun',\n",
       "   '짜증/Noun',\n",
       "   '나다/Verb',\n",
       "   '목소리/Noun'],\n",
       "  '0'),\n",
       " (['흠/Noun',\n",
       "   '.../Punctuation',\n",
       "   '포스터/Noun',\n",
       "   '보고/Noun',\n",
       "   '초딩/Noun',\n",
       "   '영화/Noun',\n",
       "   '줄/Noun',\n",
       "   '..../Punctuation',\n",
       "   '오버/Noun',\n",
       "   '연기/Noun',\n",
       "   '조차/Josa',\n",
       "   '가볍다/Adjective',\n",
       "   '않다/Verb'],\n",
       "  '1'),\n",
       " (['너무/Noun',\n",
       "   '재/Noun',\n",
       "   '밓었/Noun',\n",
       "   '다/Josa',\n",
       "   '그래서/Adverb',\n",
       "   '보다/Verb',\n",
       "   '추천/Noun',\n",
       "   '하다/Verb'],\n",
       "  '0'),\n",
       " (['교도소/Noun',\n",
       "   '이야기/Noun',\n",
       "   '구먼/Noun',\n",
       "   '../Punctuation',\n",
       "   '솔직하다/Adjective',\n",
       "   '재미/Noun',\n",
       "   '는/Josa',\n",
       "   '없다/Adjective',\n",
       "   '../Punctuation',\n",
       "   '평점/Noun',\n",
       "   '조정/Noun'],\n",
       "  '0'),\n",
       " (['사이몬페그/Noun',\n",
       "   '의/Josa',\n",
       "   '익살/Noun',\n",
       "   '스런/Josa',\n",
       "   '연기/Noun',\n",
       "   '가/Josa',\n",
       "   '돋보이다/Verb',\n",
       "   '영화/Noun',\n",
       "   '!/Punctuation',\n",
       "   '스파이더맨/Noun',\n",
       "   '에서/Josa',\n",
       "   '늙다/Verb',\n",
       "   '보이다/Verb',\n",
       "   '하다/Verb',\n",
       "   '크다/Verb',\n",
       "   '스틴/Noun',\n",
       "   '던스트/Noun',\n",
       "   '가/Josa',\n",
       "   '너무나/Noun',\n",
       "   '도/Josa',\n",
       "   '이쁘다/Adjective',\n",
       "   '보이다/Verb'],\n",
       "  '1')]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_reviews[:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def term_exists(doc):\n",
    "    return {word: True for word in doc}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "train_xy = [(term_exists(d), c) for d, c in train_reviews] \n",
    "test_xy = [(term_exists(d), c) for d, c in test_reviews] "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[({'../Punctuation': True,\n",
       "   '나다/Verb': True,\n",
       "   '더빙/Noun': True,\n",
       "   '목소리/Noun': True,\n",
       "   '아/Exclamation': True,\n",
       "   '진짜/Noun': True,\n",
       "   '짜증/Noun': True},\n",
       "  '0'),\n",
       " ({'..../Punctuation': True,\n",
       "   '.../Punctuation': True,\n",
       "   '가볍다/Adjective': True,\n",
       "   '보고/Noun': True,\n",
       "   '않다/Verb': True,\n",
       "   '연기/Noun': True,\n",
       "   '영화/Noun': True,\n",
       "   '오버/Noun': True,\n",
       "   '조차/Josa': True,\n",
       "   '줄/Noun': True,\n",
       "   '초딩/Noun': True,\n",
       "   '포스터/Noun': True,\n",
       "   '흠/Noun': True},\n",
       "  '1'),\n",
       " ({'그래서/Adverb': True,\n",
       "   '너무/Noun': True,\n",
       "   '다/Josa': True,\n",
       "   '밓었/Noun': True,\n",
       "   '보다/Verb': True,\n",
       "   '재/Noun': True,\n",
       "   '추천/Noun': True,\n",
       "   '하다/Verb': True},\n",
       "  '0'),\n",
       " ({'../Punctuation': True,\n",
       "   '교도소/Noun': True,\n",
       "   '구먼/Noun': True,\n",
       "   '는/Josa': True,\n",
       "   '솔직하다/Adjective': True,\n",
       "   '없다/Adjective': True,\n",
       "   '이야기/Noun': True,\n",
       "   '재미/Noun': True,\n",
       "   '조정/Noun': True,\n",
       "   '평점/Noun': True},\n",
       "  '0'),\n",
       " ({'!/Punctuation': True,\n",
       "   '가/Josa': True,\n",
       "   '너무나/Noun': True,\n",
       "   '늙다/Verb': True,\n",
       "   '던스트/Noun': True,\n",
       "   '도/Josa': True,\n",
       "   '돋보이다/Verb': True,\n",
       "   '보이다/Verb': True,\n",
       "   '사이몬페그/Noun': True,\n",
       "   '스런/Josa': True,\n",
       "   '스틴/Noun': True,\n",
       "   '스파이더맨/Noun': True,\n",
       "   '에서/Josa': True,\n",
       "   '연기/Noun': True,\n",
       "   '영화/Noun': True,\n",
       "   '의/Josa': True,\n",
       "   '이쁘다/Adjective': True,\n",
       "   '익살/Noun': True,\n",
       "   '크다/Verb': True,\n",
       "   '하다/Verb': True},\n",
       "  '1')]"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_xy[:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[({'ㅋ/KoreanParticle': True, '굳다/Adjective': True}, '1'),\n",
       " ({'GDNTOPCLASSINTHECLUB/Alpha': True}, '0'),\n",
       " ({'..../Punctuation': True,\n",
       "   '10/Number': True,\n",
       "   '나쁘다/Adjective': True,\n",
       "   '는/Josa': True,\n",
       "   '더/Noun': True,\n",
       "   '더욱/Noun': True,\n",
       "   '들/Suffix': True,\n",
       "   '리/Noun': True,\n",
       "   '뭐/Noun': True,\n",
       "   '아니다/Adjective': True,\n",
       "   '않다/Verb': True,\n",
       "   '야/Josa': True,\n",
       "   '은/Josa': True,\n",
       "   '이/Noun': True,\n",
       "   '점/Noun': True,\n",
       "   '짜다/Verb': True,\n",
       "   '평점/Noun': True},\n",
       "  '0'),\n",
       " ({'..../Punctuation': True,\n",
       "   '.../Punctuation': True,\n",
       "   '돈/Noun': True,\n",
       "   '막장/Noun': True,\n",
       "   '보기/Noun': True,\n",
       "   '않다/Verb': True,\n",
       "   '에는/Josa': True,\n",
       "   '완전/Noun': True,\n",
       "   '임/Noun': True,\n",
       "   '주다/Verb': True,\n",
       "   '지루하다/Adjective': True},\n",
       "  '0'),\n",
       " ({'../Punctuation': True,\n",
       "   '3/Number': True,\n",
       "   '??/Punctuation': True,\n",
       "   'D/Alpha': True,\n",
       "   '개/Noun': True,\n",
       "   '나오다/Verb': True,\n",
       "   '다섯/Noun': True,\n",
       "   '로/Noun': True,\n",
       "   '를/Josa': True,\n",
       "   '만/Noun': True,\n",
       "   '별/Noun': True,\n",
       "   '불편하다/Adjective': True,\n",
       "   '심기/Noun': True,\n",
       "   '아니다/Adjective': True,\n",
       "   '왜/Noun': True,\n",
       "   '제/Noun': True,\n",
       "   '주다/Verb': True,\n",
       "   '하다/Verb': True},\n",
       "  '0')]"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_xy[:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 3.96 s, sys: 61.8 ms, total: 4.02 s\n",
      "Wall time: 4.03 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "classifier = NaiveBayesClassifier.train(train_xy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.83504"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Accuracy\n",
    "nltk.classify.util.accuracy(classifier, test_xy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Most Informative Features\n",
      "                 최악/Noun = True                0 : 1      =     68.0 : 1.0\n",
      "               울컥/Adverb = True                1 : 0      =     58.6 : 1.0\n",
      "               ♥/Foreign = True                1 : 0      =     57.1 : 1.0\n",
      "                 낚였/Noun = True                0 : 1      =     48.8 : 1.0\n",
      "              Good/Alpha = True                1 : 0      =     48.6 : 1.0\n",
      "                 낭비/Noun = True                0 : 1      =     47.4 : 1.0\n",
      "                 펑펑/Noun = True                1 : 0      =     46.1 : 1.0\n",
      "                 또봐/Noun = True                1 : 0      =     42.5 : 1.0\n",
      "                 반개/Noun = True                0 : 1      =     41.1 : 1.0\n",
      "                개그맨/Noun = True                0 : 1      =     39.5 : 1.0\n"
     ]
    }
   ],
   "source": [
    "classifier.show_most_informative_features()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}