02-PyTorch/16-torchtext-tutorial.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "e18da0ba",
   "metadata": {},
   "source": [
    "# torchtext 튜토리얼"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "16444ce1",
   "metadata": {},
   "source": [
    "## 샘플 데이터셋 다운로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "01e566bc",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "('bbc-text.csv', <http.client.HTTPMessage at 0x7fef4303e940>)"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import urllib\n",
    "\n",
    "url = 'https://storage.googleapis.com/download.tensorflow.org/data/bbc-text.csv'\n",
    "urllib.request.urlretrieve(url, 'bbc-text.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "58f9fb90",
   "metadata": {},
   "source": [
    "Pandas로 데이터 로드 및 출력"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "e1ecbacf",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>category</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>tech</td>\n",
       "      <td>tv future in the hands of viewers with home th...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>business</td>\n",
       "      <td>worldcom boss  left books alone  former worldc...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>sport</td>\n",
       "      <td>tigers wary of farrell  gamble  leicester say ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>sport</td>\n",
       "      <td>yeading face newcastle in fa cup premiership s...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>ocean s twelve raids box office ocean s twelve...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2220</th>\n",
       "      <td>business</td>\n",
       "      <td>cars pull down us retail figures us retail sal...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2221</th>\n",
       "      <td>politics</td>\n",
       "      <td>kilroy unveils immigration policy ex-chatshow ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2222</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>rem announce new glasgow concert us band rem h...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2223</th>\n",
       "      <td>politics</td>\n",
       "      <td>how political squabbles snowball it s become c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2224</th>\n",
       "      <td>sport</td>\n",
       "      <td>souness delight at euro progress boss graeme s...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2225 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "           category                                               text\n",
       "0              tech  tv future in the hands of viewers with home th...\n",
       "1          business  worldcom boss  left books alone  former worldc...\n",
       "2             sport  tigers wary of farrell  gamble  leicester say ...\n",
       "3             sport  yeading face newcastle in fa cup premiership s...\n",
       "4     entertainment  ocean s twelve raids box office ocean s twelve...\n",
       "...             ...                                                ...\n",
       "2220       business  cars pull down us retail figures us retail sal...\n",
       "2221       politics  kilroy unveils immigration policy ex-chatshow ...\n",
       "2222  entertainment  rem announce new glasgow concert us band rem h...\n",
       "2223       politics  how political squabbles snowball it s become c...\n",
       "2224          sport  souness delight at euro progress boss graeme s...\n",
       "\n",
       "[2225 rows x 2 columns]"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "df = pd.read_csv('bbc-text.csv')\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4fd4e1f6",
   "metadata": {},
   "source": [
    "## 토크나이저 생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "1eb7416f",
   "metadata": {},
   "outputs": [],
   "source": [
    "from torchtext.data.utils import get_tokenizer"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e55cac9c",
   "metadata": {},
   "source": [
    "tokenizer의 타입으로는 `basic_english`, `spacy`, `moses`, `toktok`, `revtok`, `subword` 이 있습니다.\n",
    "\n",
    "다만, 이 중 몇개의 타입은 추가 패키지가 설치되어야 정상 동작합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "2b9635d1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['i', \"'\", 'd', 'like', 'to', 'learn', 'torchtext']"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer = get_tokenizer('basic_english', language='en')\n",
    "tokenizer(\"I'd like to learn torchtext\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fe0ca85a",
   "metadata": {},
   "source": [
    "토큰 타입을 지정하면 그에 맞는 tokenizer를 반환하는 함수를 생성한 뒤 원하는 타입을 지정하여 tokenizer를 생성할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "d3e0dcab",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_tokenizer(tokenizer_type, language='en'):\n",
    "    return get_tokenizer(tokenizer_type, language=language)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "04b4b4e0",
   "metadata": {},
   "source": [
    "`basic_english`를 적용한 경우"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "e42fb933",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['i', \"'\", 'd', 'like', 'to', 'learn', 'torchtext']"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer = generate_tokenizer('basic_english')\n",
    "tokenizer(\"I'd like to learn torchtext\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2f79eaf1",
   "metadata": {},
   "source": [
    "`toktok`을 적용한 경우"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "6c58dac6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['I', \"'\", 'd', 'like', 'to', 'learn', 'torchtext']"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer = generate_tokenizer('toktok')\n",
    "tokenizer(\"I'd like to learn torchtext\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "ae2c6d2f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['I', \"'d\", 'like', 'to', 'learn', 'torchtext']"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from nltk.tokenize import word_tokenize\n",
    "\n",
    "word_tokenize(\"I'd like to learn torchtext\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "79b58397",
   "metadata": {},
   "source": [
    "## 필드(Field) 정의"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "0a82326f",
   "metadata": {},
   "outputs": [],
   "source": [
    "from torchtext.legacy import data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "93659a49",
   "metadata": {},
   "source": [
    "`torchtext.legacy.data.Field` \n",
    "- `Field` 클래스는 `Tensor`로 변환하기 위한 지침과 함께 데이터 유형을 정의합니다. \n",
    "- `Field` 객체는 `vocab` 개체를 보유합니다.\n",
    "- `Field` 객체는 토큰화 방법, 생성할 Tensor 종류와 같이 데이터 유형을 수치화하는 역할을 수행합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "faf5b516",
   "metadata": {},
   "outputs": [],
   "source": [
    "TEXT = data.Field(sequential=True,    # 순서를 반영\n",
    "                  tokenize=tokenizer, # tokenizer 지정\n",
    "                  fix_length=120,     # 한 문장의 최대 길이 지정\n",
    "                  lower=True,         # 소문자 화\n",
    "                  batch_first=True)   # batch 를 가장 먼저 출력\n",
    "\n",
    "\n",
    "LABEL = data.Field(sequential=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ae60ee06",
   "metadata": {},
   "source": [
    "`fields` 변수에 dictionary를 생성합니다.\n",
    "- `key`: 읽어 들여올 파일의 열 이름을 지정합니다.\n",
    "- `value`: (`문자열`, `data.Field`) 형식으로 지정합니다. 여기서 지정한 문자열이 나중에 생성된 data의 변수 이름으로 생성됩니다.\n",
    "\n",
    "(참고) fields에 `[('text', TEXT), ('label', LABEL)]` 와 같이 생성하는 경우도 있습니다. 컬러명 변경이 필요하지 않은 경우는 `List(tuple(컬럼명, 변수))`로 생성할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "13c7cf12",
   "metadata": {},
   "outputs": [],
   "source": [
    "fields = {\n",
    "    'text': ('text', TEXT), \n",
    "    'category': ('label', LABEL)\n",
    "}"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4920e0d0",
   "metadata": {},
   "source": [
    "## 데이터셋 로드 및 분할"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "956d3b98",
   "metadata": {},
   "source": [
    "`TabularDataset` 클래스는 정형 데이터파일로부터 직접 데이터를 읽을 때 유용합니다.\n",
    "\n",
    "지원하는 파일 형식은 `CSV`, `JSON`, `TSV` 을 지원합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "3bbb6f72",
   "metadata": {},
   "outputs": [],
   "source": [
    "import random\n",
    "from torchtext.legacy.data import TabularDataset\n",
    "\n",
    "SEED = 123\n",
    "\n",
    "dataset = TabularDataset(path='bbc-text.csv',  # 파일의 경로\n",
    "                         format='CSV',         # 형식 지정\n",
    "                         fields=fields,        # 이전에 생성한 field 지정\n",
    "#                          skip_header=True    # 첫 번째 행은 컬러명이므로 skip\n",
    "                        )        "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9a817a3b",
   "metadata": {},
   "source": [
    "이전에 생성한 `dataset` 변수로 train / test 데이터셋을 분할 합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "5c0b5dc0",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_data, test_data = dataset.split(split_ratio=0.8,               # 분할 비율\n",
    "                                      stratified=True,               # stratify 여부\n",
    "                                      strata_field='label',          # stratify 대상 컬럼명\n",
    "                                      random_state=random.seed(SEED) # 시드\n",
    "                                     )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "800199d5",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(1781, 444)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 생성된 train / test 데이터셋의 크기를 출력 합니다.\n",
    "len(train_data), len(test_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4a12a8f3",
   "metadata": {},
   "source": [
    "## 단어 사전 생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "ddba3162",
   "metadata": {},
   "outputs": [],
   "source": [
    "TEXT.build_vocab(train_data, \n",
    "                 max_size=1000,             # 최대 vocab_size 지정 (미지정시 전체 단어사전 개수 대입)\n",
    "                 min_freq=5,                # 최소 빈도 단어수 지정\n",
    "                 vectors='glove.6B.100d')   # 워드임베딩 vector 지정, None으로 지정시 vector 사용 안함\n",
    "\n",
    "LABEL.build_vocab(train_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "5c89b7dd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1002"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "NUM_VOCABS = len(TEXT.vocab.stoi)\n",
    "NUM_VOCABS"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "986dfc42",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('the', 41674),\n",
       " ('to', 19644),\n",
       " ('of', 15674),\n",
       " ('and', 14621),\n",
       " ('a', 14327),\n",
       " ('in', 13995),\n",
       " ('s', 7126),\n",
       " ('for', 7054),\n",
       " ('is', 6535),\n",
       " ('that', 6329)]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "TEXT.vocab.freqs.most_common(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "04a2b574",
   "metadata": {},
   "source": [
    "`TEXT.vocab.stoi`는 문자열을 index로, `TEXT.vocab.itos`는 index를 문자열로 변환합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "08c0c78a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "defaultdict(<bound method Vocab._default_unk_index of <torchtext.legacy.vocab.Vocab object at 0x7fef540744f0>>,\n",
       "            {'<unk>': 0,\n",
       "             '<pad>': 1,\n",
       "             'the': 2,\n",
       "             'to': 3,\n",
       "             'of': 4,\n",
       "             'and': 5,\n",
       "             'a': 6,\n",
       "             'in': 7,\n",
       "             's': 8,\n",
       "             'for': 9,\n",
       "             'is': 10,\n",
       "             'that': 11,\n",
       "             'it': 12,\n",
       "             'on': 13,\n",
       "             'was': 14,\n",
       "             'said': 15,\n",
       "             'he': 16,\n",
       "             'be': 17,\n",
       "             'with': 18,\n",
       "             'has': 19,\n",
       "             'as': 20,\n",
       "             'have': 21,\n",
       "             'at': 22,\n",
       "             'by': 23,\n",
       "             'are': 24,\n",
       "             'but': 25,\n",
       "             'will': 26,\n",
       "             '.': 27,\n",
       "             'i': 28,\n",
       "             'from': 29,\n",
       "             'not': 30,\n",
       "             '-': 31,\n",
       "             'they': 32,\n",
       "             'his': 33,\n",
       "             'we': 34,\n",
       "             'mr': 35,\n",
       "             'an': 36,\n",
       "             'this': 37,\n",
       "             'had': 38,\n",
       "             'which': 39,\n",
       "             'been': 40,\n",
       "             'would': 41,\n",
       "             'their': 42,\n",
       "             'more': 43,\n",
       "             'its': 44,\n",
       "             'were': 45,\n",
       "             'also': 46,\n",
       "             ')': 47,\n",
       "             '(': 48,\n",
       "             'who': 49,\n",
       "             '%': 50,\n",
       "             'new': 51,\n",
       "             'people': 52,\n",
       "             'up': 53,\n",
       "             'us': 54,\n",
       "             'there': 55,\n",
       "             'about': 56,\n",
       "             ':': 57,\n",
       "             'one': 58,\n",
       "             'after': 59,\n",
       "             'than': 60,\n",
       "             'can': 61,\n",
       "             'or': 62,\n",
       "             'out': 63,\n",
       "             'could': 64,\n",
       "             'if': 65,\n",
       "             'year': 66,\n",
       "             'you': 67,\n",
       "             'all': 68,\n",
       "             'over': 69,\n",
       "             'said.': 70,\n",
       "             'when': 71,\n",
       "             'last': 72,\n",
       "             '£': 73,\n",
       "             'first': 74,\n",
       "             't': 75,\n",
       "             'two': 76,\n",
       "             'other': 77,\n",
       "             'into': 78,\n",
       "             '$': 79,\n",
       "             'some': 80,\n",
       "             'world': 81,\n",
       "             'government': 82,\n",
       "             'what': 83,\n",
       "             'now': 84,\n",
       "             'time': 85,\n",
       "             'she': 86,\n",
       "             'uk': 87,\n",
       "             'so': 88,\n",
       "             'against': 89,\n",
       "             'only': 90,\n",
       "             'told': 91,\n",
       "             'just': 92,\n",
       "             'being': 93,\n",
       "             'make': 94,\n",
       "             'do': 95,\n",
       "             'no': 96,\n",
       "             'get': 97,\n",
       "             'best': 98,\n",
       "             'such': 99,\n",
       "             'very': 100,\n",
       "             'many': 101,\n",
       "             'made': 102,\n",
       "             'because': 103,\n",
       "             'while': 104,\n",
       "             'labour': 105,\n",
       "             'them': 106,\n",
       "             'before': 107,\n",
       "             'like': 108,\n",
       "             'should': 109,\n",
       "             'film': 110,\n",
       "             'next': 111,\n",
       "             'years': 112,\n",
       "             'her': 113,\n",
       "             '000': 114,\n",
       "             'number': 115,\n",
       "             'game': 116,\n",
       "             'three': 117,\n",
       "             'bbc': 118,\n",
       "             'most': 119,\n",
       "             'take': 120,\n",
       "             'back': 121,\n",
       "             'any': 122,\n",
       "             'way': 123,\n",
       "             'set': 124,\n",
       "             'music': 125,\n",
       "             'our': 126,\n",
       "             'may': 127,\n",
       "             'company': 128,\n",
       "             'since': 129,\n",
       "             'my': 130,\n",
       "             'home': 131,\n",
       "             'england': 132,\n",
       "             'still': 133,\n",
       "             'well': 134,\n",
       "             'then': 135,\n",
       "             'those': 136,\n",
       "             'good': 137,\n",
       "             'how': 138,\n",
       "             'blair': 139,\n",
       "             'going': 140,\n",
       "             'million': 141,\n",
       "             'much': 142,\n",
       "             'won': 143,\n",
       "             'market': 144,\n",
       "             'down': 145,\n",
       "             'firm': 146,\n",
       "             'between': 147,\n",
       "             'think': 148,\n",
       "             'go': 149,\n",
       "             'second': 150,\n",
       "             'win': 151,\n",
       "             'work': 152,\n",
       "             'says': 153,\n",
       "             'games': 154,\n",
       "             'want': 155,\n",
       "             'did': 156,\n",
       "             'off': 157,\n",
       "             'play': 158,\n",
       "             'used': 159,\n",
       "             'part': 160,\n",
       "             'use': 161,\n",
       "             'him': 162,\n",
       "             'minister': 163,\n",
       "             'mobile': 164,\n",
       "             'both': 165,\n",
       "             'added': 166,\n",
       "             'say': 167,\n",
       "             'party': 168,\n",
       "             'top': 169,\n",
       "             'these': 170,\n",
       "             'public': 171,\n",
       "             'through': 172,\n",
       "             'european': 173,\n",
       "             'british': 174,\n",
       "             'see': 175,\n",
       "             'under': 176,\n",
       "             'show': 177,\n",
       "             'technology': 178,\n",
       "             'election': 179,\n",
       "             'even': 180,\n",
       "             'however': 181,\n",
       "             '2004': 182,\n",
       "             'sales': 183,\n",
       "             'tv': 184,\n",
       "             'where': 185,\n",
       "             'put': 186,\n",
       "             ';': 187,\n",
       "             'expected': 188,\n",
       "             'already': 189,\n",
       "             'brown': 190,\n",
       "             'four': 191,\n",
       "             'chief': 192,\n",
       "             'news': 193,\n",
       "             'end': 194,\n",
       "             'six': 195,\n",
       "             'players': 196,\n",
       "             'week': 197,\n",
       "             'during': 198,\n",
       "             'former': 199,\n",
       "             'country': 200,\n",
       "             'five': 201,\n",
       "             'growth': 202,\n",
       "             'come': 203,\n",
       "             'group': 204,\n",
       "             'according': 205,\n",
       "             'london': 206,\n",
       "             'own': 207,\n",
       "             'companies': 208,\n",
       "             'director': 209,\n",
       "             'don': 210,\n",
       "             'm': 211,\n",
       "             'plans': 212,\n",
       "             'britain': 213,\n",
       "             '10': 214,\n",
       "             'service': 215,\n",
       "             'year.': 216,\n",
       "             'help': 217,\n",
       "             'big': 218,\n",
       "             'economic': 219,\n",
       "             'including': 220,\n",
       "             'economy': 221,\n",
       "             'need': 222,\n",
       "             'bank': 223,\n",
       "             'deal': 224,\n",
       "             'digital': 225,\n",
       "             'phone': 226,\n",
       "             'international': 227,\n",
       "             'around': 228,\n",
       "             'industry': 229,\n",
       "             'another': 230,\n",
       "             'users': 231,\n",
       "             'me': 232,\n",
       "             'money': 233,\n",
       "             'too': 234,\n",
       "             'firms': 235,\n",
       "             'net': 236,\n",
       "             'record': 237,\n",
       "             'tax': 238,\n",
       "             'right': 239,\n",
       "             'came': 240,\n",
       "             'took': 241,\n",
       "             'got': 242,\n",
       "             'system': 243,\n",
       "             'services': 244,\n",
       "             'france': 245,\n",
       "             'howard': 246,\n",
       "             'know': 247,\n",
       "             'general': 248,\n",
       "             'months': 249,\n",
       "             'move': 250,\n",
       "             'place': 251,\n",
       "             'spokesman': 252,\n",
       "             'third': 253,\n",
       "             'really': 254,\n",
       "             'great': 255,\n",
       "             'open': 256,\n",
       "             'start': 257,\n",
       "             'wales': 258,\n",
       "             'report': 259,\n",
       "             'same': 260,\n",
       "             'hit': 261,\n",
       "             'business': 262,\n",
       "             'using': 263,\n",
       "             'europe': 264,\n",
       "             'president': 265,\n",
       "             'prime': 266,\n",
       "             'united': 267,\n",
       "             'despite': 268,\n",
       "             'team': 269,\n",
       "             'video': 270,\n",
       "             'foreign': 271,\n",
       "             'day': 272,\n",
       "             'ireland': 273,\n",
       "             'software': 274,\n",
       "             'o': 275,\n",
       "             'seen': 276,\n",
       "             'your': 277,\n",
       "             'china': 278,\n",
       "             'without': 279,\n",
       "             'better': 280,\n",
       "             'court': 281,\n",
       "             'likely': 282,\n",
       "             'national': 283,\n",
       "             'given': 284,\n",
       "             'club': 285,\n",
       "             'give': 286,\n",
       "             'lost': 287,\n",
       "             'oil': 288,\n",
       "             'saying': 289,\n",
       "             'far': 290,\n",
       "             'media': 291,\n",
       "             'office': 292,\n",
       "             'called': 293,\n",
       "             'able': 294,\n",
       "             'figures': 295,\n",
       "             'final': 296,\n",
       "             'found': 297,\n",
       "             'side': 298,\n",
       "             'data': 299,\n",
       "             'every': 300,\n",
       "             'real': 301,\n",
       "             'security': 302,\n",
       "             've': 303,\n",
       "             'although': 304,\n",
       "             'whether': 305,\n",
       "             'high': 306,\n",
       "             'legal': 307,\n",
       "             '2005': 308,\n",
       "             'long': 309,\n",
       "             'state': 310,\n",
       "             'decision': 311,\n",
       "             'become': 312,\n",
       "             'cup': 313,\n",
       "             'lot': 314,\n",
       "             'offer': 315,\n",
       "             'information': 316,\n",
       "             'life': 317,\n",
       "             'michael': 318,\n",
       "             'recent': 319,\n",
       "             'computer': 320,\n",
       "             'executive': 321,\n",
       "             'online': 322,\n",
       "             'campaign': 323,\n",
       "             'internet': 324,\n",
       "             'lord': 325,\n",
       "             'radio': 326,\n",
       "             'due': 327,\n",
       "             'early': 328,\n",
       "             'taking': 329,\n",
       "             'making': 330,\n",
       "             'biggest': 331,\n",
       "             'law': 332,\n",
       "             'does': 333,\n",
       "             'played': 334,\n",
       "             'action': 335,\n",
       "             'away': 336,\n",
       "             'later': 337,\n",
       "             'star': 338,\n",
       "             'went': 339,\n",
       "             'look': 340,\n",
       "             'looking': 341,\n",
       "             'future': 342,\n",
       "             'countries': 343,\n",
       "             'few': 344,\n",
       "             'less': 345,\n",
       "             'hard': 346,\n",
       "             'playing': 347,\n",
       "             'currently': 348,\n",
       "             'eu': 349,\n",
       "             'major': 350,\n",
       "             'rise': 351,\n",
       "             'secretary': 352,\n",
       "             'times': 353,\n",
       "             'current': 354,\n",
       "             'month': 355,\n",
       "             'analysts': 356,\n",
       "             'cut': 357,\n",
       "             'increase': 358,\n",
       "             'john': 359,\n",
       "             'player': 360,\n",
       "             'shares': 361,\n",
       "             'past': 362,\n",
       "             '2003': 363,\n",
       "             'little': 364,\n",
       "             'tory': 365,\n",
       "             'david': 366,\n",
       "             'held': 367,\n",
       "             'interest': 368,\n",
       "             'role': 369,\n",
       "             'financial': 370,\n",
       "             'house': 371,\n",
       "             'leader': 372,\n",
       "             'prices': 373,\n",
       "             'following': 374,\n",
       "             'chancellor': 375,\n",
       "             'awards': 376,\n",
       "             'case': 377,\n",
       "             'different': 378,\n",
       "             'latest': 379,\n",
       "             'december': 380,\n",
       "             'face': 381,\n",
       "             'left': 382,\n",
       "             'local': 383,\n",
       "             'south': 384,\n",
       "             'spending': 385,\n",
       "             'broadband': 386,\n",
       "             'having': 387,\n",
       "             'strong': 388,\n",
       "             'until': 389,\n",
       "             'among': 390,\n",
       "             'each': 391,\n",
       "             'it.': 392,\n",
       "             'pay': 393,\n",
       "             'support': 394,\n",
       "             '2': 395,\n",
       "             'children': 396,\n",
       "             'further': 397,\n",
       "             're': 398,\n",
       "             'thought': 399,\n",
       "             'earlier': 400,\n",
       "             'important': 401,\n",
       "             '20': 402,\n",
       "             'nations': 403,\n",
       "             'never': 404,\n",
       "             'research': 405,\n",
       "             'working': 406,\n",
       "             'almost': 407,\n",
       "             'meeting': 408,\n",
       "             'rights': 409,\n",
       "             'band': 410,\n",
       "             'believe': 411,\n",
       "             'bill': 412,\n",
       "             'find': 413,\n",
       "             'microsoft': 414,\n",
       "             'run': 415,\n",
       "             'personal': 416,\n",
       "             'rate': 417,\n",
       "             'ahead': 418,\n",
       "             'match': 419,\n",
       "             'key': 420,\n",
       "             'must': 421,\n",
       "             'return': 422,\n",
       "             'again': 423,\n",
       "             'include': 424,\n",
       "             'line': 425,\n",
       "             'ms': 426,\n",
       "             'series': 427,\n",
       "             'days': 428,\n",
       "             'something': 429,\n",
       "             'always': 430,\n",
       "             'award': 431,\n",
       "             'cost': 432,\n",
       "             'keep': 433,\n",
       "             'trade': 434,\n",
       "             'consumer': 435,\n",
       "             'am': 436,\n",
       "             'sold': 437,\n",
       "             'try': 438,\n",
       "             'control': 439,\n",
       "             'half': 440,\n",
       "             'announced': 441,\n",
       "             'change': 442,\n",
       "             'january': 443,\n",
       "             'rather': 444,\n",
       "             '12': 445,\n",
       "             'scotland': 446,\n",
       "             'things': 447,\n",
       "             'behind': 448,\n",
       "             'japan': 449,\n",
       "             'manager': 450,\n",
       "             'tony': 451,\n",
       "             'women': 452,\n",
       "             'added.': 453,\n",
       "             'films': 454,\n",
       "             'across': 455,\n",
       "             'lead': 456,\n",
       "             'police': 457,\n",
       "             'access': 458,\n",
       "             'man': 459,\n",
       "             'chance': 460,\n",
       "             'claims': 461,\n",
       "             'once': 462,\n",
       "             'search': 463,\n",
       "             'yet': 464,\n",
       "             'means': 465,\n",
       "             'issue': 466,\n",
       "             'power': 467,\n",
       "             'taken': 468,\n",
       "             'sale': 469,\n",
       "             'allow': 470,\n",
       "             'coach': 471,\n",
       "             'huge': 472,\n",
       "             'american': 473,\n",
       "             'global': 474,\n",
       "             '1': 475,\n",
       "             'actor': 476,\n",
       "             'council': 477,\n",
       "             'dollar': 478,\n",
       "             'getting': 479,\n",
       "             'india': 480,\n",
       "             'men': 481,\n",
       "             'released': 482,\n",
       "             'rugby': 483,\n",
       "             'sunday': 484,\n",
       "             'tories': 485,\n",
       "             'share': 486,\n",
       "             'beat': 487,\n",
       "             'job': 488,\n",
       "             'jobs': 489,\n",
       "             'plan': 490,\n",
       "             'within': 491,\n",
       "             'available': 492,\n",
       "             'might': 493,\n",
       "             'problems': 494,\n",
       "             'free': 495,\n",
       "             'full': 496,\n",
       "             'mark': 497,\n",
       "             'content': 498,\n",
       "             'enough': 499,\n",
       "             '100': 500,\n",
       "             'done': 501,\n",
       "             'members': 502,\n",
       "             'point': 503,\n",
       "             'trying': 504,\n",
       "             'coming': 505,\n",
       "             'human': 506,\n",
       "             'result': 507,\n",
       "             'young': 508,\n",
       "             'investment': 509,\n",
       "             'least': 510,\n",
       "             'political': 511,\n",
       "             'clear': 512,\n",
       "             'phones': 513,\n",
       "             'problem': 514,\n",
       "             'saw': 515,\n",
       "             'budget': 516,\n",
       "             'chairman': 517,\n",
       "             'continue': 518,\n",
       "             'french': 519,\n",
       "             '5': 520,\n",
       "             'doing': 521,\n",
       "             'total': 522,\n",
       "             'years.': 523,\n",
       "             'ever': 524,\n",
       "             'price': 525,\n",
       "             'winning': 526,\n",
       "             'fans': 527,\n",
       "             'possible': 528,\n",
       "             'several': 529,\n",
       "             'sony': 530,\n",
       "             'demand': 531,\n",
       "             'here': 532,\n",
       "             'needed': 533,\n",
       "             'showed': 534,\n",
       "             'title': 535,\n",
       "             'issues': 536,\n",
       "             'main': 537,\n",
       "             'minutes': 538,\n",
       "             'wanted': 539,\n",
       "             'close': 540,\n",
       "             'based': 541,\n",
       "             'chelsea': 542,\n",
       "             'war': 543,\n",
       "             'apple': 544,\n",
       "             '50': 545,\n",
       "             'centre': 546,\n",
       "             'development': 547,\n",
       "             'hold': 548,\n",
       "             'ministers': 549,\n",
       "             'performance': 550,\n",
       "             'stock': 551,\n",
       "             'warned': 552,\n",
       "             'march': 553,\n",
       "             'pc': 554,\n",
       "             'williams': 555,\n",
       "             'annual': 556,\n",
       "             'asked': 557,\n",
       "             'commission': 558,\n",
       "             'd': 559,\n",
       "             'lib': 560,\n",
       "             'mps': 561,\n",
       "             'previous': 562,\n",
       "             'quarter': 563,\n",
       "             'sir': 564,\n",
       "             'though': 565,\n",
       "             'weeks': 566,\n",
       "             '3': 567,\n",
       "             'meet': 568,\n",
       "             'union': 569,\n",
       "             'bid': 570,\n",
       "             'forward': 571,\n",
       "             'head': 572,\n",
       "             'injury': 573,\n",
       "             'let': 574,\n",
       "             'recently': 575,\n",
       "             'small': 576,\n",
       "             'statement': 577,\n",
       "             '4': 578,\n",
       "             'agreed': 579,\n",
       "             'consumers': 580,\n",
       "             'costs': 581,\n",
       "             'book': 582,\n",
       "             'fact': 583,\n",
       "             'led': 584,\n",
       "             '30': 585,\n",
       "             'committee': 586,\n",
       "             'level': 587,\n",
       "             'network': 588,\n",
       "             'production': 589,\n",
       "             'reports': 590,\n",
       "             'failed': 591,\n",
       "             'victory': 592,\n",
       "             'why': 593,\n",
       "             'buy': 594,\n",
       "             'city': 595,\n",
       "             'liberal': 596,\n",
       "             'comes': 597,\n",
       "             'league': 598,\n",
       "             'rates': 599,\n",
       "             'season': 600,\n",
       "             'wants': 601,\n",
       "             'cash': 602,\n",
       "             'iraq': 603,\n",
       "             'tuesday': 604,\n",
       "             'cannot': 605,\n",
       "             'claim': 606,\n",
       "             'evidence': 607,\n",
       "             'policy': 608,\n",
       "             'eight': 609,\n",
       "             'programme': 610,\n",
       "             'rose': 611,\n",
       "             'vote': 612,\n",
       "             '11': 613,\n",
       "             'act': 614,\n",
       "             'charles': 615,\n",
       "             'difficult': 616,\n",
       "             'form': 617,\n",
       "             'giant': 618,\n",
       "             'november': 619,\n",
       "             'late': 620,\n",
       "             'running': 621,\n",
       "             'russian': 622,\n",
       "             'single': 623,\n",
       "             'thing': 624,\n",
       "             'ago': 625,\n",
       "             'health': 626,\n",
       "             'hope': 627,\n",
       "             'italy': 628,\n",
       "             'sure': 629,\n",
       "             'yukos': 630,\n",
       "             'success': 631,\n",
       "             'wednesday': 632,\n",
       "             'aid': 633,\n",
       "             'arsenal': 634,\n",
       "             'call': 635,\n",
       "             'friday': 636,\n",
       "             'list': 637,\n",
       "             'paul': 638,\n",
       "             'received': 639,\n",
       "             'rules': 640,\n",
       "             'competition': 641,\n",
       "             'fell': 642,\n",
       "             'jones': 643,\n",
       "             'low': 644,\n",
       "             'talks': 645,\n",
       "             'champion': 646,\n",
       "             'didn': 647,\n",
       "             'gaming': 648,\n",
       "             'growing': 649,\n",
       "             'networks': 650,\n",
       "             'per': 651,\n",
       "             'race': 652,\n",
       "             'singer': 653,\n",
       "             'today': 654,\n",
       "             'tour': 655,\n",
       "             'boost': 656,\n",
       "             'february': 657,\n",
       "             'nothing': 658,\n",
       "             'project': 659,\n",
       "             'television': 660,\n",
       "             '15': 661,\n",
       "             'australian': 662,\n",
       "             'choice': 663,\n",
       "             'christmas': 664,\n",
       "             'gordon': 665,\n",
       "             'higher': 666,\n",
       "             'launch': 667,\n",
       "             'launched': 668,\n",
       "             'mean': 669,\n",
       "             '...': 670,\n",
       "             'denied': 671,\n",
       "             'version': 672,\n",
       "             'web': 673,\n",
       "             '2004.': 674,\n",
       "             'fall': 675,\n",
       "             'time.': 676,\n",
       "             'v': 677,\n",
       "             'boss': 678,\n",
       "             'ensure': 679,\n",
       "             'sent': 680,\n",
       "             '2001': 681,\n",
       "             '2003.': 682,\n",
       "             'actress': 683,\n",
       "             'calls': 684,\n",
       "             'career': 685,\n",
       "             'debt': 686,\n",
       "             'fourth': 687,\n",
       "             'known': 688,\n",
       "             'leading': 689,\n",
       "             'profits': 690,\n",
       "             'quite': 691,\n",
       "             'reported': 692,\n",
       "             'stop': 693,\n",
       "             'album': 694,\n",
       "             'ball': 695,\n",
       "             'instead': 696,\n",
       "             'martin': 697,\n",
       "             'opening': 698,\n",
       "             'remain': 699,\n",
       "             'started': 700,\n",
       "             'dr': 701,\n",
       "             'involved': 702,\n",
       "             'monday': 703,\n",
       "             'points': 704,\n",
       "             'popular': 705,\n",
       "             'similar': 706,\n",
       "             'sites': 707,\n",
       "             'special': 708,\n",
       "             'africa': 709,\n",
       "             'customers': 710,\n",
       "             'family': 711,\n",
       "             'large': 712,\n",
       "             'makes': 713,\n",
       "             'site': 714,\n",
       "             '2005.': 715,\n",
       "             'accused': 716,\n",
       "             'age': 717,\n",
       "             'attacks': 718,\n",
       "             'devices': 719,\n",
       "             'dvd': 720,\n",
       "             'helped': 721,\n",
       "             'provide': 722,\n",
       "             'senior': 723,\n",
       "             'board': 724,\n",
       "             'education': 725,\n",
       "             'week.': 726,\n",
       "             'event': 727,\n",
       "             'feel': 728,\n",
       "             'grand': 729,\n",
       "             'irish': 730,\n",
       "             'official': 731,\n",
       "             'olympic': 732,\n",
       "             'order': 733,\n",
       "             'bit': 734,\n",
       "             'euros': 735,\n",
       "             'live': 736,\n",
       "             'others': 737,\n",
       "             'saturday': 738,\n",
       "             'simply': 739,\n",
       "             'trial': 740,\n",
       "             'turn': 741,\n",
       "             'website': 742,\n",
       "             'break': 743,\n",
       "             'changes': 744,\n",
       "             'compared': 745,\n",
       "             'pressure': 746,\n",
       "             'robinson': 747,\n",
       "             'school': 748,\n",
       "             'short': 749,\n",
       "             'them.': 750,\n",
       "             'voters': 751,\n",
       "             'movie': 752,\n",
       "             'happy': 753,\n",
       "             'manchester': 754,\n",
       "             'shows': 755,\n",
       "             'together': 756,\n",
       "             '18': 757,\n",
       "             'fight': 758,\n",
       "             'independent': 759,\n",
       "             'paid': 760,\n",
       "             'position': 761,\n",
       "             'value': 762,\n",
       "             'via': 763,\n",
       "             'york': 764,\n",
       "             'appeal': 765,\n",
       "             'association': 766,\n",
       "             'became': 767,\n",
       "             'gave': 768,\n",
       "             'idea': 769,\n",
       "             'scottish': 770,\n",
       "             'survey': 771,\n",
       "             'themselves': 772,\n",
       "             'box': 773,\n",
       "             'football': 774,\n",
       "             'needs': 775,\n",
       "             'september': 776,\n",
       "             'thursday': 777,\n",
       "             'whole': 778,\n",
       "             'focus': 779,\n",
       "             'meanwhile': 780,\n",
       "             'named': 781,\n",
       "             'sport': 782,\n",
       "             'average': 783,\n",
       "             'date': 784,\n",
       "             'e-mail': 785,\n",
       "             'forced': 786,\n",
       "             'included': 787,\n",
       "             'private': 788,\n",
       "             'release': 789,\n",
       "             'roddick': 790,\n",
       "             'claimed': 791,\n",
       "             'comedy': 792,\n",
       "             'conference': 793,\n",
       "             'deutsche': 794,\n",
       "             'download': 795,\n",
       "             'russia': 796,\n",
       "             'seven': 797,\n",
       "             'worked': 798,\n",
       "             'bad': 799,\n",
       "             'bought': 800,\n",
       "             'create': 801,\n",
       "             'decided': 802,\n",
       "             'german': 803,\n",
       "             'liverpool': 804,\n",
       "             'october': 805,\n",
       "             'prize': 806,\n",
       "             'rock': 807,\n",
       "             'speech': 808,\n",
       "             'street': 809,\n",
       "             '25': 810,\n",
       "             'believes': 811,\n",
       "             'immigration': 812,\n",
       "             'results': 813,\n",
       "             'stars': 814,\n",
       "             'takes': 815,\n",
       "             'turned': 816,\n",
       "             'west': 817,\n",
       "             '40': 818,\n",
       "             'america': 819,\n",
       "             'conservative': 820,\n",
       "             'entertainment': 821,\n",
       "             'everything': 822,\n",
       "             'products': 823,\n",
       "             'proposals': 824,\n",
       "             'raise': 825,\n",
       "             'view': 826,\n",
       "             'exchange': 827,\n",
       "             'hopes': 828,\n",
       "             'kennedy': 829,\n",
       "             'love': 830,\n",
       "             'old': 831,\n",
       "             'potential': 832,\n",
       "             'andy': 833,\n",
       "             'battle': 834,\n",
       "             'bring': 835,\n",
       "             'car': 836,\n",
       "             'force': 837,\n",
       "             'game.': 838,\n",
       "             'germany': 839,\n",
       "             'remains': 840,\n",
       "             'test': 841,\n",
       "             'trust': 842,\n",
       "             'areas': 843,\n",
       "             'either': 844,\n",
       "             'extra': 845,\n",
       "             'goal': 846,\n",
       "             'investors': 847,\n",
       "             'often': 848,\n",
       "             'original': 849,\n",
       "             'concerned': 850,\n",
       "             'everyone': 851,\n",
       "             'll': 852,\n",
       "             'lords': 853,\n",
       "             'numbers': 854,\n",
       "             'particularly': 855,\n",
       "             'parties': 856,\n",
       "             'soon': 857,\n",
       "             'stage': 858,\n",
       "             'tough': 859,\n",
       "             'festival': 860,\n",
       "             'groups': 861,\n",
       "             'largest': 862,\n",
       "             'north': 863,\n",
       "             'poor': 864,\n",
       "             'squad': 865,\n",
       "             'amount': 866,\n",
       "             'card': 867,\n",
       "             'comments': 868,\n",
       "             'confirmed': 869,\n",
       "             'davis': 870,\n",
       "             'officials': 871,\n",
       "             'parliament': 872,\n",
       "             '2000': 873,\n",
       "             'alan': 874,\n",
       "             'australia': 875,\n",
       "             'brought': 876,\n",
       "             'charge': 877,\n",
       "             'commons': 878,\n",
       "             'concerns': 879,\n",
       "             'hollywood': 880,\n",
       "             'looked': 881,\n",
       "             'name': 882,\n",
       "             'press': 883,\n",
       "             'revealed': 884,\n",
       "             'whose': 885,\n",
       "             'admitted': 886,\n",
       "             'black': 887,\n",
       "             'cards': 888,\n",
       "             'civil': 889,\n",
       "             'course': 890,\n",
       "             'double': 891,\n",
       "             'election.': 892,\n",
       "             'energy': 893,\n",
       "             'host': 894,\n",
       "             'hours': 895,\n",
       "             'impact': 896,\n",
       "             'previously': 897,\n",
       "             'response': 898,\n",
       "             'shown': 899,\n",
       "             'smith': 900,\n",
       "             'spain': 901,\n",
       "             'stay': 902,\n",
       "             'us.': 903,\n",
       "             'workers': 904,\n",
       "             'bush': 905,\n",
       "             'care': 906,\n",
       "             'increased': 907,\n",
       "             'stand': 908,\n",
       "             'standard': 909,\n",
       "             'target': 910,\n",
       "             'widely': 911,\n",
       "             'insisted': 912,\n",
       "             'newspaper': 913,\n",
       "             'night': 914,\n",
       "             'oscar': 915,\n",
       "             'serious': 916,\n",
       "             'spend': 917,\n",
       "             'university': 918,\n",
       "             'anything': 919,\n",
       "             'confidence': 920,\n",
       "             'department': 921,\n",
       "             'drugs': 922,\n",
       "             'front': 923,\n",
       "             'fund': 924,\n",
       "             'member': 925,\n",
       "             'mp': 926,\n",
       "             'offered': 927,\n",
       "             'outside': 928,\n",
       "             'period': 929,\n",
       "             'reached': 930,\n",
       "             'spent': 931,\n",
       "             'windows': 932,\n",
       "             '14': 933,\n",
       "             '2002': 934,\n",
       "             'ban': 935,\n",
       "             'community': 936,\n",
       "             'credit': 937,\n",
       "             'critics': 938,\n",
       "             'finance': 939,\n",
       "             'japanese': 940,\n",
       "             'looks': 941,\n",
       "             'lower': 942,\n",
       "             'process': 943,\n",
       "             'signed': 944,\n",
       "             'social': 945,\n",
       "             'step': 946,\n",
       "             'ask': 947,\n",
       "             'asylum': 948,\n",
       "             'attack': 949,\n",
       "             'banks': 950,\n",
       "             'drive': 951,\n",
       "             'felt': 952,\n",
       "             'gone': 953,\n",
       "             'indian': 954,\n",
       "             'majority': 955,\n",
       "             'markets': 956,\n",
       "             'message': 957,\n",
       "             'mike': 958,\n",
       "             'moment': 959,\n",
       "             'risk': 960,\n",
       "             'virus': 961,\n",
       "             '6': 962,\n",
       "             'agency': 963,\n",
       "             'air': 964,\n",
       "             'analyst': 965,\n",
       "             'authorities': 966,\n",
       "             'believed': 967,\n",
       "             'body': 968,\n",
       "             'central': 969,\n",
       "             'domestic': 970,\n",
       "             'google': 971,\n",
       "             'itself': 972,\n",
       "             'james': 973,\n",
       "             'nintendo': 974,\n",
       "             'reach': 975,\n",
       "             'robert': 976,\n",
       "             'sector': 977,\n",
       "             'song': 978,\n",
       "             'speaking': 979,\n",
       "             'summer': 980,\n",
       "             'taxes': 981,\n",
       "             'technologies': 982,\n",
       "             'began': 983,\n",
       "             'bt': 984,\n",
       "             'chart': 985,\n",
       "             'defence': 986,\n",
       "             'details': 987,\n",
       "             'followed': 988,\n",
       "             'opportunity': 989,\n",
       "             'shot': 990,\n",
       "             'suggested': 991,\n",
       "             '&amp;': 992,\n",
       "             '16': 993,\n",
       "             'along': 994,\n",
       "             'dems': 995,\n",
       "             'laws': 996,\n",
       "             'rival': 997,\n",
       "             'story': 998,\n",
       "             'watch': 999,\n",
       "             ...})"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "TEXT.vocab.stoi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "4ca5523a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "37\n",
      "0\n",
      "849\n",
      "==============================\n",
      "was\n",
      "end\n",
      "record\n"
     ]
    }
   ],
   "source": [
    "# string to index\n",
    "print(TEXT.vocab.stoi['this'])\n",
    "print(TEXT.vocab.stoi['pretty'])\n",
    "print(TEXT.vocab.stoi['original'])\n",
    "\n",
    "print('==='*10)\n",
    "\n",
    "# index to string\n",
    "print(TEXT.vocab.itos[14])\n",
    "print(TEXT.vocab.itos[194])\n",
    "print(TEXT.vocab.itos[237])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5480d138",
   "metadata": {},
   "source": [
    "## 버킷 이터레이터 생성\n",
    "\n",
    "- `BucketIterator` 의 주된 역할은 데이터셋에 대한 배치 구성입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "4dc3ffa9",
   "metadata": {},
   "outputs": [],
   "source": [
    "import torch\n",
    "\n",
    "device = torch.device('cuda:1' if torch.cuda.is_available() else 'cpu')\n",
    "\n",
    "BATCH_SIZE = 32\n",
    "\n",
    "train_iterator, test_iterator = data.BucketIterator.splits(\n",
    "    (train_data, test_data),     # dataset\n",
    "    sort=False,\n",
    "    repeat=False,\n",
    "    batch_size=BATCH_SIZE,       # 배치사이즈\n",
    "    device=device)               # device 지정"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "02957e30",
   "metadata": {},
   "source": [
    "1개의 배치를 추출합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "2e9d3dab",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 1개의 batch 추출\n",
    "sample_data = next(iter(train_iterator))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0f3ccc56",
   "metadata": {},
   "source": [
    "`text` 의 shape 를 확인합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "39bd7063",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "torch.Size([32, 120])"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# batch_size, sequence_length\n",
    "sample_data.text.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "621e94a6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "32"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(sample_data.text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "657d8be6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "32"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sample_data.label.size(0)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4379ae56",
   "metadata": {},
   "source": [
    "`label` 의 shape 를 확인합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "ed76fe41",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "torch.Size([32])"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# batch_size\n",
    "sample_data.label.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "b45cfd5c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([5, 1, 2, 4, 1, 4, 5, 2, 2, 4, 1, 2, 5, 3, 1, 3, 4, 4, 1, 4, 3, 3, 2, 1,\n",
       "        3, 5, 2, 4, 1, 5, 3, 5], device='cuda:1')"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# label을 출력합니다.\n",
    "sample_data.label"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4e97bee9",
   "metadata": {},
   "source": [
    "아래에서 확인할 수 있듯이 `<unk>` 토큰 때문에 카테고리의 개수가 5개임에도 불구하고 index는 0번부터 5번까지 맵핑되어 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "307e6b29",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "defaultdict(<bound method Vocab._default_unk_index of <torchtext.legacy.vocab.Vocab object at 0x7fef54074910>>,\n",
       "            {'<unk>': 0,\n",
       "             'sport': 1,\n",
       "             'business': 2,\n",
       "             'politics': 3,\n",
       "             'tech': 4,\n",
       "             'entertainment': 5})"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "LABEL.vocab.stoi"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "17747b18",
   "metadata": {},
   "source": [
    "따라서, 0번을 무시해주기 위해서는 배치 학습시 다음과 같이 처리해 줄 수 있습니다.\n",
    "\n",
    "1을 subtract 해줌으로써 0~4번 index로 조정해 주는 것입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "6a49ff41",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([4, 0, 1, 3, 0, 3, 4, 1, 1, 3, 0, 1, 4, 2, 0, 2, 3, 3, 0, 3, 2, 2, 1, 0,\n",
       "        2, 4, 1, 3, 0, 4, 2, 4], device='cuda:1')"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sample_data.label.sub_(1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5fa3f9a3",
   "metadata": {},
   "source": [
    "## 데이터프레임(DataFrame) 커스텀 데이터셋 클래스\n",
    "\n",
    "`torchtext.legacy.data.Dataset`을 확장하여 DataFrame을 바로 `BucketIterator`로 변환할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "7d13f6a1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>tech</td>\n",
       "      <td>tv future in the hands of viewers with home th...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>business</td>\n",
       "      <td>worldcom boss  left books alone  former worldc...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>sport</td>\n",
       "      <td>tigers wary of farrell  gamble  leicester say ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>sport</td>\n",
       "      <td>yeading face newcastle in fa cup premiership s...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>ocean s twelve raids box office ocean s twelve...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2220</th>\n",
       "      <td>business</td>\n",
       "      <td>cars pull down us retail figures us retail sal...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2221</th>\n",
       "      <td>politics</td>\n",
       "      <td>kilroy unveils immigration policy ex-chatshow ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2222</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>rem announce new glasgow concert us band rem h...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2223</th>\n",
       "      <td>politics</td>\n",
       "      <td>how political squabbles snowball it s become c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2224</th>\n",
       "      <td>sport</td>\n",
       "      <td>souness delight at euro progress boss graeme s...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2225 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "              label                                               text\n",
       "0              tech  tv future in the hands of viewers with home th...\n",
       "1          business  worldcom boss  left books alone  former worldc...\n",
       "2             sport  tigers wary of farrell  gamble  leicester say ...\n",
       "3             sport  yeading face newcastle in fa cup premiership s...\n",
       "4     entertainment  ocean s twelve raids box office ocean s twelve...\n",
       "...             ...                                                ...\n",
       "2220       business  cars pull down us retail figures us retail sal...\n",
       "2221       politics  kilroy unveils immigration policy ex-chatshow ...\n",
       "2222  entertainment  rem announce new glasgow concert us band rem h...\n",
       "2223       politics  how political squabbles snowball it s become c...\n",
       "2224          sport  souness delight at euro progress boss graeme s...\n",
       "\n",
       "[2225 rows x 2 columns]"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "SEED = 123\n",
    "\n",
    "# 데이터프레임을 로드 합니다.\n",
    "df = pd.read_csv('bbc-text.csv')\n",
    "\n",
    "# 컬럼명은 text / label 로 변경합니다\n",
    "df = df.rename(columns={'category': 'label'})\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "3455fe06",
   "metadata": {},
   "outputs": [],
   "source": [
    "# train / validation 을 분할 합니다.\n",
    "train_df, val_df = train_test_split(df, test_size=0.2, random_state=SEED)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "5c6c57ac",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1983</th>\n",
       "      <td>sport</td>\n",
       "      <td>officials respond in court row australian tenn...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>878</th>\n",
       "      <td>tech</td>\n",
       "      <td>slow start to speedy net services faster broad...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>94</th>\n",
       "      <td>politics</td>\n",
       "      <td>amnesty chief laments war failure the lack of ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1808</th>\n",
       "      <td>sport</td>\n",
       "      <td>dal maso in to replace bergamasco david dal ma...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1742</th>\n",
       "      <td>tech</td>\n",
       "      <td>technology gets the creative bug the hi-tech a...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         label                                               text\n",
       "1983     sport  officials respond in court row australian tenn...\n",
       "878       tech  slow start to speedy net services faster broad...\n",
       "94    politics  amnesty chief laments war failure the lack of ...\n",
       "1808     sport  dal maso in to replace bergamasco david dal ma...\n",
       "1742      tech  technology gets the creative bug the hi-tech a..."
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# train DataFrame\n",
    "train_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "d5458529",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>717</th>\n",
       "      <td>politics</td>\n",
       "      <td>child access laws shake-up parents who refuse ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>798</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>fry set for role in hitchhiker s actor stephen...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1330</th>\n",
       "      <td>business</td>\n",
       "      <td>palestinian economy in decline despite a short...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>business</td>\n",
       "      <td>japanese banking battle at an end japan s sumi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1391</th>\n",
       "      <td>business</td>\n",
       "      <td>manufacturing recovery  slowing  uk manufactur...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "              label                                               text\n",
       "717        politics  child access laws shake-up parents who refuse ...\n",
       "798   entertainment  fry set for role in hitchhiker s actor stephen...\n",
       "1330       business  palestinian economy in decline despite a short...\n",
       "18         business  japanese banking battle at an end japan s sumi...\n",
       "1391       business  manufacturing recovery  slowing  uk manufactur..."
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# validation DataFrame\n",
    "val_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "a6cf38a0",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cuda:1\n"
     ]
    }
   ],
   "source": [
    "# 필요한 모듈 import\n",
    "import torch\n",
    "from torchtext.legacy import data\n",
    "from torchtext.data.utils import get_tokenizer\n",
    "\n",
    "# device 설정\n",
    "device = torch.device('cuda:1' if torch.cuda.is_available() else 'cpu')\n",
    "print(device)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4efaae33",
   "metadata": {},
   "source": [
    "`torchtext.legacy.data.Dataset`을 상속하여 데이터프레임을 로드할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "b4ed46ad",
   "metadata": {},
   "outputs": [],
   "source": [
    "class DataFrameDataset(data.Dataset):\n",
    "\n",
    "    def __init__(self, df, fields, is_test=False, **kwargs):\n",
    "        examples = []\n",
    "        for i, row in df.iterrows():\n",
    "            # text, label 컬럼명은 필요시 변경하여 사용합니다\n",
    "            label = row['label'] if not is_test else None\n",
    "            text = row['text'] \n",
    "            examples.append(data.Example.fromlist([text, label], fields))\n",
    "\n",
    "        super().__init__(examples, fields, **kwargs)\n",
    "\n",
    "    @staticmethod\n",
    "    def sort_key(ex):\n",
    "        return len(ex.text)\n",
    "\n",
    "    @classmethod\n",
    "    def splits(cls, fields, train_df, val_df=None, test_df=None, **kwargs):\n",
    "        train_data, val_data, test_data = (None, None, None)\n",
    "        data_field = fields\n",
    "\n",
    "        if train_df is not None:\n",
    "            train_data = cls(train_df.copy(), data_field, **kwargs)\n",
    "        if val_df is not None:\n",
    "            val_data = cls(val_df.copy(), data_field, **kwargs)\n",
    "        if test_df is not None:\n",
    "            test_data = cls(test_df.copy(), data_field, False, **kwargs)\n",
    "\n",
    "        return tuple(d for d in (train_data, val_data, test_data) if d is not None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "39e8e74f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 토크나이저 정의 (다른 토크나이저로 대체 가능)\n",
    "tokenizer = get_tokenizer('basic_english')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "481b0e06",
   "metadata": {},
   "source": [
    "앞선 내용과 마찬가지로 `Field`를 구성합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "282a70c4",
   "metadata": {},
   "outputs": [],
   "source": [
    "TEXT = data.Field(sequential=True,    # 순서를 반영\n",
    "                  tokenize=tokenizer, # tokenizer 지정\n",
    "                  fix_length=120,     # 한 문장의 최대 길이 지정\n",
    "                  lower=True,         # 소문자화\n",
    "                  batch_first=True)   # batch 를 가장 먼저 출력\n",
    "\n",
    "\n",
    "LABEL = data.Field(sequential=False)\n",
    "\n",
    "# fiels 변수에 List(tuple(컬럼명, 변수)) 형식으로 구성 후 대입\n",
    "fields = [('text', TEXT), ('label', LABEL)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "0273d966",
   "metadata": {},
   "outputs": [],
   "source": [
    "# DataFrame의 Splits로 데이터셋 분할\n",
    "train_ds, val_ds = DataFrameDataset.splits(fields, train_df=train_df, val_df=val_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "6c7b17c1",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 단어 사전 생성\n",
    "TEXT.build_vocab(train_ds, \n",
    "                 max_size=1000,             # 최대 vocab_size 지정 (미지정시 전체 단어사전 개수 대입)\n",
    "                 min_freq=5,                # 최소 빈도 단어수 지정\n",
    "                 vectors='glove.6B.100d')   # 워드임베딩 vector 지정, None으로 지정시 vector 사용 안함\n",
    "\n",
    "LABEL.build_vocab(train_ds)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "351d5b52",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1002"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 단어 사전 개수 출력\n",
    "NUM_VOCABS = len(TEXT.vocab)\n",
    "NUM_VOCABS\n",
    "# 개수 1000 + <unk> + <pad> : 총 1002개"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c27524d7",
   "metadata": {},
   "source": [
    "`BucketIterator`를 생성합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "75289466",
   "metadata": {},
   "outputs": [],
   "source": [
    "BATCH_SIZE = 32\n",
    "\n",
    "train_iterator, test_iterator = data.BucketIterator.splits(\n",
    "    (train_ds, val_ds), \n",
    "    batch_size=BATCH_SIZE,\n",
    "    sort_within_batch=True,\n",
    "    device=device)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "815260a2",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 1개 배치 추출\n",
    "sample_data = next(iter(train_iterator))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "012c1c2b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "torch.Size([32, 120])"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# text shape 출력 (batch_size, sequence_length)\n",
    "sample_data.text.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "5e94363c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([1, 2, 4, 4, 3, 4, 5, 4, 5, 1, 2, 1, 2, 2, 5, 5, 2, 5, 5, 2, 5, 1, 1, 2,\n",
       "        5, 5, 1, 3, 2, 3, 3, 5], device='cuda:1')"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# label 출력 (batch)\n",
    "sample_data.label"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.15"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}