count_word.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "dd2dddd0-7f7b-451c-a5a3-65a36bb830ac",
   "metadata": {},
   "outputs": [],
   "source": [
    "from pyspark.sql import SparkSession\n",
    "\n",
    "\n",
    "spark = SparkSession \\\n",
    "    .builder \\\n",
    "    .appName(\"Exercise Solutions\") \\\n",
    "    .getOrCreate()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "63f99c86-798f-4e87-ba41-6b105c9f985d",
   "metadata": {},
   "outputs": [],
   "source": [
    "rdd = spark.sparkContext.textFile('./sample-2mb-text-file.txt')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "ef339740-ac27-44e3-b20c-2862c0584a6e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "('Lorem', 281) ('ipsum', 1663) ('amet', 5408) ('consectetur', 1568) ('sed', 6664) ('do', 5) ('labore', 5) ('magna', 1440) ('Velit', 263) ('scelerisque', 2097) ('in', 5616) ('dictum', 1195) ('erat', 891) ('Sit', 867) ('justo', 904) ('diam', 3101) ('vulputate', 1637) ('lectus', 2229) ('nibh', 2402) ('condimentum', 964) ('venenatis', 1197) ('sociis', 238) ('natoque', 244) ('dis', 252) ('Habitant', 124) ('Interdum', 179) ('faucibus', 2588) ('eget', 4378) ('Aliquam', 436) ('purus', 2370) ('augue', 1438) ('interdum', 1224) ('sodales', 742) ('etiam', 1163) ('Quam', 301) ('sagittis', 1720) ('odio', 2144) ('nisi', 1405) ('lacus', 1779) ('Iaculis', 142) ('at', 3789) ('pellentesque', 3206) ('commodo', 1561) ('nulla', 2839) ('porttitor', 1139) ('quis', 3061) ('lobortis', 967) ('fermentum', 1420) ('Turpis', 373) ('integer', 1343) ('vitae', 3943) ('Dolor', 248) ('duis', 1400) ('convallis', 1268) ('aenean', 1230) ('Viverra', 512) ('potenti', 248) ('Elementum', 328) ('tellus', 2852) ('molestie', 947) ('nunc', 4044) ('Ultricies', 226) ('Varius', 198) ('Adipiscing', 363) ('Nascetur', 29) ('mus', 227) ('leo', 1567) ('cursus', 2081) ('metus', 686) ('Blandit', 213) ('hac', 445) ('habitasse', 447) ('mattis', 2001) ('ullamcorper', 1728) ('Diam', 514) ('suscipit', 492) ('bibendum', 1488) ('est', 1882) ('Tristique', 305) ('maecenas', 1163) ('mi', 1934) ('congue', 915) ('quisque', 953) ('feugiat', 1919) ('fringilla', 943) ('phasellus', 713) ('Cum', 38) ('Habitasse', 66) ('Magna', 197) ('Gravida', 268) ('Consequat', 227) ('quam', 2124) ('urna', 2349) ('ante', 463) ('Pellentesque', 500) ('Laoreet', 143) ('Ipsum', 286) ('Ullamcorper', 274) ('malesuada', 1675) ('varius', 1231) ('Libero', 170) ('cras', 1740) ('ornare', 1748) ('Sed', 986) ('Mi', 308) ('Nibh', 355) ('Commodo', 280) ('Leo', 259) ('facilisi', 938) ('At', 624) ('iaculis', 936) ('Tellus', 430) ('lacinia', 481) ('Purus', 326) ('felis', 1152) ('rhoncus', 1192) ('habitant', 711) ('Vehicula', 30) ('Elit', 308) ('Nunc', 604) ('Cras', 245) ('sollicitudin', 940) ('rutrum', 476) ('Non', 469) ('Bibendum', 223) ('Nam', 124) ('sapien', 1206) ('Accumsan', 176) ('Arcu', 453) ('Dui', 262) ('Metus', 90) ('Proin', 187) ('Senectus', 106) ('mollis', 473) ('Convallis', 200) ('Nisi', 200) ('Euismod', 174) ('Duis', 231) ('Orci', 312) ('Lobortis', 146) ('Quisque', 152) ('Maecenas', 173) ('Est', 271) ('Molestie', 151) ('Netus', 126) ('Pharetra', 289) ('Vestibulum', 242) ('Aliquet', 313) ('Tempus', 183) ('nascetur', 248) ('Parturient', 36) ('Pulvinar', 238) ('Cursus', 314) ('Erat', 138) ('Condimentum', 149) ('Posuere', 192) ('Donec', 250) ('Luctus', 73) ('Vulputate', 238) ('Sagittis', 245) ('Dis', 29) ('Porttitor', 194) ('Aenean', 177) ('Natoque', 44) ('Vivamus', 69) ('Felis', 153) ('Ridiculus', 36) ('dapibus', 236) ('Rhoncus', 152) ('Ligula', 34) ('Sollicitudin', 144) ('Potenti', 38) ('Magnis', 33) ('Rutrum', 67) ('Mollis', 68) ('dolor', 1491) ('sit', 5306) ('adipiscing', 2269) ('elit', 1825) ('eiusmod', 5) ('tempor', 1110) ('incididunt', 5) ('ut', 4527) ('et', 4127) ('dolore', 5) ('aliqua', 5) ('non', 2905) ('a', 2416) ('donec', 1672) ('enim', 3535) ('Id', 695) ('aliquet', 2159) ('proin', 1338) ('nisl', 2190) ('id', 4552) ('Eget', 690) ('gravida', 1884) ('cum', 243) ('penatibus', 254) ('magnis', 262) ('morbi', 2658) ('tristique', 1918) ('senectus', 735) ('netus', 760) ('libero', 1166) ('tincidunt', 2684) ('nullam', 945) ('luctus', 439) ('Fringilla', 144) ('velit', 1964) ('Neque', 333) ('viverra', 3043) ('orci', 1884) ('eu', 3312) ('volutpat', 2265) ('facilisis', 1428) ('mauris', 2786) ('Ornare', 248) ('suspendisse', 1406) ('imperdiet', 1192) ('dui', 1709) ('massa', 2842) ('neque', 2468) ('aliquam', 2745) ('vestibulum', 1447) ('Dignissim', 238) ('egestas', 3256) ('In', 896) ('ultrices', 2246) ('auctor', 1144) ('Tortor', 379) ('dignissim', 1412) ('tortor', 2398) ('ac', 3079) ('blandit', 1379) ('vel', 2346) ('pharetra', 1931) ('turpis', 2320) ('lorem', 1368) ('ridiculus', 237) ('ultricies', 1406) ('Urna', 357) ('platea', 449) ('Feugiat', 251) ('Enim', 540) ('pretium', 1631) ('Amet', 816) ('fusce', 458) ('Risus', 410) ('accumsan', 918) ('Eu', 531) ('Fermentum', 225) ('consequat', 1421) ('Egestas', 524) ('parturient', 242) ('montes', 242) ('dictumst', 451) ('elementum', 2158) ('arcu', 2939) ('Mauris', 437) ('Sapien', 146) ('Suscipit', 55) ('vivamus', 466) ('risus', 2658) ('tempus', 1171) ('Ultrices', 334) ('placerat', 940) ('Malesuada', 251) ('fames', 719) ('praesent', 689) ('euismod', 1233) ('Facilisi', 145) ('Massa', 442) ('Scelerisque', 326) ('Placerat', 141) ('posuere', 1176) ('nec', 1794) ('semper', 1432) ('Vel', 393) ('Et', 575) ('pulvinar', 1686) ('Morbi', 419) ('Vitae', 622) ('Volutpat', 354) ('Suspendisse', 224) ('sem', 1179) ('Lacus', 292) ('Nisl', 304) ('laoreet', 995) ('A', 372) ('nam', 666) ('ligula', 229) ('Ut', 731) ('Tincidunt', 418) ('porta', 732) ('Ac', 431) ('hendrerit', 573) ('Nec', 289) ('Consectetur', 235) ('Quis', 471) ('eleifend', 706) ('Sem', 199) ('Lectus', 339) ('Nulla', 418) ('vehicula', 219) ('Mattis', 271) ('Hac', 77) ('Hendrerit', 79) ('Dictum', 176) ('Sodales', 100) ('Facilisis', 198) ('Augue', 241) ('Eleifend', 119) ('Semper', 195) ('Faucibus', 392) ('Etiam', 169) ('Justo', 163) ('Ante', 76) ('Imperdiet', 180) ('eros', 488) ('Phasellus', 108) ('Venenatis', 188) ('Pretium', 255) ('Fames', 107) ('Integer', 215) ('curabitur', 487) ('Dictumst', 69) ('Montes', 36) ('Eros', 81) ('Fusce', 86) ('Auctor', 191) ('Tempor', 178) ('Odio', 331) ('Sociis', 44) ('Platea', 73) ('Praesent', 118) ('Curabitur', 77) ('Lacinia', 70) ('Nullam', 148) ('Porta', 114) ('Congue', 148) ('Dapibus', 36) ('Mus', 32) ('Penatibus', 40)\n"
     ]
    }
   ],
   "source": [
    "flat_rdd = rdd \\\n",
    "            .flatMap(lambda row: row.split()) \\\n",
    "            .map(lambda item: item.replace('.', '').replace(',', '')) \\\n",
    "            .map(lambda item: (item, 1)) \\\n",
    "            .reduceByKey(lambda x, y: x + y) \\\n",
    "            .collect()\n",
    "\n",
    "print(*flat_rdd, sep=' ')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}