feat: 重构爬虫相关代码

Author: lucifer

.gitignore

@@ -22,3 +22,5 @@
 npm-debug.log*
 yarn-debug.log*
 yarn-error.log*
+
+!/spider/**/.gitkeep

README.md

@@ -13,7 +13,7 @@
 |-spider 爬虫抓取和转化后的相关文件
 |---raw-markdown 由github上抓到的题解markdown原文件
 |---yield-db-json 从markdown中提取标题、tag、公司、各语言题解生产的json
-|-src 源代码  
+|-src 源代码
 |-scripts
 |--- constants.js 脚本常量
 |--- curl-leetcode.js 爬虫请求逻辑
@@ -24,19 +24,15 @@
 |---App.js 主逻辑都在这里
 ```
 
-## 爬虫
-- npm run crawl 此命令会先从github上拉取问题列表，将文件名解析成数组，然后根据问题名称循   环拉取与之对应的markdown文件（此过程会先查找本地是否存在，如果存在则跳过）
-  问题拉取完成后，根据markdown匹配正则，转化成所需的json文件
-
-
+- [爬虫相关](./scripts/README.MD)
 
 ## 构建
+
 - npm run build
 - 然后将 build 文件夹的内容添加到扩展中即可，具体方式见上面的`功能介绍`。
 
 > 以后每次执行 npm run build， 插件会自动刷新，无需手动加载。
 
-
 ## 计划
 
 - [ ] 完善题目，优先级比较高的是 91 的这些题目，按照现有的两个题目的标准进行完善。

scripts/LeetCodeProvider.js

@@ -1,49 +1,43 @@
-
-
-const request = require('request')
-const Iconv = require('iconv-lite')
-const cheerio = require('cheerio')
-
-const Logger = require('./logger')
-const Utils = require('./utils')
-const { PROBLEMS_URL, QUESTION_DOM_SELECTOR, BASE_MARKDWON_DOWNLOAD_URL, ENGLISH_MARKDOWN_SIGN } = require('./constants')
+const request = require("request");
+const Iconv = require("iconv-lite");
+const cheerio = require("cheerio");
+
+const Logger = require("./logger");
+const Utils = require("./utils");
+const {
+  PROBLEMS_URL,
+  QUESTION_DOM_SELECTOR,
+  BASE_MARKDWON_DOWNLOAD_URL,
+  ENGLISH_MARKDOWN_SIGN,
+} = require("./constants");
 
 module.exports = LeetCodeProvider = {
-
-
-
-    getProblemsTitle() {
-       
-        return Utils.httpGet(PROBLEMS_URL)
-        .then((body)=> {
-            let titles = []
-            let sHtml = Iconv.decode(body, 'utf-8').toString()
-            cheerio.load(sHtml)(QUESTION_DOM_SELECTOR).each((idx, ele) => titles.push(ele.attribs['title']))
-            Logger.success('获取问题列表成功')
-
-            return titles.filter(name => !name.endsWith(ENGLISH_MARKDOWN_SIGN))
-        })
-        .catch(error => {
-            Logger.error('获取问题列表失败', error) 
-        })
-    },
-
-
-
-
-    getProblemDetail(problemNameWithExt) {
-
-        return Utils.httpGet(`${BASE_MARKDWON_DOWNLOAD_URL}${problemNameWithExt}`)
-        .then(body => {
-
-            let markdown = Iconv.decode(body, 'utf-8').toString()
-            Logger.success(`抓取问题 "${problemNameWithExt}" 成功！`)
-            return markdown
-        })
-        .catch(error => {
-            Logger.error(`抓取问题 "${problemNameWithExt}" 失败`, error)
-        })
-    }
-
-}
-
+  getProblemsTitle() {
+    return Utils.httpGet(PROBLEMS_URL)
+      .then((body) => {
+        let titles = [];
+        let sHtml = Iconv.decode(body, "utf-8").toString();
+        cheerio
+          .load(sHtml)(QUESTION_DOM_SELECTOR)
+          .each((idx, ele) => titles.push(ele.attribs["title"]));
+        Logger.success("获取问题列表成功");
+
+        return titles.filter((name) => !name.endsWith(ENGLISH_MARKDOWN_SIGN));
+      })
+      .catch((error) => {
+        Logger.error("获取问题列表失败", error);
+      });
+  },
+
+  getProblemDetail(problemNameWithExt) {
+    return Utils.httpGet(`${BASE_MARKDWON_DOWNLOAD_URL}${problemNameWithExt}`)
+      .then((body) => {
+        let markdown = Iconv.decode(body, "utf-8").toString();
+        Logger.success(`抓取问题 "${problemNameWithExt}" 成功！`);
+        return markdown;
+      })
+      .catch((error) => {
+        Logger.error(`抓取问题 "${problemNameWithExt}" 失败`, error);
+      });
+  },
+};

scripts/Logger.js

@@ -1,21 +1,18 @@
-
 const log4js = require("log4js");
 
-const logger = log4js.getLogger()
+const logger = log4js.getLogger();
 
-logger.level = 'debug'
+logger.level = "debug";
 
-logger.category = 'LeetCode'
+logger.category = "LeetCode";
 
 const Logger = {
-
-   success(...args) {
-      logger.info(...args)
-    },
-   error(...args) {
-        logger.error(...args)
-    }
-
-}
-
-module.exports = Logger
+  success(...args) {
+    logger.info(...args);
+  },
+  error(...args) {
+    logger.error(...args);
+  },
+};
+
+module.exports = Logger;

scripts/README.md

@@ -0,0 +1,19 @@
+## 爬虫
+
+### 使用
+
+```
+- npm run crawl
+```
+
+### 原理
+
+此命令会：
+
+- 先从 github 上拉取题解列表，将文件名解析成数组
+- 然后根据题解名称循环拉取与之对应的 markdown 文件（此过程会先查找本地是否存在，如果存在则跳过）
+- 问题拉取完成后，根据 markdown 匹配正则，转化成所需的 json 文件
+
+### 架构图
+
+![](https://tva1.sinaimg.cn/large/007S8ZIlly1gfpjc8au5fj30np0okjuc.jpg)

scripts/constants.js

@@ -1,57 +1,48 @@
-
-
-
 module.exports = {
-
-    /**
-     *  需解析的语言类型
-     */
-    SUPPORT_LANGUAGE: [
-        'java',
-        'js',
-        'cpp',
-        'py'
-    ],
-
-    /**
-     *  是否启用强制更新
-     *  如开启，会跳过读取本地缓存，拉取最新文件
-     */
-    IS_FORCE_UPDATE_MODE: true,
-    
-    /**
-     * 请求处理频率 ms
-     */
-    REQUEST_RATE: 300,
-
-    /**
-     * markdown输出目录
-     */
-    RAW_MARKDOWN_OUTPUT_DIR: 'spider/raw-markdown',
-
-    /**
-     *  转化后的json输出目录
-     */
-    DB_JSON_OUTPUT_DIR: 'spider/yield-db-json',
-
-    /**
-     *  获取问题列表地址
-     */
-    PROBLEMS_URL: 'https://github.com/azl397985856/leetcode/tree/master/problems',
-
-    /**
-     *  抓取页面问题内容的dom元素选择器
-     */
-    QUESTION_DOM_SELECTOR: '.js-navigation-item .content .js-navigation-open',
-
-    /**
-    *  markdwon下载地址
-    */
-    BASE_MARKDWON_DOWNLOAD_URL: 'https://raw.githubusercontent.com/azl397985856/leetcode/master/problems/',
-
-    /** 
-     * 过滤英文文档末尾标识
-    */
-    ENGLISH_MARKDOWN_SIGN: '.en.md'
-
-}
+  /**
+   *  需解析的语言类型
+   */
+  SUPPORT_LANGUAGE: ["java", "js", "cpp", "py"],
+
+  /**
+   *  是否启用强制更新
+   *  如开启，会跳过读取本地缓存，拉取最新文件
+   */
+  IS_FORCE_UPDATE_MODE: true,
+
+  /**
+   * 请求处理频率 ms
+   */
+  REQUEST_RATE: 300,
+
+  /**
+   * markdown输出目录
+   */
+  RAW_MARKDOWN_OUTPUT_DIR: "spider/raw-markdown",
+
+  /**
+   *  转化后的json输出目录
+   */
+  DB_JSON_OUTPUT_DIR: "spider/yield-db-json",
+
+  /**
+   *  获取问题列表地址
+   */
+  PROBLEMS_URL: "https://github.com/azl397985856/leetcode/tree/master/problems",
+
+  /**
+   *  抓取页面问题内容的dom元素选择器
+   */
+  QUESTION_DOM_SELECTOR: ".js-navigation-item .content .js-navigation-open",
+
+  /**
+   *  markdwon下载地址
+   */
+  BASE_MARKDWON_DOWNLOAD_URL:
+    "https://raw.githubusercontent.com/azl397985856/leetcode/master/problems/",
+
+  /**
+   * 过滤英文文档末尾标识
+   */
+  ENGLISH_MARKDOWN_SIGN: ".en.md",
+};