开发2.0系统。

WaiMaiMiner/corpus.py

@@ -154,11 +154,17 @@ def get_to_tag_corpus(start=0, end=500):
         origin_filepath = ["D:\\My Data\\NLP\\SA\\waimai\\negative_corpus_v2.txt",
                            "D:\\My Data\\NLP\\SA\\waimai\\positive_corpus_v2.txt"]
 
+        # output_filepath = [
+        #     os.path.normpath(os.path.join(
+        #         common_lib.root_filepath, "f_hmm/tag/negative_tag_corpus-%d.txt")),
+        #     os.path.normpath(os.path.join(
+        #         common_lib.root_filepath, "f_hmm/tag/positive_tag_corpus-%d.txt"))]
+
         output_filepath = [
             os.path.normpath(os.path.join(
-                common_lib.root_filepath, "f_hmm/tag/negative_tag_corpus-%d.txt")),
+                common_lib.root_filepath, "f_hmm/tag2/negative_tag_corpus-%d.txt")),
             os.path.normpath(os.path.join(
-                common_lib.root_filepath, "f_hmm/tag/positive_tag_corpus-%d.txt"))]
+                common_lib.root_filepath, "f_hmm/tag2/positive_tag_corpus-%d.txt"))]
 
         for i in range(2):
             with open(origin_filepath[i], encoding="utf-") as readf:
@@ -524,6 +530,6 @@ def _test3():
 
 if __name__ == "__main__":
     pass
-    # _test1()
-    _test2()
+    _test1()
+    # _test2()
     # _test3()

WaiMaiMiner/crawler.py

@@ -1,7 +1,7 @@
 import re
 import json
 import requests
-from WaiMaiMiner import classifier
+# from WaiMaiMiner import classifier
 
 """
 First page url:
@@ -18,7 +18,7 @@ def __init__(self):
                         "json&shop_id=%s&page=%s&count=60"
 
         self.shop_id = None
-        self.maxent = classifier
+        # self.maxent = classifier
         self.page_num = 1
 
         self.info = {}
@@ -31,7 +31,6 @@ def crawl(self, url=None, shop_id=None):
         i = 0
         while i < self.page_num:
             self._get_json_request(self.base_url % (self.shop_id, i + 1))
-
             i += 1
 
         # init the page_num variable and filter
@@ -149,7 +148,7 @@ def _get_json_request(self, url):
         try:
             result = requests.get(url)
         except requests.ConnectionError:
-            raise ValueError("Bad url")
+            raise ValueError("requests.ConnectionError")
 
         content = json.loads(result.text)
         result = content["result"]

WaiMaiMiner/f_hmm/tag/positive_tag_corpus-30.txt

@@ -1,5 +1,5 @@
 很快/P1	
-好开心/P1
+好开心/
 
 
 优惠活动/E	不错/P1
@@ -9,7 +9,7 @@
 很/P1	好/P1	！/
 
 
-杯子/	坏/	了/	,/
+杯子/E	坏/N1	了/N1	,/
 不过/	饮料/	没/	出来/	,/
 其他/	都/	可以/P1
 

WaiMaiMiner/f_hmm/tag/positive_tag_corpus-6.txt

@@ -13,7 +13,7 @@
 快递/E	小哥/E	也/	很/P1	礼貌/P1	。/
 菜品/E	量足/P1	，/
 味道/E	不错/P1	，/
-下次/	再/	来/	。/
+下次/P1	再/P1	来/P1	。/
 
 
 味道/E	不错/P1	！/

WaiMaiMiner/f_hmm/tag2/negative_tag_corpus-0.txt

@@ -0,0 +1,64 @@
+菜品/E	质量/E	好/	，/
+味道/E	好/	，/
+就是/	百度/	的/	问题/	，/
+总是/	用/	运力/	原因/	来/	解释/	，/
+我/	也/	不/	懂/	这/	是/	什么/	原因/	，/
+晚/	了/	三个/	小时/	呵呵/	厉害/	吧/	！/
+反正/	订/	了/	就/	退/	不了/	，/
+只能/	干/	等/	…/	…/
+
+
+分量/E	还/	可以/	…/	…/
+就是/	有点/	没/	特色/E	…/	…/
+下回/	不吃/	啦/
+
+
+没什么/	味道/E	，/
+送来/	的/	晚/	凉了/
+
+
+送餐/E	送错/	，/
+还/	狡辩/	不/	给/	补偿/	，/
+送餐/E	时间/E	3/	个/	小时/	，/
+百度/E	送餐员/E	更是/	素质/	卑劣/	，/
+额外/	还要/	加收/	17/	元/	的/	外送费/	。/
+百度/E	客服/E	也/	没用/	，/
+也/	没有/	解决/	！/
+
+
+完全/	不/	值得/	信任/	，/
+出尔/	反而/
+
+
+最差/	餐厅/E	，/
+没有/	之一/
+
+
+感觉/	不太/	好吃/	，/
+价格/E	贵/	。/
+但是/	百度/E	外卖/E
+	的/	送餐人员/E
+	态度/E	很/	好/	！/
+
+
+没/	发票/E	，/
+乱收费/	，/
+订单/E	没到/	就/	被/	完成/	了/
+
+
+量/E	很大/	，/
+但是/	味道/E	真的/	一般/	。/
+等/	了/	一个多/	小时/	才/	送到/	，/
+达到/	了/	超时/E	赔付/E	的/	时间/	，/
+感觉/	百度/E
+	超时/E	赔付/E	就是/	个/	摆设/
+
+
+头/	一天/	看/	同事/	点/	的/	三份/	菜/	就/	一大/	盆/	，/
+今天/	点/	了/	四份/	菜/	才/	一小/	碗/	…/	…/
+差太大/	吧/	，/
+辣椒/E
+	花椒/E	太/	多/	，/
+非常/	油腻/	…/	…/
+
+

WaiMaiMiner/f_hmm/tag2/negative_tag_corpus-1.txt

@@ -0,0 +1,56 @@
+点/	了/	200/	多块/	吧/	，/
+整份/	鱿鱼/E	卷/E	只有/	3/	个/	，/
+土豆片/E	没/	见到/	，/
+丝瓜/E	没/	见到/	，/
+总之/	整份/	比/	平时/	半份/	还少/	，/
+不/	建议/	一次/	点/	很多/	，/
+三种/	菜品/E	和/	十几种/	菜品/	都/	是/	同/	规格/	的/	打包/	盒/	，/
+不会/	再点/	了/	。/
+
+
+特别/	写/	了/	酱油/E	炒饭/E	不加/	蛋/	了/	,/
+结果/	还是/	加蛋/	了/
+
+
+每次/	叮嘱/	别放/	姜/E	，/
+回回/	都/	不当/	个事/
+
+
+饭菜/E	量/E	很少/	,/
+价位/E	偏高/	,/
+关键/	是/	不能/	及时/	开发票/	,/
+让/	人/	很/	无语/
+
+
+明明/	点/	的/	是/	土豆/E	红烧肉/E	盖饭/E	送来/	的/	却是/	土豆/E	牛肉/E	盖饭/E	，/
+是/	店家/	太忙/	还是/	认不清/	字/	啊/	！/
+两个/	盖饭/E	也/	不是/	一个/	价格/	多收/	了/	我/	4/	元/	钱/	。/
+
+
+不/	好吃/	，/
+不像/	厨师/E	做/	的/	，/
+连/	家常菜/E	不如/
+
+
+炒菜/	都/	不/	放盐/	的/	？/
+咖喱/E	炒饭/E	没/	吃/	就/	扔/	了/	！/
+太/	失望/	，/
+差/
+
+
+挺不错/	的/	、/
+不过/	有点/	辣/
+
+
+完全/	送错/	，/
+没有/	一个/	菜/E	是/	一样/	的/	，/
+我/	也/	真是/	服/	了/	。/
+送餐员/E	在/	还/	没有/	送到/	的/	情况/	下/	就/	确认/	完成/	，/
+这/	都/	是/	怎么/	找/	的/	人/	啊/
+
+
+今天/	送/E	的/E	很快/	，/
+快递员/E	态度/E	好/	，/
+味道/E	很/	好/
+
+

WaiMaiMiner/f_hmm/tag2/negative_tag_corpus-10.txt

@@ -0,0 +1,59 @@
+我/	确实/	是/	忘记/	选择/	配送/E	时间/E	了/	，/
+你们/	商家/E	从来不/	看/	买家/	的/	备注/E	么/	，/
+也/	真是/	醉/	了/	，/
+这/	就是/	直接/	吃片/	汤/	了/	，/
+服气/	了/
+
+
+红油/E	热干面/E	吃/	了/	拉肚子/	！/	！/
+难受/	！/
+和/	老家/	味道/E	完全/	不/	一样/	啊/	！/
+
+
+忘记/	说别/	放辣/	了/	，/
+结果/	辣得/	我/	全倒/	了/	！/
+
+
+是不是/	因为/	外卖/E	的/	关系/	，/
+怕/	泡/	的/	时间/	长/	，/
+面条/E	都/	没/	怎么/	熟/	，/
+好/	硬/
+
+
+味道/E	还/	可以/	，/
+只是/	送过来/	有点/	干/
+
+
+口味E/	能/	再/	重/	一点/	吗/	？/
+大/E	料/E	不用/	钱/	买/	？/
+不/	喝/	三杯水/E	,/
+我/	是/	吃/	不/	下去/	的/
+
+
+送/	的/	倒/	是/	真速度/	～/
+可是/	勺/E	也/	没/	给/	餐巾纸/E	也/	没有/
+以后/	不/	点/	这家/	了/	…/
+面/E	不/	好吃/	～/
+一股/	子/	很/	不/	新鲜/	的/	味道/E	…/
+鸡腿/E	也/	是/	闻起来/	不/	新鲜/	…/
+酒糟/E	小/	汤圆/E	好/	马马虎虎/	…/
+
+
+面太干/	太/	硬/	不/	好吃/	，/
+除了/	面/E	就/	有/	两片/	木耳/E	，/
+差评/	！/	,/
+汤水/E	洒的/	满/	世界/	都/	是/
+
+
+太慢/	！/
+不会/	再用/	百度/E	外卖/E	了/
+
+
+热干面/E	没什么/	味/E	，/
+油/E	太重/	！/
+豆皮/E
+	味道/E	还/	可以/	，/
+豆干/E	比较/	多/	，/
+糯米/E	和/	肉丁/E	少/	。/
+
+

WaiMaiMiner/f_hmm/tag2/negative_tag_corpus-11.txt

@@ -0,0 +1,64 @@
+比/	预定/E	时间/E	提前/	40/	分钟/	送到/	，/
+面/E	和/	汤/E	还/	没/	给/	分开/	，/
+吃/	的/	时候/	都/	泡/	坏/	了/	。/
+
+
+饭/E	没什么/	可说/	的/	，/
+外送/E	从/	取餐/	到/	送到/	用/	了/	40/	分钟/	，/
+实际/	距离/	1/	公里/	左右/	，/
+面条/E	类/	的/	东西/	这样/	还/	能/	吃/	？/
+
+
+注明/	了/	不放/	香菜/E	，/
+结果/	送来/	满满的/	全是/	香菜/E	。/
+带/	汤/	的/	面条/E	，/
+汤和面/E	没分开/	盛放/	，/
+送来/	直接/	全/	糊了/	，/
+今天/	注定/	要/	饿肚子/	了/	，/
+28/	块钱/	2/	个/	多/	小时/	等待/	打水漂/	了/	，/
+差到/	极致/	的/	外卖/E	！/	！/	！/	！/	！/
+
+
+原味/E	鸡/E	能不能/	差不多/	点订/	了/	六块/	、/
+基本上/	都/	是/	一样/	的/	、/
+上次/	订/	也/	是/	这样/	问题/
+
+
+服务/E	太差/	！/
+说/	半天/	要/	番茄酱/E	也/	没/	给/	我/	拿/	！/
+后来/	说/	给/	我/	送/	又/	没/	送/
+
+
+送来/	的/	东西/E	袋子/E	也/	不/	记上/	、/
+都/	凉了/	、/
+快递/E	也/	不行/	啊/
+
+
+连/	个/	吸管/E	都/	没有/	，/
+而且/	送来/	的/	都/	凉了/
+
+
+速度/E	快/	、/
+质量/E	差/	的/	很/	、/
+我要/	九块/	原味/E	鸡/E	、/
+四块/	一样/	的/	、/
+你/	他妈的/	脑袋/E	有/	问题/	吧/	、/
+告诉/	我/	看见/	就/	恶心/	、/
+9/
+块/	都/	是/	差不多/	一样/	的/	、/
+所以/	说/	你们/	有/	神经病/
+
+
+大/	晚上/	点/	KFC/E	就是/	个/	错误/	，/
+第一次/	吃/	到/	口/	干/	这么/	差/	的/	汉堡/E	，/
+肉卷/E	也/	极差/	。/
+到/	点/	的/	东西/E	该/	废要/	废/	，/
+拿/	这种/	东西/E	卖/	给/	顾客/	好意思/	？/
+掉/	钱/	眼里/	了/	？/
+总之/	东西/	和/	自己/	去/	店/	买/	的/	口感/E	差/	很多/	！/
+但是/	还是/	要/	谢谢/	辛苦/	送餐/	的/	送餐员/E	！/
+
+
+少送/	了/	饮料/E
+
+