Skip to content
/ mini-spider Public

在调研过程中，经常需要对一些网站进行定向抓取。由于python包含各种强大的库，使用python做定向抓取比较简单。请使用python开发一个迷你定向抓取器mini_spider.py，实现对种子链接的广度优先抓取，并把URL长相符合特定pattern的网页保存到磁盘上。

2 stars 4 forks Branches Tags Activity
Star
Notifications You must be signed in to change notification settings

LihuaWu/mini-spider

BranchesTags

Repository files navigation

   



      


  
      

      

        

          

            

  
About


      

        在调研过程中，经常需要对一些网站进行定向抓取。由于python包含各种强大的库，使用python做定向抓取比较简单。请使用python开发一个迷你定向抓取器mini_spider.py，实现对种子链接的广度优先抓取，并把URL长相符合特定pattern的网页保存到磁盘上。
      




  



  
  

  

    
      Activity  



  
Stars

  

    
      2
      stars  


  
Watchers

  

    
      3
      watching  


  
Forks

  

    
      4
      forks  


    

      
          Report repository
    




          

        


        
            

              

                

  Releases


    
No releases published


              

            


        
        
            

              

                
  

  Packages
      



      

        No packages published 

      




              

            


        
            

        
        
        
            

              

                
Languages