Popular repositories Loading

1. sego sego Public

   Forked from huichen/sego

   Go中文分词

   Go

2. wukong wukong Public

   Forked from huichen/wukong

   高度可定制的全文搜索引擎

   Go

3. go-fetcher go-fetcher Public

   Forked from chzyer/go-fetcher

   爬虫器(golang), 模拟浏览器特征保存cookie，referer，以达到爬虫的目的

   Go

4. go_spider go_spider Public

   Forked from hu17889/go_spider

   [爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl comp…

   Go

5. pholcus pholcus Public

   Forked from andeya/pholcus

   [爬虫框架 (golang)] Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/csv/excel等）、有大量Demo共享；同时她还支持横纵向两种抓取模式，支持模拟登录和任务暂停、取消等一系列高级功能。

   Go

6. distribute_crawler distribute_crawler Public

   Forked from gnemoug/distribute_crawler

   使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

   Python