-
-
Notifications
You must be signed in to change notification settings - Fork 350
/
Copy pathchangelog.txt
840 lines (615 loc) · 59.5 KB
/
changelog.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
## Snoop Project
********
*v1.4.2*
********
* Расширена поисковая web-base Snoop ↑ 4700+ сайтов.
* Исправлен подсчет bad_raw в случае, когда был задан поиск по множеству username's из CLI или с опцией
'--userlist/-u', среди которых попадался невалидный nick в комбинациях: например, один из username's
короче 3-х символов, номер телефона, кириллический или из спецсимволов, где ПО его отфильтровывает,
но позже на том же ресурсе принимался следующий, валидный username
(при превышении bad_raw 2.5% параметр не рассчитывался, теперь подобные варианты просчитываются).
* Нетривиальное использование HTTP библиотек позволило на Snoop for Windows оптимизировать утилизацию
ресурсов CPU, прирост производительности к скорости поиска на длинной дистанции составил ~20-25%.
* Немного повышена эффективность повторных запросов при неудачных попытках соединения.
* Оптимизирован алгоритм автоскорости поиска утилиты на слабых одноядерных VPS и мощных многоядерных ЭВМ с
OS GNU/Linux. Также изменены ограничения верхнего предела утилизации ресурсов ЭВМ при разгоне поиска вручную:
на OS GNU/Linux, Android/Termux — планка поднята, на OS Windows — планка опущена.
* Ускорена работа ПО в режиме '--save-page/-S': поиск и сохранение локальных HTML-страничек.
* На OS GNU/Linux и Android/Termux прерывание работы софта с безопасным высвобождением ресурсов немного
ускорено и составляет менее 1 сек. (Ctrl +c).
* На Snoop for Android/Termux добавлено оповещение о недоступности диска и предложение: что бы Snoop Project
автоматически исправил ошибку доступа к общедоступному каталогу в OS Android "/storage/emulated/0/snoop/*"
(Если пользователь новичок устанавливал Termux впервые и собирал Snoop из исходного кода, не читая инструкцию,
т.е. пропуская шаги, то Snoop автоматически не мог создавать общедоступный каталог для результатов поиска и
открывать data за пределами Termux, issue_95, issue_96, issue_97.
* Изменен нижний порог с 2.5% до 2% при срабатывании оповещений Bad_raw. Также при превышении bad_raw 2%
в CLI Snoop full version добавлена пример-подсказка с предложением изменить поиск, минуя сбойные ресурсы.
* В CLI Snoop demo version добавлено оповещение о том, как можно получить Snoop full version без чтения справки
(issues/85).
* В CLI и csv отчеты добавлен "плавающий" параметр bad_zone — главные одна/две геолокации,
в которых чаще всего происходят ошибки соединения в основном из-за интернет цензуры.
* В txt отчёте улучшено форматирование столбцов, сделан реверс данных: "Адрес | Ресурс" и добавлен параметр "Гео".
В html отчёте усилена визуализация разбивки по странам/скобки. В csv отчёте заменен столбец "username"
на строку "Nick", добавлен параметр отслеживания сайтов со статусом: "завис"
(редкое явление, когда какой-нибудь ресурс временно подвисает:
подавляет выставленные лимиты в т.ч. и на низком уровне redirect/timeout запросов, подольше удерживая ресурсы ЭВМ).
* В HTML-отчете изменена функция кнопки, которая ранее вела на страницу донатов Юмани
(кнопка теперь генерирует HTML: Donate/Buy с методами поддержки проекта в т.ч. и QR-кодом).
* Функции: удаление кэша, обновление ПО, проверка БД — зациклены
(при взаимодействии с ними и неверном выборе/опечатке происходит не выход из программы,
а повторный запрос на ввод с подсказкой).
* Уменьшена зависимость от кол-ва сторонних библиотек в Snoop demo version:
убран плагин с частичным функционалом "Reverse Vgeocoder".
(Унифицирован способ самостоятельной сборки Snoop for Android/Termux & Desktop, т.е. синхронизированы зависимости
между Snoop for Termux и Snoop for Desktop. Ускорены: сборка проекта из исходного кода и запуск Snoop build версии).
* На Snoop full version for Windows по окончанию поиска добавлена ненавязчивая, по событиям,
подсказка про оптимизацию скорости поиска.
* В CLI добавлено оповещение и рекомендация, как исправить/улучшить работу утилиты, если пользователь собрал Snoop
из исходного кода, но при сборке пренебрег инструкциями/документацией
(при этом ПО не прерывает работу, оповещает пользователя и переключается в режиме совместимости, например,
если используются устаревшие версии HTTP библиотек/API и c прекратившим жизненный цикл Python 3.7).
* В блок 'snoop info', секция 'Recommended pool', опция '--version/-v' добавлены ~расчеты по требованиям к ресурсам ЭВМ
для нормальной работы ПО в любых конфигурациях при его разгоне вручную на разных OS.
* Незначительные визуальные изменения в CLI.
* Проведено агрессивное сжатие репозитория. Сохранен полный бэкап истории.
Пользователи, собирающие, обновляющие Snoop из исходного кода, должны сделать 'git clone' по-новому.
===================================================================================
*********
*v1.4.1a*
*********
* (a) Убрана страница донатов CloudTips. Build-версия 'snoop_cli' для GNU/Linux переименована в 'snoop_cli.bin'
и другие незначительные некоторые изменения.
* Расширена поисковая web-base Snoop ↑ 4200+ сайтов.
* Улучшен алгоритм агрессивного режима поиска: опция '--quick/-q' в Snoop for Windows.
(ускорение поиска составляет от 5% до 200% в зависимости от версии Windows и производительности ПК,
снижено потребление ОЗУ).
* В snoop full version добавлена новая опция: '--pool/-p': отключить автооптимизацию и задать вручную ускорение поиска
(эта опция персональна и способна разогнать поиск в Snoop full version до высоких скоростей).
* В блок 'snoop info' опции '--version/-V' добавлен предварительно расчетный параметр. "Recommended pool".
* Исправлена дозапись "bad_username's" в файл "bad_nicknames.txt"
(snoop мог иногда путаться откуда считывал невалидные username's из файла или CLI).
* Обновлен формат дат в CLI/отчетах согласно международному стандарту ISO 8601
(гггг-мм-дд).
===================================================================================
*********
*v1.4.0a*
*********
* (a) Расширены оповещения о Bad_raw. Документация Snoop Project оформлена и выложена под свободной GNU FDL лицензией.
Обновлены реквизиты приёма платежей
(Qiwi/PayPal в РФ больше не работают, убраны. Добавлен способ оплаты по СБП. Добавлена страница донатов CloudTips).
* Расширена поисковая web-base Snoop ↑ 3700+ сайтов.
* Ускорен поиск в Snoop for GNU/Linux ~ на 140% т.е. почти в 2.5 раза!
(при скорости интернет соединения не менее 12 Мбит/с поиск 'username', используя БД Snoop full версии, в quick-режиме
'--quick/-q' длится менее 1-й минуты).
* Ускорен запуск Snoop Project build version на старых ПК с OS Windows/HDD.
* Добавлен новый и умный алгоритм автоопределения явно не указанных/проблемных/перепутанных кодировок сайтов
при поиске в различных режимах.
* Добавлено больше информативности в CLI при поиске по сокращенной БД, используя опции фильтры:
'--site/-s' '--exclude/-e' '--include/-i'
(кол-во веб сайтов при сужении поиска отображается в квадратных скобках справа от общего кол-ва сайтов БД).
* Изменен порог оповещения о Bad_raw: поднят c 2% до 2.5%.
* Форматирование. Улучшено стилизирование инфострок в CLI на небольших/сжатых по размеру терминалах,
например, в CLI Termux на Android: добавлены авто отступы строк с учетом пользовательского CLI-окружения.
Переработан внешний вид премиальных предложений, которые действуют для всех пользователей Snoop full version.
* Обновлен HTML-репорт:
1) изменены стили кнопок;
2) добавлена подсветка, увеличение строки из списка websites при наведении курсора,
двигаясь по списку при выборе ресурса сложно теперь промахнуться;
3) удалена дублирующая строка/тавтология о том, на скольких ресурсах найден 'username';
4) в Snoop demo version добавлена парочка упоминаний об использовании demo версий/просьба о пожертвовании
на развитие проекта/full;
5) увеличена визуальная составляющая группировки флагов стран;
6) добавлено отображение title(s) саундтреков при наведении на них курсора.
* Исправлено автотестирование сети в режиме вербализации '--verbose/-v' в случае, когда тесты иногда проваливались
из-за отказа некоторых серверов принимать соединение по незащищенному каналу.
* Во всех версиях Snoop убран звук из CLI
(звуковые оповещения об ошибках и об окончании поиска).
* К Snoop full version добавлены light сборки, позволяющие запукать ПО почти мгновенно.
* Android. Немного ускорен поиск в режиме вербализации.
* Android. Если пользователь предпочитает открывать html-отчеты вручную и из своего GUI ФМ,
то теперь подтягиваются и все стили.
* Обновлены плагины 'GEO_IP/domain' и 'ReverseVgeocoder' до новых версий. Расширена визуализация данных
в html-отчетах в Snoop full версиях, в частности добавлены:
1) чекбокс фильтрации данных по странам;
2) графики со статистикой по странам, регионам, объектам, провайдерам;
3) новый слой — топокарты, меняется по клику/свайпу;
4) режим переключения в полный экран;
5) авто отображение координат в любой точке на карте;
6) масштаб линейки;
7) памятка, отображающая статистику по InvalidData;
8) copyright;
9) поиск;
10) в плагине 'ReverseVgeocoder' увеличен масштаб покрытия/точности от 10-100 раз по округам/объектам
в RU; EU и CIS локациях.
! Для того чтобы воспользоваться всеми обновлениями, если ранее пользователь уже пользовался старыми сборками Snoop,
то нужно сбросить кэш (разовая операция):
$ snoop_cli --autoclean
если пользователь предпочитал использовать Snoop в исходной форме, обновить библиотеки:
$ cd ~/snoop && python3 -m pip install -r requirements_android.txt #Android;
$ cd ~/snoop && python3 -m pip install -r requirements.txt #Desktop.
===================================================================================
********
*v1.3.9*
********
* Расширена поисковая web-base Snoop ↑ 3500 сайтов.
* Исправлена утечка памяти, которая затрагивала пользователей Snoop version for Windows.
* Исправлено падение Snoop при сохранении отчетов с опцией '--save-page/-S' в крайне-редких случаях
(например, если сайты намеренно вредили парсингу или в своём исходном коде содержали неподдерживаемые символы
в заявленной кодировке. За отчёт спасибо подписчику из Сербии, ранее он уже присылал информацию по найденным багам).
* В режим вербализации опция '--verbose/-v' добавлена новая метрика: отслеживания доступной/потребляемой памяти RAM.
* Ускорен вывод на печать сайтов из "dynamic gray list" и недопустимые/кириллица "nickname(s)" на определенных сайтах
(оптимизация актуальна для пользователей Snoop for Windows full версий).
* В ПО Snoop Project добавлена пасхалка, связанная с поиском особых nickname(s).
* Спрятаны редко-используемые опции из help-a: '--cert/-C' и 'Headers/-H' чтобы не загромождать справку
(опции продолжают работать если их задействовать, описание ключей осталось в документации и readme).
* Во все отчёты добавлен "copyright".
* Слиты ветки "snoop_termux" и "master", немного изменилась инструкция по установке Snoop на Android/Termux
(код синхронизирован, экономия дискового пространства и упрощение дальнейшей разработки/поддержки кодовой базы.
Для получения обновлений из "source code" пользователи Snoop for OS Android/Termux должны сделать
"git checkout master" или "git clone" по-новому).
* Объединены флаги государств Kb/WR
(WR — означает весь мир. Kb — ранее означало "киберпанки", обычно это форумы где общение проходит на EN-языке,
но в условиях использования или политике конфиденциальности/обратной связи не указана локация).
* Обновлена документация.
* Мелкие визуальные улучшения.
===================================================================================
********
*v1.3.8*
********
* Расширена поисковая web-base Snoop ↑ 3000+ сайтов.
* Исправлены баги в редких случаях:
1) поиск nickname с опцией сохранения отчетов 'snoop_cli -S username', если при поиске на "плохом" ресурсе
username найдено, но на сервере указана несуществующая кодировка или кодировка с опечаткой, то при сохранении
страницы она ломала автоопределение кодировки в snoop;
2) при поиске nickname мультипроцессинг на Snoop for GNU/Linux full версии мог и крашился
(почти невозможно было воспроизвести проблему, спасибо за отчёты подписчику Snoop full версии из Сербии).
* Расширен шаблон запрещённых символов при поиске nickname, например, китайский алфавит и др.
символы, отличные от латиницы, кириллицы, цифр, некоторых спец.символов — теперь недозволен.
* При использовании опции 'userlist/-u' (загрузка nickname(s) из файла) в cli-отчёт добавлена промежуточная таблица:
short nickname(s). Так же файл 'bad_nicknames.txt' обновляется если не только в CLI были введены 'неправильные'
nickname, но и выгружены из файла: формат 'bad_nicknames.txt' выглядит следующим образом::
дата/время/неправильный nickname из файла/или из CLI/bad_username.
* Яндекс присоединился к интернет-цензуре и теперь письма с его домена не отправляются в международную почтовую службу
'protonmail', для пользователей зарегистрированных в 'яндекс/mailru', которые ранее не могли связаться с разработчиком
по email, в оферту и документацию Snoop добавлена дополнительная нецензурируемая почта для запросов и предложений.
* Изменены условия предоставления Snoop full версии для студентов: скидка на ПО составляет теперь 50%,
ранее подписка стоила 0р, также обновлены реквизиты сберкарты.
* Добавлены Readme на Испанском; Китайском; Французском и Немецком языках.
===================================================================================
********
*v1.3.7*
********
* Расширена поисковая web-base Snoop до 2700 сайтов.
* Android. Ускорен поиск snoop на Termux ~ на 200%
(требуется обновление Termux и обновление Python до версии 3.11, либо установка пропатченного python 3.7-3.10 из
tur-repo, в крайнем случае сохранена обратная совместимость и небыстрый поиск).
* Android. [Из-за специфичной локали в Termux] если пользователь ищет ник, например, на кириллице,
то лишь в html результатах ник будет переименован, как 'nickname_ч_м_г_время', мера необходима для корректного
автооткрытия результатов поиска в вэб-браузере, txt/csv отчёты не затронуты.
* Переработана и улучшена интеллектуальная логика поиска. Snoop в большинстве случаев не делает повторные запросы
на зацензурированные ресурсы внешней стороной или внутренним регулятором
(экономия времени при поиске, в противном случае, ресурсы были бы потрачены впустую, актуально в Full-версиях).
* Улучшено детектирование трёх групп сайтов:
1. исключаются ошибки ложного сраб. при поиске, если проблемы с серверами или они на ТО, затрагивает ~50% БД snoop;
2. больше результатов при поиске на сайтах, которые давно заброшены или имеют проблемы с безопасностью;
3. расширен формат БД Snoop для манипуляций с редкими проблемными кодировками/сайтами, например, когда сервер
возвращает/не возвращает одну кодировку, а в тегах присутствует другая.
* Исправлен подсчёт % Bad_raw при любых манипуляциях с БД Snoop, а также учитываются сайты из Dynamic gray_list
(дефолтная локальная БД; скачанная БД; синхронизированная онлайн БД; сокращённые БД с ключами '-s', '-i', '-e').
* Добавлена проверка опечаток: nickname не может быть короче 3-х символов
(если пользователь опечатался, например, при наборе ключа '-s': "$ snoop_cli - s ebay username", поведение ранее
вызвало бы поиск сразу чётырёх nickname(s) по всей БД snoop:: '-', 's', 'ebay' , 'username' вместо поиска
одного username на одном указанном ресурсе — ebay.com).
* Добавлена новая опция поиска: режим '--quick/-q', которая ускоряет общий поиск
(подробнее о новом режиме поиска в '--help/-h', quick-режим актуален для Full-версий, при слабых мощностях, OS Windows).
* Переработана кодовая база некоторых частей ПО, в проекте стало меньше сторонних lib-зависимостей.
* Косметические изменения в ПО
(удалена опция 'Normal'; переименована опция "one-level" в "include"; опция удаления отчетов теперь выводит баннер и
запрашивает подтверждение на удаление; логгирование low/high ошибок стало более информативным;
расширен блок snoop-info; при поиске nickname и получения ошибок в CLI, связанных с Internet Censorship/ssl,
справа от ресурса появляется буквенный код страны, например, если у пользователей из РФ-локации очень часто возникают
ошибки на UA-ресурсах, это значит, что "слон в комнате"; поддержать проект теперь можно и с помощью QIWI;
поправлены print-опечатки и смысловые конструкции).
===================================================================================
********
*v1.3.6*
********
* Обновлен плагин GEO_IP/domain. При несуществующей или ненайденной цели ПО автоматически прерывает программу
(на некоторых версиях Android Snoop мог неожиданно подвисать на ~минуту. Обновлён прядильщик: вращающаяся планета).
* Значение опции "-t" timeout по умолчанию при поиске "nickname" поднято до 9 сек.
(прошлое значение = 5 сек. Причина: увеличение БД snoop demo).
* При поиске "nickname" добавлены повторные соединения на сбойные ресурсы
(при некоторых неудачных попытках коннекта отправляются повторные запросы,
частичный функционал перешёл из Full версий).
* Комбинация клавиш: "ctrl + c" — теперь одинаково хорошо прерывает работу ПО во всех версиях Snoop и на разных OS.
* Поиск "nickname" на Snoop for GNU/Linux в demo стал быстрее по сравнению с поиском Snoop for Windows demo
(частичная функциональность перешла из Full версий).
* Опция "-С" сделала реверс на Snoop for Android.
(при поиске "nickname" проверка сертификатов по умолчанию отключена теперь везде в т.ч. и на OS Android,
эффект — меньше ошибок на проблемных сайтах. Пример воспроизведения проблемы с "плохим сайтом":
$ snoop_cli -s forumkinopoisk nickname123321 -C
в ранних версиях Python отключение "проверки сертификатов" лишь на Snoop for Android вызывало замедление поиска).
* Спрятана опция '--base/-b'
(самая редко-используемая опция спрятана для того, чтобы не загромождать "help").
* Блок snoop-info, опция "snoop -V" подсвечивает параметр RAM, когда программы на ПК/смартфоне захватили "всю" память
(если Snoop считает, что для нормальной работы ему недостаточно ОЗУ, на разных OS эти значения неравны,
то подсвечивает доступную RAM в OS красным цветом).
* Незначительные косметические изменения.
* Обновлена документация: 'Общее руководство Snoop Project.pdf'.
===================================================================================
********
*v1.3.5*
********
* Обновлён плагин GEO_IP/domain. Старый метод проверки ip/доменов сломался и был заменён на три новых.
В случае неисправности одного метода подхватывается следующий. В логике обновлены проверки и добавлен прядильщик.
* В build-версиях обновлены некоторые библиотеки, могут выявиться неожиданности (см snoop_cli -V).
* Build-версии 'snoop' переименованы в 'snoop_cli'
(для тех пользователей, кто не читал документацию и пытался запускать 'snoop' из домашнего каталога в GNU/Linux).
* Сокращено время на установку Snoop на Android (Termux) в несколько раз.
===================================================================================
********
*v1.3.4*
********
* Расширена поисковая web-base Snoop > 2600+ сайтов, 54% из которых в ru-зоне.
* Динамические временно-отключённые веб сайты из "Graylist" отображаются теперь в файле "Websites.md": метки (g. l.).
* Aвтооткрытие результатов во внешнем веб браузере налажено на всех версиях Android без правок конфига
(детектирование дистрибутивов Android ("snoop -V -> snoop info" и автооткрытие результатов поиска в "HTML Viewer").
* Исправление для создания табличных csv-отчётов на OS Windows для локалей/кодировок отличных от RU (issues/61).
* Обновлены плагины Reverse Vgeocoder & GEO_IP/domain: всплывающие окна маркеров стали более информативными
(full-версии).
* Удалены и больше не поддерживаются английские snoop build версии
(removed and no longer supported English snoop build versions).
* Мелкие исправления.
===================================================================================
********
*v1.3.3*
********
* Добавлены в архивы видео-подсказки по быстрому запуску snoop для пользователей новичков, которые не работали с CLI
(issues/48).
* Добавлен txt-отчет: файл 'bad_nicknames.txt' в который записываются пропущенные дата/nickname(s)
(недопустимые ники/телефоны/некоторые_спецсимволы, обновляя файл в режиме дозаписи при поиске, например с опцией '-u'.
* Добавлен режим корректного останова ПО с высвобождением ресурсов для разных версий/платформ Snoop Project (ctrl+c).
* Добавлена новая опция '--headers/-H': задать вручную пользовательский user-agent.
По умолчанию на каждый сайт создается рандомный, но реальный юзерагент или выбирается/переопределяется из БД Snoop
с расширенным заголовком для обхода некоторых 'защит CF'.
* Добавлена snoop-заставка и некоторые эмодзи, когда nickname(s) для поиска не заданы или выбраны
противоречивые параметры в аргументах CLI
(исключение: snoop for Windows OS — старая CLI OS Windows 7).
* Добавлены различные инфо-панели: отображение БД '--list-all/-l'; режим verbose; новый блок 'snoop-info'
с опцией '--version/-V'; с опцией '--userlist/-u' разделение на группы nickname(s):
валидные/невалидные/дубликаты; в CLI Yandex_parser-a (full-версии).
* Обновлён режим поиска с опцией '--userlist/-u' расширен алгоритм детектирования nickname(s)/email
(просто попробуйте его использовать снова).
* Ускорен вывод БД в CLI для методов опции '--list-all/-l' [1/2].
* Для Snoop for Termux (Android) добавлено авто-открытие результатов поиска во внешнем браузере
без перекрытия результатов в CLI
(по желанию пользователя открытие результатов во внешнем веб-браузере можно проигнорировать).
* Обновлен внешний вид вывод результатов в CLI при поиске nickname(s). Обновлен вывод лицензии в стиле Windows XP.
Обновлен прогресс (ранее прогресс обновлялся по мере поступления данных и из-за этого казалось, что ПО подвисает в
full-версиях). Прогресс обновляется несколько раз/сек. или по мере поступления данных в режиме вербализации.
* В html-отчеты добавлена новая кнопка 'Doc', ведущая на документацию 'Общее руководство Snoop Project.pdf'/онлайн.
* В txt-отчеты также, как и в html/csv-отчеты добавлен параметр 'сессия'.
* Обновлены все опции Snoop Project ближе к POSIX (см snoop --help).
Старый вариант использования аргументов в CLI с подтверждением [y] обратно совместим.
* Обновлён Yandex_parser до v0.5: убрано сервис Я.коллекции (ресурс неактивен).
Добавлен Я.аватар: login-a/email. В многопользовательский режим в txt/cli/tml-отчёты добавлены/обновлены метрики:
'валидные_логины/незареганные_пользователи/необработанные_данные/дубликаты', метки логинов.
* Подкаталоги сохраненных отчетов/результатов группируются: plugin(s) в один каталог, nickname(s) в другой.
* Исправлен корректный выход из ПО при попытке протестировать сеть при её отсутствии/сбое с опцией '-v'.
* Исправлено в CLI: индив.сессия/трафик/время при поиске в одной сессии нескольких имен
с опцией '-u' и/или с опцией '-v'.
* Исправлено в csv-отчетах: время отклика сайта разделяется 'верным дробным знаком'::
точка или запятая с учетом локали пользователя (т.е. число в таблице всегда цифра независимо от дробного знака,
что прямо влияет на сортировку результатов по параметру).
Данные ниже 1 Кб округляются точнее, свыше 1 Кб без дробной части. Общее время (было в мс., теперь в сек.сот).
При сохранении отчетов с опцией '-S' или в обычном режиме для сайтов,
использующих специфичный метод детектирования nickname(s):
(username.salt) теперь также подсчитывается размер данных сессии.
* Миграция build-версий Snoop Project с python3.7 на python3.8 (кроме EN-версий).
===================================================================================
********
*v1.3.2*
********
* Расширен формат БД: добавлен параметр "grey_list" динамические сайты временно отключенные.
(в csv-отчеты записываются статусы о временно отключённых сайтах,
с опцией '--verbose/-v' информация о сайтах из grey_list отображается и в CLI).
* Для Snoop build-версий добавлен прядильщик при синхронизации локальной и удаленной БД
(при синхронизации/обновлении БД всплывает временно анимированное сообщение: 'синхронизация с БД онлайн').
* По просьбе донатера обновлена опция отображение детальной информации о БД snoop: '--list all' до сокращения '-l y'.
* Добавлена новая опция '--exclude/-e' исключить из поиска выбранные регионы, например, '-e WR' — исключить мир
(допустимо использовать опцию несколько раз '-e ru -e us'. Опция регистронезависимая, информация о флаге страны
отображается в cli и записывается во все отчеты. Несуществующие, выбранные регионы подсвечены в CLI красным цветом).
* Добавлена опция '--one-level/-o', включить для поиска конкретные регионы
(допустимо использовать опцию несколько раз, например, поиск только по Украинским и Белорусским сайтам '-o UA -o BY'.
Опция — регистронезависимая, информация о флаге страны также добавляется в cli и во все отчеты,
несуществующие, выбранные регионы подсвечены в CLI красным цветом).
* Опция '--site/-s' выводит теперь и сообщения, если желаемый для поиска сайт замечен в БД full-версии,
но отсутствует в БД Demo-версии.
* Поправлены права на документацию в архивах: 'Общее руководство Snoop Project.pdf'.
(с 755 на 644).
* Обновлена справка в ПО 'snoop --help'.
* Мелкие и незначительные улучшения в кодовой базе.
===================================================================================
************
*v1.3.1 (A)*
************
* Расширена поисковая web-base Snoop > 2200+ сайтов.
* Добавлено в html/csv-отчёты и в CLI параметр: 'сессия':: обработанные данные трафика (ungzip)
в целом и персонально для каждого сайта
(с опцией '-v' визуально в CLI; новый столбец 'Сессия/Kb' в csv-отчёте; 'сессия' в html-отчёте).
* При превышении стандартных параметров Internet Censorship
в общий вывод-CLI добавлена информация о пропуске: err БД в '%'.
* Обновлён плагин Yandex_parser до v0.4
(пропуск обработки данных несуществующих username в БД Яндекса).
* Изменены пути записи отчётов для Snoop for Windows (issues/49).
* Обновлены права Snoop for GNU/Linux build-версий с 744 на 644 (issues/50).
* Изменена utf-8 кодировка csv-отчётов на автоматический выбор кодировки (для OS Windows: 1251).
* В аргументах CLI обновлён ключ: '--update y' до сокращения '-U y'.
* Вывод информации о БД Snoop опции '--list all' и в файле websites.md сортируются без учёта регистра.
* Add Readme.en.
* Продлена лицензия необновляемой Snoop EN-версии на год.
* Обновлена документация: 'Общее руководство Snoop Project.pdf'
* Мелкие и незначительные улучшения в CLI.
===================================================================================
********
*v1.3.0*
********
* Расширена поисковая web-base Snoop > 2000+ сайтов.
* Обновлено меню справки, аргументы сгруппированы по смыслу.
* Добавлена новая опция '--autoclean/-a': автоудаление накопленных отчетов.
* Обновлена функция самодиагностики сети.
* Для Snoop Full версий добавлены премиальные предложения по окончанию действия лицензии.
* Обновлено отображение в отчетах локальной или web БД с учетом выбора БД при поиске.
===================================================================================
********
*v1.2.9*
********
* Переработан и обновлён информативный вывод, Snoop стал выглядеть еще более презентабельнее.
(Изменённый внешний вид (особенно/теперь) будет заметен у пользователей Snoop for Windows,
многие вещи будут автоматически подгоняться под размеры консоли для всех OS).
* К прогрессу добавлены параметры: прядильщик и истёкшее время.
* По просьбе донатера обновлена опция '-f': 'вывод на печать только найденных аккаунтов'
(ранее опция '-f' выводила найденные аккаунты и оповещения капчи/err, служебные и
пользовательские оповещения в этом режиме теперь подавляются).
* Обновлена опция '-v' - подробная вербализация
(вывод стал более читабельным).
* Все плагины Snoop обновлены до следующих версий
(исправлены некоторые ошибки, связанные со специфичными путями и спецсимволами,
убран 'Я Район' из плагина 'Yandex_parser' по причине закрытия сервиса. В плагине GEO_IP/domain
добавлен режим 'Offline_тихий поиск', в таблицы добавлена сортировка по значениям).
Изменения коснулись всех версий Snoop 6 из 10 программ (Snoop for Termux/Source;
Windows/Linux/Demo/Full/RU/Build) кроме EN версий. Дальнейшая поддержка и развитие EN версий
прекращено (Последние версии Snoop/EN/Build v1.2.8).
===================================================================================
********
*v1.2.8*
********
* Ускорен поиск по 'username' ~ на 100% для Snoop for Termux.
* Расширена поисковая web-base Snoop > 1500+ сайтов.
===================================================================================
********
*v1.2.7*
********
* Обновлён плагин Reverse Vgeocoder до v0.2
(добавлен метод геокодирования: 'Подробный'. В данный метод включено:
все маркеры подписаны геометками; странами; округами и городами.
Добавлены статистические отчёты {с расширенной геоинформацией, а также расчётом
количественной информацией процентного соотношения}, которые сохраняются с
подробностями в [txt.html.csv] форматах. Добавлены: статус-бар; процент выполнения
геокодирования. Подробнее о плагине в справке или документации).
* Обновлён плагин Yandex_parser до v0.2
(Добавлен поиск и связь по сервису 'Яндекс_отзывы').
===================================================================================
********
*v1.2.6*
********
* Расширена поисковая web-base Snoop > 1400+ сайтов.
===================================================================================
********
*v1.2.5*
********
* В Snoop Project добавлен плагин: 'Yandex_parser'
(подробнее о плагине в справке или документации).
* Расширена поисковая web-base Snoop до 1349 сайтов.
===================================================================================
********
*v1.2.4*
********
* В Snoop Project добавлены два плагина: 'GEO_IP/domain' и 'Reverse Vgeocoder'.
(вызов плагинов, например, для сборки Snoop for Windows 'snoop.exe --module y'.
1. Плагин 'GEO_IP/domain' позволяет работать с IPv4/v6/domain/url в качестве цели,
предоставляет статистические и визуализированные отчёты в CLI/txt/csv/maps.
2. Плагин 'Reverse Vgeocoder' простенький обратный геокодер).
Подробнее о плагинах в справке или документации Snoop Project.
* Для Snoop for Termux создана отдельная ветка.
(Snoop for Termux имеет программные ограничения и не может работать с одним
плагином: Reverse Vgeocoder).
* Расширена поисковая web-base Snoop до 1330 сайтов.
===================================================================================
********
*v1.2.3*
********
* Добавлена опция '--cert-on/-C'.
(Вкл проверку сертификатов на серверах. По умолчанию проверка сертификатов на
серверах отключена, что даёт меньше ошибок и больше положительных результатов при
поиске "username". Пример: website:: 'Forumkinopoisk' с "проблемным" сертификатом).
* Расширена поисковая web-base Snoop до 1220 сайтов.
===================================================================================
********
*v1.2.2*
********
* Для Snoop for GNU/Linux добавлен режим 'SNOOPninja'.
(Режим поиска 'SNOOPninja' активирован по умолчанию в Snoop Full Version:
ускорение поиска ~25% (в тандеме с опцией '--no-func/-n' поиск ускоряется на ~50%);
экономия ОЗУ ~50%; повторные 'гибкие соединения' на 'сбойных' ресурсах).
Для Snoop for Windows добавлена возможность:
(повторные 'гибкие соединения' на 'сбойных' ресурсах).
* Добавлена опция для Snoop for GNU/Linux Full version: '--normal/-N':
(смена режима:: SNOOPninja > нормальный режим поиска).
* В Snoop Full Version опция '-s' стала совместима с опцией '-w':
(можно подключиться к обновляемой Snoop web_database online и произвести поиск на
определённом выбранном website с учётом обновления базы Snoop).
* В Snoop Full Version добавлена возможность персональных и глобальных оповещений.
* Расширена поисковая web-base Snoop до 1200+ сайтов.
* Мелкие исправления:
(улучшена обработка исключений; правки в информативном выводе; облегчена кодовая база;
повышена стабильность приложения:: ПО не перезапускается при разрывах соединения;
сочетание опций '--web-base/-w' и '--country/-c' больше не вызывает конфликтов).
===================================================================================
************
*v1.2.1_rus*
************
* English versions added.
(EN Snoop for GNU/Linux and EN Snoop for Windows).
* Добавлены в БД новые ресурсы.
(В БД Snoop Full version > 1.1k websites).
* Добавлена опция для Snoop Full version: '--web-base/-w'.
(Подключиться для поиска 'username' к обновляемой и расширяемой) web_БД (Online).
* Поправлена опция '--save-report/-S'.
(При выгрузке данных кодировка выбирается автоматически верная.
Сохранённые некоторые 'проблемные' странички теперь не нужно конвертировать).
* Snoop versions Source и Demo уравнены в правах.
(Snoop Full version вышла на новый уровень).
* К вербализации добавлено самотестирование сети в CLI.
($ python3 snoop.py -v username).
* Обновлена опция '--list all'.
(Визуализация/сравнение full/demo БД).
* В Snoop Full version ускорен поиск на мощных ПК ~20%.
(Весь поиск длится < 100с.).
* В CLI обновлён информативный вывод: 'прогресс поиска'. Добавлены:
(статус-бар; процент выполнения; предварительное расч.время до завершения поиска).
===================================================================================
************
*v1.2.0_rus*
************
* Добавлена новая опция '--save-report/-S'.
(При активации опции — идет выгрузка данных: сохраняются страницы
найденных аккаунтов в HTML формате).
* Добавлены новые user agent-ы. При поиске agent выбирается рандомный.
(Некоторые сайты отдают предпочтения (стабильные ответы) между человеком/роботом).
* Опция '--time/-t' принимает значение по умолчанию: = 9 секунд.
(При хорошем интернет соединении этого времени достаточно, при слабом
соединении опция '-t' доступна для изменения).
===================================================================================
************
*v1.1.9_rus*
************
* Добавлены в БД новые ресурсы.
(В БД > 1k websites).
* Слиты ветки в одну termux и master.
* Специально для Snoop записаны два soundtrack-a в жанре cyberpunk.
(Автор: Metelkin Viktor, трек:: for snoop in cyberpunk.mp3.
Автор: Zed Badley, трек:: Megapolis (remix).mp3).
===================================================================================
************
*v1.1.8_rus*
************
* Блокировка/коррекция бессмысленных запросов.
(Номера телефонов — фильтруются; e-mails — корректируются).
* Добавлена возможность поиска username c пробелом.
($ python3 snoop.py "ivanov ivan")
* Добавлен новый метод детектирования username.salt.
* Исправлена метрика времени/ошибок опции '--verbose/-v'.
* Обновлён HTML-формат.
(Chrome потребляет больше ресурсов, чем другие браузеры).
* Убрана опция '--csv'.
(Результаты 'username.csv' с расширенной метрикой пишутся теперь по умолчанию).
* Добавлены в БД новые ресурсы.
(В БД > 800 websites).
* Утрата нескольких интернет-ресурсов.
===================================================================================
************
*v1.1.7_rus*
************
* Обновлён информативный вывод.
* Добавлены в БД новые ресурсы:
===================================================================================
************
*v1.1.6_rus*
************
(В БД > 650 websites).
* Добавлены в БД новые ресурсы:
===================================================================================
************
*v1.1.5_rus*
************
* Обновлён информативный вывод с учётом Internet Censorship.
* Поддержка инфовывода на OS Windows.
* Мелкие исправления.
===================================================================================
************
*v1.1.4_rus*
************
* Улучшена визуализация БД Snoop при помощи опции '--list all'.
* Добавлены в БД новые ресурсы:
===================================================================================
************
*v1.1.3_rus*
************
* В html теперь доступна сортировка результатов: — по странам.
(Сортировка по умолчанию: — по алфавиту имён websites.
Высокая визуализация результатов поиска; визуализация БД по опции '--list all').
* Добавлены новые опции: '--country/-с' и '--userload/-u'.
('--country/-с' — во время поиска в CLI (GNU/Linux/Termux) выводятся отсортированные флаги государств.
Результаты сортируются по странам, а не по алфавиту websites и сохраняются в html).
(--userload/-u' — указать файл.txt с именами разыскиваемых пользователей).
* Изменены/отредактированы основные опции.
* Добавлены в БД новые ресурсы:
* Почищена БД от дубликатов.
(В БД > 500 websites).
===================================================================================
************
*v1.1.2_rus*
************
* Улучшена навигация по работе с html.
* Улучшен алгоритм детектирования.
(Меньше ложных результатов на кириллическом username).
* Результаты поиска отсортированы по расширению.
* Добавлены в БД новые ресурсы:
===================================================================================
************
*v1.1.0_rus*
************
* Добавлен формат 'html'.
Анализировать положительные результаты поиска теперь можно прямо в браузере.
Web browser с результатами поиска открывается после завершения поиска username.
* Опция '--no-func/-n' отключает цвета/звук/браузер.
* Результаты поиска сохраняются в каталоге 'results'.
* Поправлены опции Snoop для работы на OS Windows.
* Функция обновления Snoop работает теперь и на OS Windows, проверено на win7/32.
(Требуется ПО Git)
===================================================================================
************
*v1.0.6_rus*
************
* Добавлена отдельная ветка Termux (Android) для Snoop.
* В основную ветку master (GNU/Linux) для Snoop добавлен звук.
$ pip3 install playsound
* Опция '-n' отключает и цвета в терминале и звук (GNU/Linux).
* В ЧС добавлен сайт с медленным ответом (Zomato).
===================================================================================
************
*v1.0.4_rus*
************
* Мелкие исправления и улучшения.
* Поправлены некоторые ответы от websites.
===================================================================================
************
*v1.0.2_rus*
************
* Добавлена возможность запускать Snoop на OS Windows с ограничением функционала.
===================================================================================
************
*v1.0.0_rus*
************
Обновлена лицензия.
* Добавлено огромное кол-во новых websites (в том числе, благодаря манипуляции HTTP-заголовками):
для сравнения Sherlock на GNU/Kali Linux/Parrot ищет по — 198 сайтам, Snoop ищет по — 337 сайтам.
* Добавлены новые опции:
'--list'; '--update'; '--sort'; '--donate'; переработана опция '--version'.
* Snoop Project — русифицирован.
* Добавлен тестовый файл "example_data.json" для внесения своих новых websites в БД.
* Изменен user-agent на более популярный.
* Убраны из БД некоторые недоступные для Snoop сайты, которые затормаживали работу ПО.
* Обновлён информативный вывод в CLI и в файле сохранения "username.txt".
===================================================================================