Разработка Нейросетевых Систем

Репозиторий курса Разработка Нейросетевых Систем

Отчеты

Для допуска к экзамену необходимо подготовить отчет по каждому модулю. Отчеты по разделам содержат ваши результаты лабораторных работ и ДЗ. Фиксируйте этапы вашей работы, ваши вариации гиперпараметров и моделей, выводы к чему это приводит. На защиту приносите сразу текущую версию отчета.

Отчеты отправлять на почту [email protected]

Лекции

Записи лекций Youtube

1. Лекция №1. Введение в DL
2. Лекция №2. Сверточная нейросеть
3. Лекция №3. Регуляризация и аугментация
4. Лекция №4. Перенос обучения
5. Лекция №5. Автоэнкодеры
6. Лекция №6. Рекуррентные нейросети
7. Лекция №7. Сегментация, Object Detection, LiDAR
8. Лекция №8. Трансформеры

Дополнительные лекции

• Обработка естественного языка

Рубежный контроль

1. Рубежный контроль №1 (первые 3 лекции)
2. Рубежный контроль №2 (5-7 лекции)

Лабораторные работы

Выражаем благодарность Ишкову Денису за подготовку лабораторных работ

1. Лабораторная работа №1. Введение в DL
2. Лабораторная работа №2. Сверточная нейросеть
3. Лабораторная работа №3. Регуляризация и аугментация
4. Лабораторная работа №4. Перенос обучения
5. Лабораторная работа №5. Автоэнкодеры
6. Лабораторная работа №6. Рекуррентные нейросети
7. Лабораторная работа №7. Спутниковые снимки
8. Лабораторная работа №8. Классификация LiDAR

Домашнее задание

• Домашнее задание №1. Web-приложение
• Домашнее задание №2. Телеграм-бот. Согласовать тему с преподавателем

Дополнительные материалы

• Генерация текста
• Машинный перевод

Вопросы к экзамену

1. Опишите алгоритм обучения с учителем.
2. Устройство нейрона, формула вычисления значения. Объясните принцип его работы.
3. Многослойный персептрон, архитектура, достоинства и недостатки.
4. Виды активационных функций, назначение.
5. Количество нейронов, связей, параметров в полносвязной нейронной сети.
6. Эпоха, батч, итерация обучения.
7. Дайте определение функции потерь.
8. Кросс-энтропия, как функция потерь.
9. Метод наименьших квадратов, как функция потерь.
10. Алгоритм обратного распространения ошибки.
11. Алгоритм оптимизации AdaGrad.
12. Алгоритм оптимизации RMSProp.
13. Алгоритм оптимизации с моментом.
14. Алгоритм оптимизации Adam.
15. Алгоритм оптимизации стохастического градиентного спуска.
16. Преимущества и недостатки стохастического и пакетного градиентного спуска.
17. Что такое гиперпараметры? Приведите примеры, оптимальные значения гиперпараметров.
18. Оценка точности классификации F1-score, формула расчета и составляющие
19. Что такое ONNX, Pytorch?
20. Опишите структуру набора данных.
21. Что такое свертка, как она применяется в нейронных сетях?
22. Свойства свертки.
23. Количество нейронов, связей и параметров в сверточном слое.
24. Что такое stride, padding? Варианты.
25. Дайте определение пулинга. Примеры
26. Способы сокращения размерности карты признаков.
27. Аугментация данных
28. Переобучение и недообучение нейронной сети.
29. Дайте определение регуляризации, dropout.
30. Штраф за сложность модели
31. Сглаживание меток
32. Перенос обучения, дообучение. Принцип, преимущества.
33. Зачем требуется заморозка весов? Применение
34. Шумоподавляющий автоэнкодер.
35. В чем заключается векторное представление (embedding)? Примеры применения.
36. Сверточный автоэнкодер, применение.
37. Коэффициент детерминации и средняя абсолютная ошибка
38. Преимущества и недостатки современных генеративных моделей
39. Архитектура GAN, обучение.
40. Архитектура VAE, преимущества.
41. Диффузионные модели: принципы, score-функция
42. Архитектура Stable Diffusion
43. Понятие временного ряда (ВР). Примеры ВР. Цель анализа ВР.
44. Опишите задачи регрессии и классификации.
45. Авторегрессионная модель. Преимущества и недостатки.
46. Понятие рекуррентных нейронных сетей. Структурная схема RNN.
47. Особенности обучения рекуррентных нейросетей. Проблема затухающих и взрывных градиентов.
48. LSTM сети. Преимущества LSTM по сравнению с RNN.
49. Количество обучаемых параметров ячейки LSTM в PyTorch
50. Возможные модификации LSTM. Их преимущества и недостатки.
51. GRU (Gated recurrent unit) сети.
52. Применение рекуррентных и LSTM сетей для анализа текста
53. Архитектура seq2seq.
54. Метрики dice и IoU
55. Архитектура PointNet
56. Что такое плотное облако точек? Форматы и особенности обработки
57. Архитектура U-Net
58. Отличие задач сегментации, классификации и обнаружения объектов
59. Архитектура трансформер
60. Механизм внимания. Внутреннее и внешнее внимание
61. Архитектуры BERT и GPT