Skip to content
/ RA Public

I tried to describe how NIFI working and my understand about this open-source ETL tool

Notifications You must be signed in to change notification settings

arlinrus/RA

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

19 Commits
 
 
 
 
 
 
 
 

Repository files navigation

RA

Ход выполнения работы:

1.Файлы по работе с NIFI (задание2) расположены в почтовом сообщении. Файл по работе 1 и примерный ход работы описаны ниже.

2.На гитхаб я выложила код с телеграмм ботом, который переходит в гугл колаб и конверитрует файл из CSV в JSON.Если не получится запустить бот(токен уже находится внутри бота), то можно просто запустить google colab файл также прикрепила.

3.Прикрепила пример самого простого конвертатора.

Произвести запуск продукта

1)Чтобы произвести запуск продукта нам потребуется командная трока или терминал, где мы сможет запустить файл run-nifi.bat

2)Изнаально требуется установить компилятор jdk для запуска в командной строке в windows, так как в MACе зачастую уже имеется js и ldk.

3)Запускаем файл и ищем http host 127.0.0.1 и https port 8443

4)Вводим домен, затем в получившейся сьранице пароль и заходим в NIFI APACHE.

Подробно изучить интерфейс продукта. (Понять назначение основных элементов)

Интерфейс состоит из панели инструментов(Processor для операций с данными, порты, Process Group - объединение процессоров и других групповых процессоров).Status Bar, где находится вся краткая статистика о работе,

Изучить функционал.

Создаем группу с помощью Process Group, заходим в группу, где у нас есть поле для работы. Чтобы работать с проектом добавим определенный процессор для рабооты или из предложеных слева на панели или в типах. Создаем нужный нам тип, опять проваливаемся в проект и с помощью настроек изменяем имя проекта и насраиваем характеристики.

Снимок экрана 2024-02-21 в 00 51 46

Далее можно создать 2 процессор и соединить с первым :

Снимок экрана 2024-02-21 в 00 57 12

У нас появилась очередь, которая показывает колво сгенерированных значений, чтобы очистить и запустить след необходимо очистить её.

Снимок экрана 2024-02-21 в 01 08 16

Что происзодит а каждом этапе выполнения потока?

В комментариях описала процесс

Снимок экрана (41)

About

I tried to describe how NIFI working and my understand about this open-source ETL tool

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published