Проект подготовлен в рамках хакатона ODS Pets Projects Hackaton Winter Hack 2022.
Задача команды в рамках хакатона стояла в создании чат-бота, который может распознавать достопримечательности по фото и выдавать по ним краткую сводку данных. Это поможет сделать прогулку веселее и познавательнее - больше не придется копаться в интернете в поисках информации о месте, найденном по геолокации.
Запуск чат-бота (можно найти по username @BuildYourTrip) в Телеграме производится кнопкой "start". Затем чат-бот предложит загрузить фотографию и выдаст результат.
- После нажатия кнопки "start" пользователь сохраняется в базу данных
- Загруженная пользователем фотография обрабатывается классификационной моделью (Efficient Net)
- Для определения фото без достопримечательностей, предусмотренных изначальным набором классов, установлен порог по уровню уверенности модели - если все коэффициенты уверенности ниже заданного числа, фотография не относится ни к одному из заданных классов - эта информация доносится до пользователя
- Если модель достаточно уверенно определила достопримечательность, выдается результат (название достопримечательности и краткая справка)