Яндекс Практикум, DS+

Хакатон по исследованию LinkedIn от Яндекс Практикума

Тип проекта: веб-скрейпинг, парсинг, предобработка, анализ данных, визуализация, машинное обучение, NLP, тематическое моделирование

Стек: jupyter-notebook, python, selenium, BeautifulSoup, pandas, numpy, matplotlib, seaborn, nltk, pymorphy2, sklearn

Рассмотрим выполнение проекта подробнее в jupyter notebook {Python 3.10.11} или в PDF.

---

Описание задачи

Бизнес-требования

1. Отрасль и направления деятельности: EdTech, сервис онлайн образования.

2. Общее описание задачи: провести исследование по теме наставничества и менторства на основании контента социальной сети Linkedin, размещенного в открытом доступе, созданного целевой аудиторией.

3. Цели исследования:

   – Определить топ-10 тем в направлении наставничества на основании наибольшего охвата, используя теги наставничество, менторство, коучинг, mentorship, mentor, coaching, buddy.

   – Определить топ-10 популярных тем по просмотрам, реакциям: лайкам, комментариям, репостам среди IT-специалистов, подходящих под описание целевой аудитории исследования,

4. Общая задача для команды: провести исследование по теме наставничества, сформировать результат в виде презентации и выступить на демо.

---

Итоги

На полученном датасете мы провели анализ и тематическое моделирование. Моделирование выполнено на Latent Dirichlet Allocation (LDA) и Non-Negative Matrix Factorization (NMF). В результате анализа качества моделей, мы выбрали NMF. Нам удалось определить следующий ТОП тем в направлении наставничества на основании наибольшего охвата (в порядке убывания важности):

• Тема 7: Личность менеджера, готовность и взаимодействие.
• Тема 1: Карьерное развитие, глубокое понимание, поддержка и обсуждение.
• Тема 2: Преодоление ограничений, интерес к домашнему бизнесу.
• Тема 4: Желание и обсуждение, компетенции и гибкость.
• Тема 9: Английский язык, ответственность и обслуживание

ТОП популярных тем по просмотрам и реакциям среди IT-специалистов, подходящих под описание целевой аудитории (в порядке убывания важности):

• Тема 6: Курсы и обучение онлайн
• Тема 2: Поиск работы и карьерное развитие
• Тема 0: Бизнес-развитие и управление продуктом
• Тема 3: Опыт и навыки в разработке
• Тема 8: Удовольствие от работы и персональное развитие

Данная информация может помочь сервису онлайн образования, понять какие темы на рынке представлены в достаточной мере, а какие не очень. А также, какие пользователи могут выступать в качестве наставника. Эта информация поможет эффективнее принимать бизнес-решения.

---

Награды

В абсолюте, наша команда заняла 3 место.

В номинации "The Best work. Data Science" наша команда заняла 1 место.

Видео Демо | Видео объявления 1 места в номинации PM | Видео объявления 1 места в номинации DS

---

Команда 2

Менеджмент проекта:

- Давыдова Евгения

Специалисты Data Science:

- Папин Алексей

- Балычева Ирина

- Григорьев Александр

---

Полезные ссылки:

• Онбординг
• Техническое задание
• Notion
• Meet