Feature/add_message_history #336

vomerf · 2023-04-24T07:19:03Z

Нужна помощь или подсказка. Получается сохранять данные об отправленных сообщениях в БД, но иногда вылазить такое предупреждение:
sys:1: SAWarning: The garbage collector is trying to clean up non-checked-in connection <AdaptedConnection
<asyncpg.connection.Connection object at 0x00000188D3A96EA0>>, which will be terminated. Please ensure that
SQLAlchemy pooled connections are returned to the pool explicitly, either by calling close()
or by using appropriate context managers to manage their lifecycle

ADesBiysk

Честно говоря, не вижу проблемы.
Создал тестовый эндпойнт и нормально отработало.
Так же и в боте.

async def get_history_service(sessions):
    async for session in sessions:  # noqa R503
        history_repository = MessageHistoryRepository(session)
        shift_repository = ShiftRepository(session)
        return MessageHistoryService(history_repository, shift_repository)

async def send_daily_task_job(context: CallbackContext) -> None:
    history_session = get_session()
    history_service = await get_history_service(history_session)
    await history_service.create_history_message(
        user_id="36a9496b-21fc-4e69-b071-bfcc61d1821f",
        chat_id=123,
        message="Test",
        status=MessageHistory.Status.STATUS_OF_CHECKED_TASK
    )

Ругается на отсутствие таблицы и статуса. Если добавить и применить миграцию, всё будет работать.

ADesBiysk · 2023-04-24T16:31:50Z

src/core/db/models.py

+class MessageHistory(Base):
+    """Хрениние истории отправленных сообщений."""
+
+    class Status(str, enum.Enum):


Здесь не статус, а событие Event. Он нужен для последующей сортировки по типу события.

ADesBiysk · 2023-04-24T16:32:56Z

src/core/db/models.py

+
+        REGISTRATION = "registration"
+        GET_TASK = "get_task"
+        REPORT_MENTION = "report_mention"


Именование статусов потом нужно будет пересмотреть. Не все удачные.

ADesBiysk · 2023-04-24T16:34:13Z

src/core/db/models.py

+    __tablename__ = 'message_history'
+
+    user_id = Column(UUID(as_uuid=True), ForeignKey(User.id), nullable=False)
+    message = Column(Text, nullable=False)


Лучше String. Нужно посмотреть максимальную длину наших сообщений и сделать в 2 раза больше. Этого будет достаточно.

ADesBiysk · 2023-04-24T16:35:18Z

src/core/db/models.py

+        Enum(Status, name="message_history_status", values_callable=lambda obj: [e.value for e in obj]),
+        nullable=False,
+    )
+    shift_id = Column(UUID(as_uuid=True), ForeignKey(Shift.id), nullable=False)


Нужно добавить метод repr

ADesBiysk · 2023-04-25T18:01:05Z

НОВЫЙ КОММЕНТАРИЙ. В handlers добавил создания сессии увидел где-то, что для каждой создается свой, возможно не правильно и достаточно одного. Получил объект класса вызвал метод для сохранения и тут он сохранил. Такие вопросы у меня.1 - В handler для каждой функции так надо прописывать получение сессии потом получение объекта потому что как я вижу в других функциях register_user, update_user_data и web_app_data там вызывается толи обновление то ли отправка нового сообщения "пример" await update.message.reply_text(f"Ошибка при заполнении данных:\n{e}") это тоже надо сохранять? 2 - у меня никак не получается сделать так чтобы после вызова метода send_message сохранялось сообщение я там оставил закомиченный код как я пытался это сделать.

Все сообщения нужно отправлять только одной функцией, и ещё одной - фотографии. Тогда код сохранения истории сообщений нужно будет добавить в этих функциях.
Лучше сразу приводить ошибку, которая возникает. Если пытаться воспроизводить все ошибки, тратится очень много времени.

ADesBiysk

В текущем варианте запись в БД создаётся, но нужно при создании экземпляра MessageHistory передавать параметры в правильной последовательности. И в shift_id я просто передал id реально существующей смены, поскольку когда человек получает стартовое сообщение активной смены может ещё не быть.

ADesBiysk · 2023-04-25T16:51:38Z

src/bot/handlers.py

    user = await user_service.get_user_by_telegram_id(update.effective_chat.id)
    context.user_data["user"] = user
    if user and user.telegram_blocked:
        await user_service.unset_telegram_blocked(user)
    await context.bot.send_message(chat_id=update.effective_chat.id, text=start_text)
    if user:
+        await history_service.create_history_message(
+            user.id, update.effective_chat.id, start_text, status="registration"


Здесь статус надо подставлять в виде MessageHistory.Status.REGISTRATION. Хотя писал в прошлый раз, что не статус а событие.

ADesBiysk · 2023-04-29T18:40:32Z

src/bot/api_services.py

@@ -58,3 +60,11 @@ async def get_shift_service_callback(sessions):
            shift_repository, task_service, report_repository, user_repository, request_repository
        )
        return shift_service
+
+
+async def get_history_service_callback(sessions):


Здесь callback не нужен в названии. У других функций потом тоже уберём.

ADesBiysk · 2023-04-30T20:47:09Z

НОВЫЙ КОММЕНТАРИЙ. В handlers добавил создания сессии увидел где-то, что для каждой создается свой, возможно не правильно и достаточно одного. Получил объект класса вызвал метод для сохранения и тут он сохранил. Такие вопросы у меня.1 - В handler для каждой функции так надо прописывать получение сессии потом получение объекта потому что как я вижу в других функциях register_user, update_user_data и web_app_data там вызывается толи обновление то ли отправка нового сообщения "пример" await update.message.reply_text(f"Ошибка при заполнении данных:\n{e}") это тоже надо сохранять? 2 - у меня никак не получается сделать так чтобы после вызова метода send_message сохранялось сообщение я там оставил закомиченный код как я пытался это сделать.

Да. Тоже нужно сохранять. Эти сообщения тоже надо отправлять через нашу функцию. Но, это можно исправить, когда уже всё будет работать с другими сообщениями.
Нужно в инициализатор бота передавать, кроме Application, экземпляр MessageHistoryService.

…aryery_backend into feature/add_message_history

…equestService ShiftService

…ry_message

ADesBiysk · 2023-05-04T18:39:36Z

src/bot/handlers.py

@@ -66,8 +69,14 @@ async def start(update: Update, context: CallbackContext) -> None:
            )
            return
        await update_user_data(update, context)
+        # не знаю как сюда попасть чтобы проверить
+        await history_service.create_history_message(


Сюда можно попасть, если принять участие в одной смене и потом подавать заявку на участие в новой смене.

Путаница, где-то event, а ниже status.

Так неправильно передавать значение status='update_data', лучше так MessageHistory.Event.REGISTRATION.value

ADesBiysk · 2023-05-04T18:44:21Z

src/bot/services.py


    @check_user_blocked
    @retry()
-    async def send_message(self, user: models.User, text: str) -> None:
+    async def send_message(self, user: models.User, text: str, event: str) -> None:


Event не строка, а enum из модели.

ADesBiysk · 2023-05-05T01:29:49Z

src/core/db/models.py

+
+    user_id = Column(UUID(as_uuid=True), ForeignKey(User.id))
+    message = Column(String(400), nullable=False)
+    chat_id = Column(BigInteger, nullable=False)


Зачем нам chat_id? Он же совпадает с user.telegram_id. Нам нужно сохранять message_id, чтобы позже можно было получить доступ к этому сообщению.

что подразумевается под message_id это primary key данной таблицы или надо сообщение выносить в отдельную таблицу?

ADesBiysk · 2023-05-10T18:52:07Z

src/bot/jobs.py

@@ -71,6 +79,7 @@ async def send_daily_task_job(context: CallbackContext) -> None:
                f"Не забудь сделать фотографию, как ты выполняешь задание, и отправить на проверку."
            ),
            DAILY_TASK_BUTTONS,
+            event,


Подставляй событие сразу сюда. Иначе, приходится возвращаться назад, чтобы узнать, какое событие будет.

ADesBiysk · 2023-05-10T18:57:23Z

src/core/services/history_message_service.py

+
+    async def create_history_message(self, user_id, message_id, message, event) -> None:
+        try:
+            shift = await self.__shift_repository.get_started_shift_id()


Лучше смену передавать в качестве параметра. Сейчас, и так не оптимальный вариант сохранения истории. Каждое сообщение сохраняется отдельным запросом в БД. А так добавляется ещё один запрос, для получения смены, т.е. 2 запроса на каждое сообщение. :(

…aryery_backend into feature/add_message_history

…m db

ADesBiysk

По ошибке, не вижу очевидных проблем. Попробую завтра поэкспериментировать.

ADesBiysk · 2023-05-17T19:48:59Z

src/bot/handlers.py

    else:
        await register_user(update, context)
+        await history_service.create_history_message(user, message.message_id, start_text, event)


Здесь точно user = None

Это я знаю поэтому и написал user, а не user.id или как-то по другому надо, немного не понял если честно. Сделать как со сменой если не передать юзера то по умолчанию None ?

Если пользователя нет, то и сообщения сохранять нет смысла.
Здесь, после регистрации пользователь уже есть. Его надо получить и использовать при сохранении.

Тут получается что функция register только форму с регистрацией кидает, но еще пользователя в базу не сохраняет, это как-то пометить надо будет в event? событие перед формой регистрации?

я убрал и после update и после register, я написал вызов в функцию web_app_data там как я понял и обновление данных обрабатывается и регистрация

ADesBiysk · 2023-05-17T19:53:27Z

src/bot/jobs.py

    members = await member_service.get_members_with_no_reports()
+    if members:


Поле shift_id обязательное у модели Member, поэтому эта проверка не имеет смысла. Можно ниже просто подставлять member.shift_id.

Поле у Member обязательное, а если список пустой будет то ошибка вылетит. Как раз и проверяю, что список не пустой такое наверно маловероятно, но наверное возможно

Всё просто. Если в members придёт пустой список, то генератор списка также вернёт пустой список. А если не пустой, то смену возьмёт из member, как я написал выше.

send_message_tasks = [ bot_service.send_message( member.user, ( f"{member.user.name} {member.user.surname}, мы потеряли тебя! " f"Задание все еще ждет тебя. " f"Напоминаем, что за каждое выполненное задание ты получаешь виртуальные " f"\"ломбарьерчики\", которые можешь обменять на призы и подарки!" ), MessageHistory.Event.REPORT_MENTION, member.shift_id, ) for member in members ]

Так точно ошибки не будет.
Твой вариант будет совсем немного быстрее, но менее очевиден. Возникает вопрос, почему смену выделили отдельно и именно у первого элемента списка. Это какой-то особый случай... Непонятно.

ADesBiysk · 2023-05-17T19:53:37Z

src/bot/jobs.py

    await report_service.set_status_to_waiting_reports(Report.Status.SKIPPED)
    await member_service.exclude_lagging_members(context.application)
    task, members = await report_service.get_today_task_and_active_members(date.today().day)
    await report_service.create_daily_reports(members, task)
    task_photo = urljoin(settings.APPLICATION_URL, task.url)
+    if members:


Здесь так же.

ADesBiysk · 2023-05-17T19:56:44Z

src/core/services/history_message_service.py

+
+    async def create_history_message(self, user_id, message_id, message, event, shift_id=None) -> None:
+        history_message = MessageHistory(
+            user_id=user_id, message_id=message_id, message=message, event=event, shift_id=shift_id


Лучше позиционно передать аргументы.

Если я их делаю не позиционными, то у меня с ошибкой падает и говорит, что я передаю 6 аргументов, а он хочет всего один

vomerf · 2023-04-30T06:01:57Z

src/bot/services.py

        if user.telegram_blocked:
            return
        chat_id = user.telegram_id
        try:
            await self.__bot.send_message(chat_id=chat_id, text=text)
+            # Тут я хотел написать код который записывал бы в БД после отправки сообщения


Вот тут у меня самая главная проблема я не могу вызвать это метод чтобы сохранить сообщение, пытался сделать как в закоментированном коде, но так не получается сделать, пытался добавить атрабутом объект класса таким образовм history_service: MessageHistoryService = Depends() так тоже не получается

vomerf · 2023-05-05T07:09:03Z

src/core/db/models.py

+
+    user_id = Column(UUID(as_uuid=True), ForeignKey(User.id))
+    message = Column(String(400), nullable=False)
+    chat_id = Column(BigInteger, nullable=False)


что подразумевается под message_id это primary key данной таблицы или надо сообщение выносить в отдельную таблицу?

vomerf · 2023-05-18T04:17:56Z

src/bot/jobs.py

    members = await member_service.get_members_with_no_reports()
+    if members:


Поле у Member обязательное, а если список пустой будет то ошибка вылетит. Как раз и проверяю, что список не пустой такое наверно маловероятно, но наверное возможно

vomerf · 2023-05-18T04:21:32Z

src/bot/handlers.py

    else:
        await register_user(update, context)
+        await history_service.create_history_message(user, message.message_id, start_text, event)


Это я знаю поэтому и написал user, а не user.id или как-то по другому надо, немного не понял если честно. Сделать как со сменой если не передать юзера то по умолчанию None ?

…aryery_backend into feature/add_message_history

vomerf added 3 commits April 24, 2023 13:59

create table in db MessageHistory

d5ca066

create class MessageHistoryRepository

6ee2768

create class MessageHistoryService

984714b

vomerf temporarily deployed to healthcheck April 24, 2023 07:19 — with GitHub Actions Inactive

vomerf requested a review from ADesBiysk April 24, 2023 07:19

ADesBiysk reviewed Apr 24, 2023

View reviewed changes

change model

42e13b8

vomerf temporarily deployed to healthcheck April 25, 2023 11:18 — with GitHub Actions Inactive

ADesBiysk reviewed Apr 29, 2023

View reviewed changes

vomerf added 7 commits May 2, 2023 15:16

Merge branch 'develop' of github.com:Studio-Yandex-Practicum/lomaya_b…

9e70f53

…aryery_backend into feature/add_message_history

Merge branch 'develop' of github.com:Studio-Yandex-Practicum/lomaya_b…

b037146

…aryery_backend into feature/add_message_history

create file migration 2023-05-03_12.17.31_add_model_messagehistory.py

19f2ead

change model MessageHistory

4860b76

create function for create object MessageHistoryService

2f84ec0

add class attribute history_service for MemberService ReportService R…

b59430b

…equestService ShiftService

create message in db when send message and change method create_histo…

e139cad

…ry_message

vomerf temporarily deployed to healthcheck May 3, 2023 08:12 — with GitHub Actions Inactive

ADesBiysk reviewed May 4, 2023

View reviewed changes

ADesBiysk reviewed May 5, 2023

View reviewed changes

vomerf added 3 commits May 5, 2023 19:31

rename field from chat_id to message_id

77df88b

change file migration

4ccd67c

add message_id

8b99676

vomerf temporarily deployed to healthcheck May 5, 2023 12:41 — with GitHub Actions Inactive

ADesBiysk reviewed May 10, 2023

View reviewed changes

vomerf added 4 commits May 13, 2023 15:40

Merge branch 'develop' of github.com:Studio-Yandex-Practicum/lomaya_b…

018ac55

…aryery_backend into feature/add_message_history

Merge branch 'develop' of github.com:Studio-Yandex-Practicum/lomaya_b…

0cdcde0

…aryery_backend into feature/add_message_history

add shift_id in all methods how parametr in order to don't get it fro…

cc8711a

…m db

change location becase add new migration from repository

65baead

vomerf temporarily deployed to healthcheck May 16, 2023 10:42 — with GitHub Actions Inactive

ADesBiysk reviewed May 17, 2023

View reviewed changes

vomerf commented May 18, 2023

View reviewed changes

vomerf added 2 commits May 22, 2023 18:14

Merge branch 'develop' of github.com:Studio-Yandex-Practicum/lomaya_b…

cff6ebd

…aryery_backend into feature/add_message_history

save message from web_app_data function instead start function

a996312

vomerf temporarily deployed to healthcheck May 22, 2023 12:37 — with GitHub Actions Inactive

vomerf added 4 commits June 2, 2023 19:26

Merge branch 'develop' of github.com:Studio-Yandex-Practicum/lomaya_b…

8195063

…aryery_backend into feature/add_message_history

if user is None message don't save in db

e204f35

change __repr__ in model from self.status to self.event

25f163c

add middleware for save bundle of message instead single save every time

c4f2094

vomerf temporarily deployed to healthcheck June 3, 2023 06:55 — with GitHub Actions Inactive

after save all messages, db list objects became empty

c753006

vomerf temporarily deployed to healthcheck June 3, 2023 07:21 — with GitHub Actions Inactive

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Feature/add_message_history #336

Feature/add_message_history #336

vomerf commented Apr 24, 2023 •

edited

Loading

ADesBiysk left a comment •

edited

Loading

ADesBiysk Apr 24, 2023

ADesBiysk Apr 24, 2023

ADesBiysk Apr 24, 2023

ADesBiysk Apr 24, 2023

ADesBiysk commented Apr 25, 2023

ADesBiysk left a comment

ADesBiysk Apr 25, 2023

ADesBiysk Apr 29, 2023

ADesBiysk commented Apr 30, 2023

ADesBiysk May 4, 2023

ADesBiysk May 4, 2023

ADesBiysk May 4, 2023

ADesBiysk May 4, 2023

ADesBiysk May 5, 2023

vomerf May 5, 2023

ADesBiysk May 10, 2023

ADesBiysk May 10, 2023

ADesBiysk left a comment

ADesBiysk May 17, 2023

vomerf May 18, 2023

ADesBiysk May 20, 2023

vomerf May 22, 2023

vomerf May 22, 2023

ADesBiysk May 17, 2023

vomerf May 18, 2023

ADesBiysk May 20, 2023

ADesBiysk May 17, 2023

ADesBiysk May 17, 2023

vomerf May 19, 2023

vomerf Apr 30, 2023

vomerf May 5, 2023

vomerf May 18, 2023

vomerf May 18, 2023

		members = await member_service.get_members_with_no_reports()
		if members:

Feature/add_message_history #336

Are you sure you want to change the base?

Feature/add_message_history #336

Conversation

vomerf commented Apr 24, 2023 • edited Loading

ADesBiysk left a comment • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ADesBiysk commented Apr 25, 2023

ADesBiysk left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ADesBiysk commented Apr 30, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ADesBiysk left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

vomerf commented Apr 24, 2023 •

edited

Loading

ADesBiysk left a comment •

edited

Loading