[BACKEND] Fix create_update_segments_excursions: cas 1 seul position par MMSI dans batch non couvert #349

marthevienne · 2024-12-11T13:53:50Z

(.venv) (base) ➜ backend git:(main) ✗ python3 bloom/tasks/create_update_excursions_segments.py
/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pydantic/_migration.py:283: UserWarning: pydantic.generics:GenericModel has been moved to pydantic.BaseModel.
warnings.warn(f'{import_path} has been moved to {new_location}.')
[bloom INFO @ 21:20:17] DEBUT - Création / mise à jour des excursions et des segments
[bloom INFO @ 21:20:18] Lecture des nouvelles positions depuis le 2024-11-11 20:14:57.333136+00:00
[bloom INFO @ 21:20:18] 1028 nouvelles positions
[bloom INFO @ 21:20:29] Création des excursions
[bloom ERROR @ 21:20:29] Session rollback because of exception
Traceback (most recent call last):
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexes/range.py", line 413, in get_loc
return self._range.index(new_key)
^^^^^^^^^^^^^^^^^^^^^^^^^^
ValueError: 0 is not in range

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
File "/Users/marthevienne/12_bloom/backend/bloom/infra/database/database_manager.py", line 32, in session
yield session
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 160, in run
df_start.loc[-1] = df_start.loc[0]

File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexing.py", line 1191, in getitem
return self._getitem_axis(maybe_callable, axis=axis)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexing.py", line 1431, in _getitem_axis
return self._get_label(key, axis=axis)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexing.py", line 1381, in _get_label
return self.obj.xs(label, axis=axis)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/generic.py", line 4301, in xs
loc = index.get_loc(key)
^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexes/range.py", line 415, in get_loc
raise KeyError(key) from err
KeyError: 0
Traceback (most recent call last):
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexes/range.py", line 413, in get_loc
return self._range.index(new_key)
^^^^^^^^^^^^^^^^^^^^^^^^^^
ValueError: 0 is not in range

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 375, in
run()
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 160, in run
df_start.loc[-1] = df_start.loc[0]
~~~~~~~~~~~~^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexing.py", line 1191, in getitem
return self._getitem_axis(maybe_callable, axis=axis)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexing.py", line 1431, in _getitem_axis
return self._get_label(key, axis=axis)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexing.py", line 1381, in _get_label
return self.obj.xs(label, axis=axis)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/generic.py", line 4301, in xs
loc = index.get_loc(key)
^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/indexes/range.py", line 415, in get_loc
raise KeyError(key) from err
KeyError: 0

The text was updated successfully, but these errors were encountered:

marthevienne · 2024-12-19T14:18:43Z

On a une autre erreur liée :
(.venv) (3.12.5) (base) ➜ backend git:(minor-changes-str) python3 -m bloom.tasks.create_update_excursions_segments
[bloom INFO @ 14:56:22] DEBUT - Création / mise à jour des excursions et des segments
[bloom INFO @ 14:56:22] Lecture des nouvelles positions depuis le 2024-12-16 15:04:42.767117+00:00
[bloom INFO @ 14:56:37] 313205 nouvelles positions
[bloom INFO @ 14:56:51] Création des excursions
[bloom ERROR @ 15:02:44] Session rollback because of exception
Traceback (most recent call last):
File "/Users/marthevienne/12_bloom/backend/bloom/infra/database/database_manager.py", line 32, in session
yield session
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 192, in run
df["distance"] = df.apply(get_distance_in_miles, axis=1)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/frame.py", line 10374, in apply
return op.apply().finalize(self, method="apply")
^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/apply.py", line 916, in apply
return self.apply_standard()
^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/apply.py", line 1063, in apply_standard
results, res_index = self.apply_series_generator()
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/apply.py", line 1081, in apply_series_generator
results[i] = self.func(v, *self.args, **self.kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 190, in get_distance_in_miles
return distance.distance(p1, p2).miles
^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/distance.py", line 540, in init
super().init(*args, **kwargs)
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/distance.py", line 276, in init
kilometers += self.measure(a, b)
^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/distance.py", line 556, in measure
a, b = Point(a), Point(b)
^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 175, in new
return cls.from_sequence(seq)
^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 472, in from_sequence
return cls(*args)
^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 188, in new
_normalize_coordinates(latitude, longitude, altitude)
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 63, in _normalize_coordinates
raise ValueError('Point coordinates must be finite. %r has been passed '
ValueError: Point coordinates must be finite. (nan, nan, 0.0) has been passed as coordinates.
Traceback (most recent call last):
File "", line 198, in _run_module_as_main
File "", line 88, in _run_code
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 432, in
run()
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 192, in run
df["distance"] = df.apply(get_distance_in_miles, axis=1)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/frame.py", line 10374, in apply
return op.apply().finalize(self, method="apply")
^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/apply.py", line 916, in apply
return self.apply_standard()
^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/apply.py", line 1063, in apply_standard
results, res_index = self.apply_series_generator()
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/pandas/core/apply.py", line 1081, in apply_series_generator
results[i] = self.func(v, *self.args, **self.kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/bloom/tasks/create_update_excursions_segments.py", line 190, in get_distance_in_miles
return distance.distance(p1, p2).miles
^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/distance.py", line 540, in init
super().init(*args, **kwargs)
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/distance.py", line 276, in init
kilometers += self.measure(a, b)
^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/distance.py", line 556, in measure
a, b = Point(a), Point(b)
^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 175, in new
return cls.from_sequence(seq)
^^^^^^^^^^^^^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 472, in from_sequence
return cls(*args)
^^^^^^^^^^
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 188, in new
_normalize_coordinates(latitude, longitude, altitude)
File "/Users/marthevienne/12_bloom/backend/.venv/lib/python3.11/site-packages/geopy/point.py", line 63, in _normalize_coordinates
raise ValueError('Point coordinates must be finite. %r has been passed '
ValueError: Point coordinates must be finite. (nan, nan, 0.0) has been passed as coordinates.

ejamet73 · 2024-12-19T17:14:40Z

merde
je regarde demain

rv2931 · 2024-12-22T22:42:46Z

@ejamet73 t'as eu le temps de jeter un oeil ?

ejamet73 · 2024-12-22T23:11:45Z

oui mais rapidement je l'ai pas résolu, l'erreur vient du fait que geopy.distance contienne des valeurs non valides
if (df.shape[0] > 0):
# calculate distance
def get_distance_in_miles(x) -> float:
p1 = (x.start_latitude, x.start_longitude)
p2 = (x.end_latitude, x.end_longitude)
return distance.distance(p1, p2).miles
df["distance"] = df.apply(get_distance_in_miles, axis=1)

donc des NaN (j'imagine) : soit start_latitude start_longitude end_longitude end_latitude
je cherche laquelle ça peut être,
mais il faudrait que je sache dans quel cas on obtient l'erreur, un mmsi par batch ? on recupere une ancienne position du bateau ou bien il n'y en avait pas ?
[edit] je crois que l'erreur vient du moment où le batch ne contient pas le mmsi en question mais qu'il y a une last position du mmsi en base. je vérifie

rv2931 · 2024-12-22T23:39:08Z

je vais regarder demain si j'ai le temps. je maitrise moins cette partie mais je connais le problème des NaN/Inf car je l'ai déjà au côté API. Par contre bizarre que ça n'apparaissait pas avant la modif de primary keys

ejamet73 · 2024-12-23T01:40:35Z

L'ereur vient du cas ou on reçoit une seule position mmsi par batch & c'est la toute première position du navire ( last_segment est vide). Je corrige le code mais ça a des conséquences sur une grande partie du script c'est long ^^

marthevienne · 2024-12-23T07:51:56Z

Coucou !

En creusant le script, j'ai vu une autre erreur qui a un impact important. J'ai tout décortiqué et repris. L'erreur est la suivante : quand on reçoit des positions pour un navire qui n'a pas de segment en base, ses positions ne sont pas prises en compte et ne sont pas sauvées (exemple pour Ortegal dos).

Je pensais que vous ne bosseriez pas dessus, je me suis du coup mise dessus juste.

marthevienne · 2024-12-23T07:54:02Z

@ejamet73, on a qu'a bosser à 2 dessus. J'ai vraiment tout repris parce que la logique du code n'était pas clair du tout et il y avait donc ces 2 erreurs de df à 1 row et segments jamais sauvés en base

rv2931 · 2024-12-23T08:36:29Z

Le sujet avait été abordé par Sébastien et Nicolas, je ne sais pas si ça été implémenté comme ça mais dans ce cas on avait parlé de créer un segment avec deux point identiques Une autre solution était de mettre un point a Null ce qui a l'avantage d'être explicite Dans les deux cas il faut venir tester les valeur du segment précédent pour mettre la première nouvelle valeur en tant que deuxième point du segment qui existait déjà J'ai pas regardé dans le détail mais globalement c'était ça l'idée et je ne sais pas comment ou si ça été implémenté comme ça Le lun. 23 déc. 2024, 08:54, marthevienne ***@***.***> a écrit :

…

@ejamet73 <https://github.com/ejamet73>, on a qu'a bosser à 2 dessus. J'ai vraiment tout repris parce que la logique du code n'était pas clair du tout et il y avait donc ces 2 erreurs de df à 1 row et segments jamais sauvés en base — Reply to this email directly, view it on GitHub <#349 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ADLDQDQTPV3PQETEBJQVATL2G66TBAVCNFSM6AAAAABTNRIK6CVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDKNJZGA4TQNBYHE> . You are receiving this because you commented.Message ID: ***@***.***>

rv2931 · 2024-12-23T08:38:52Z

On peut très faire évoluer la class Segment pour y ajouter une méthode du genre segment.isValid() qui resterait si les deux points sont identiques ou null

ejamet73 · 2024-12-23T11:20:20Z

@ejamet73, on a qu'a bosser à 2 dessus. J'ai vraiment tout repris parce que la logique du code n'était pas clair du tout et il y avait donc ces 2 erreurs de df à 1 row et segments jamais sauvés en base

Où est ce que tu travailles ? j'ai créé une nouvelle PR à partir de la même branche de travail 373-fix-checking-of-the-excursion-of-the-last-segment

marthevienne · 2024-12-23T11:34:18Z

Là, j'ai fait un notebook pour décortiquer le code sur une branche en local.

marthevienne · 2024-12-23T11:38:50Z

On peut très faire évoluer la class Segment pour y ajouter une méthode du genre segment.isValid() qui resterait si les deux points sont identiques ou null

C'est effectivement le cas

marthevienne added bug Something isn't working P1 backend labels Dec 11, 2024

marthevienne self-assigned this Dec 11, 2024

marthevienne mentioned this issue Dec 11, 2024

[BACKEND] Mise en place automatisation du traitement ETL #348

Open

marthevienne added the Done! label Dec 11, 2024

marthevienne assigned ejamet73 Dec 13, 2024

ejamet73 linked a pull request Dec 16, 2024 that will close this issue

cas unique positon/mmsi dans batch #371

Merged

ejamet73 closed this as completed in #371 Dec 16, 2024

marthevienne reopened this Dec 19, 2024

rv2931 mentioned this issue Dec 22, 2024

398 improve db task executions traces #399

Open

rv2931 removed the Done! label Dec 22, 2024

ejamet73 linked a pull request Dec 23, 2024 that will close this issue

corrections 1 position par mmsi & pas de last_segment en base #400

Open

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[BACKEND] Fix create_update_segments_excursions: cas 1 seul position par MMSI dans batch non couvert #349

[BACKEND] Fix create_update_segments_excursions: cas 1 seul position par MMSI dans batch non couvert #349

marthevienne commented Dec 11, 2024

marthevienne commented Dec 19, 2024

ejamet73 commented Dec 19, 2024 •

edited

Loading

rv2931 commented Dec 22, 2024

ejamet73 commented Dec 22, 2024 •

edited

Loading

rv2931 commented Dec 22, 2024

ejamet73 commented Dec 23, 2024

marthevienne commented Dec 23, 2024

marthevienne commented Dec 23, 2024

rv2931 commented Dec 23, 2024 via email

rv2931 commented Dec 23, 2024

ejamet73 commented Dec 23, 2024

marthevienne commented Dec 23, 2024

marthevienne commented Dec 23, 2024

[BACKEND] Fix create_update_segments_excursions: cas 1 seul position par MMSI dans batch non couvert #349

[BACKEND] Fix create_update_segments_excursions: cas 1 seul position par MMSI dans batch non couvert #349

Comments

marthevienne commented Dec 11, 2024

marthevienne commented Dec 19, 2024

ejamet73 commented Dec 19, 2024 • edited Loading

rv2931 commented Dec 22, 2024

ejamet73 commented Dec 22, 2024 • edited Loading

rv2931 commented Dec 22, 2024

ejamet73 commented Dec 23, 2024

marthevienne commented Dec 23, 2024

marthevienne commented Dec 23, 2024

rv2931 commented Dec 23, 2024 via email

rv2931 commented Dec 23, 2024

ejamet73 commented Dec 23, 2024

marthevienne commented Dec 23, 2024

marthevienne commented Dec 23, 2024

ejamet73 commented Dec 19, 2024 •

edited

Loading

ejamet73 commented Dec 22, 2024 •

edited

Loading