[TRAJECTOIRE] Présences de valeurs INF/NaN dans fct_segment non compatible JSON

[rv2931]

Des valeurs INF/NaN sont présente dans la table fct_segment
Il faudrait statuer sur le fait que ces valeurs sont valides et donc il faut leur trouver un équivalent en JSON qui ne les intègre pas par défaut et comment les traiter côté front ou bien si elles sont invalides et donc s'il faut les corriger en base. Dans le deuxième cas décidier si on laisse la conversion JSON planter quitte à avoir des erreur 500 lorsque des valeurs réapparaitrons ou bien si on "cache" le souci en convertissant systématiquement ces valeurs à null par exemple. Dans ce cas l'idéal serait de prévoir des process ETL de qualité de données pour détecter ces valeurs au plus tôt et les corriger
En attendant je propose d'intégrer le workaround pour avoir une API plus fonctionnelle

[rv2931]

SELECT x.* FROM public.fct_segment x
join fct_excursion fe on x.excursion_id = fe.id 
join dim_vessel dv ON fe.vessel_id = dv.id 
WHERE speed_at_start = '+infinity' or speed_at_end  = '+infinity' or speed_at_start = 'NaN' or speed_at_end  = 'NaN'
order by x.timestamp_start desc
limit 10

bloom_db__SELECT_x_FROM_public_fct_segment_x_join_fct_excursion_fe_on_x_e_202411221923.csv
EDIT: j'ai repost je m'étais gouré dans le order by

[rv2931]

Donc j'ai l'impression que depuis avril il n'y plus trop de NaN par contre depuis on a des INF qui sont potentiellement un autre questionnement à avoir

[njouanin]

On doit avoir un problème dans le calcul des vitesses dans le script clean_position:

select * from vessel_positions vp where vp.speed  = 'Nan' or vp.speed = '+infinity'
order by created_at desc
limit 10

    id    |       timestamp        | accuracy | collection_type | course | heading |                      position                      |  latitude   |  longitude  |   maneuver    |  navigational_status   | rot |  speed   | vessel_id |          created_at
----------+------------------------+----------+-----------------+--------+---------+----------------------------------------------------+-------------+-------------+---------------+------------------------+-----+----------+-----------+-------------------------------
 24750556 | 2024-11-22 09:30:07+01 | LOW      | TERRESTRIAL     |      0 |     140 | 0101000020E6100000FA6C706416241440E75D8AE5F5774A40 | 52.93719167 |  5.03524167 | NOT_AVAILABLE | NOT_DEFINED_DEFAULT    |   0 | Infinity |      1583 | 2024-11-22 09:54:29.522314+01
 24748930 | 2024-11-22 09:10:03+01 | LOW      | TERRESTRIAL     |   66.1 |     230 | 0101000020E61000008D6DA51983C11540DF5ABB276E964A40 | 53.17523667 |  5.43897667 | NOT_AVAILABLE | NOT_DEFINED_DEFAULT    |   0 | Infinity |      1442 | 2024-11-22 09:54:29.522314+01
 24744829 | 2024-11-22 08:12:28+01 | HIGH     | DYNAMIC         |    213 |     217 | 0101000020E6100000EC3645D31B0733403F524486553A4B40 |   54.455735 | 19.02776833 | NOT_AVAILABLE | ENGAGED_IN_FISHING     |   0 | Infinity |       799 | 2024-11-22 09:54:29.522314+01
 24741289 | 2024-11-22 07:15:03+01 | HIGH     | TERRESTRIAL     |  182.2 |     332 | 0101000020E61000006217E2E4C06C37404E6FB168DB734D40 | 58.90513333 | 23.42481833 | NOT_AVAILABLE | ENGAGED_IN_FISHING     |   0 | Infinity |      1073 | 2024-11-22 09:54:29.522314+01
 24727344 | 2024-11-22 04:00:01+01 | HIGH     | TERRESTRIAL     |     85 |     280 | 0101000020E610000010E5D1AEBE3F20400A7350FC77004C40 | 56.00366167 |  8.12450167 | NOT_AVAILABLE | NOT_DEFINED_DEFAULT    |   0 | Infinity |       167 | 2024-11-22 09:54:29.522314+01
 24713292 | 2024-11-22 00:40:08+01 | LOW      | TERRESTRIAL     |  148.6 |      80 | 0101000020E6100000C46106B68C81364081838B4F601B4D40 | 58.21387667 | 22.50605333 | NOT_AVAILABLE | UNDER_WAY_USING_ENGINE |   0 | Infinity |       135 | 2024-11-22 09:54:29.522314+01
 24711247 | 2024-11-21 23:20:35+01 | LOW      | SATELLITE       |    211 |      20 | 0101000020E61000007B14AE47E1BA4B4024A70230967C12C0 | -4.62166667 |       55.46 | NOT_AVAILABLE | UNDER_WAY_USING_ENGINE |   0 | Infinity |      1694 | 2024-11-22 09:54:29.522314+01
 24697265 | 2024-11-21 20:45:18+01 | LOW      | TERRESTRIAL     |   22.7 |     197 | 0101000020E6100000FC8E7E87E48935408A311B2A67B24C40 | 57.39377333 | 21.53864333 | NOT_AVAILABLE | ENGAGED_IN_FISHING     |   0 | Infinity |       186 | 2024-11-22 09:54:29.522314+01
 24694570 | 2024-11-21 20:11:13+01 | HIGH     | TERRESTRIAL     |   48.6 |     237 | 0101000020E610000004ADC090D5A938409C28742438BA4D40 | 59.45483833 |   24.663415 | NOT_AVAILABLE | MOORED                 |   0 | Infinity |      1480 | 2024-11-22 09:54:29.522314+01
 24683021 | 2024-11-21 17:15:02+01 | LOW      | TERRESTRIAL     |  299.5 |      74 | 0101000020E6100000B7F7E3D5BDE020C01E26AF085D514B40 | 54.63565167 | -8.43894833 | NOT_AVAILABLE | UNDER_WAY_USING_ENGINE |   0 | Infinity |      1605 | 2024-11-22 09:54:29.522314+01
(10 rows)

@SebM42 : une idée ou une suggestion sur ce qu'il faut faire dans ce cas ?