[DATA] Test période de validité des MMSI dans spire_ais_data : comparaison avec historical_dim_mmsi

CONCLUSION :

@TyData29
Ce test de validité montre que, sur les 78 MMSI (actuellement dans historical_dim_mmsi et dans spire_ais_data), seul un MMSI pose problème car a été transféré d'un navire à un autre. Il faut faire la jointure sur le MMSI et l'IMO dans le modèle itm_vessel_last_raw_position !

EXPOSITION DU PROBLÈME :

Liste des MMSI et nombre de lignes où position_timestamp est en dehors de la période de validité dans historical_dim_mmsi :

SELECT mmsi, count(*) FROM (
SELECT hdm.mmsi, date(sad.position_timestamp) AS position_date, to_date(hdm.start_date, 'DD/MM/YYYY') AS start_date, to_date(hdm.end_date, 'DD/MM/YYYY') AS end_date FROM seeds.historical_dim_mmsi hdm 
LEFT JOIN spire_ais_data sad ON hdm.mmsi = sad.vessel_mmsi
WHERE sad.position_timestamp NOTNULL) AS foo
WHERE foo.position_date NOT BETWEEN start_date and end_date
GROUP BY mmsi

Résultat :

=> En regardant de plus près historical_dim_mmsi.csv, je me rends compte que 1/3 MMSI sont partagés entre différents navires. Je vais vérifier si ce n'est pas une erreur de saisie.

À suivre tout de suite !