Une erreur du système d’intelligence artificielle a semé la panique dans une école de Baltimore, aux États-Unis. Un adolescent a été menotté par la police après un logiciel de détection d'armes à feu a signalé la présence d'une arme à feu. Dommage que ce soit simple paquet de chips.
« La police est arrivée, avec huit voitures, et tous les policiers sont descendus pointant des armes sur moi et me disant de m'allonger par terre« , a déclaré le jeune homme de seize ans à la chaîne de télévision locale »Actualités WMAR-2. « Ils m'ont dit de m'agenouiller, ils m'ont arrêté et m'ont menotté».
Une fausse alerte déclenchée par l’intelligence artificielle
Selon le département de police du comté de Baltimore, les agents « ont réagi de manière appropriée et proportionnée sur la base des informations fournies à l'époque ».
L'alerte avait été générée par un système d'intelligence artificielle installé à l'écolequi avait interprété la forme du colis comme une arme à feu. Le signal, expliquent les autorités, avait été transmis à des auditeurs humains qui n'avaient trouvé aucune menace. Cependant, le directeur n'en a pas été informé et a contacté le responsable de la sécurité de l'école, qui a à son tour appelé la police.
L'opération s'est terminée sans blessé. « L'incident a été résolu en toute sécurité après avoir déterminé qu'il n'y avait aucune menace », a déclaré la police au « Nouvelles de la BBCprécisant que le garçon avait été menotté mais n'avait pas été formellement arrêté.
« Je n'avais qu'un sac de chips »
L'étudiant a dit qu'il venait juste de terminer son entraînement de football et mettre le pack Doritos vide dans la poche de son pantalon. Vingt minutes plus tard, il s'est retrouvé encerclé par des agents armés.
Après l'épisode, il a dit de je ne me sens plus calme: « Maintenant, j'attends à l'intérieur de l'école après l'entraînement, je ne pense pas que ce soit assez sûr pour sortir, surtout pour manger un sachet de chips ou prendre un verre. »
La version de l'école et les investigations demandées
Dans une lettre aux parents, le directeur de l'école a expliqué que l'équipe de sécurité « a rapidement enquêté et annulé l'alerte initiale après avoir confirmé qu'il n'y avait pas d'armes ».
« J'ai contacté notre responsable de la sécurité de l'école et lui ai signalé l'affaire, et il a contacté le district local pour obtenir une assistance supplémentaire », a-t-elle ajouté. « Les policiers sont intervenus à l'école, ont fouillé l'individu et ont rapidement confirmé qu'il n'était en possession d'aucune arme. »
Après l'incident, plusieurs responsables politiques locaux ont demandé des éclaircissements. «Je demande aux écoles publiques du comté de Baltimore de revoir les procédures relatives à son système de détection d'armes basé sur l’intelligence artificielle », a écrit un conseiller départemental sur Facebook.
Le fournisseur du système : « Le processus s’est déroulé comme prévu »
Le système de surveillance utilisé par l'école est assuré par Omnilertune entreprise qui se décrit comme un « leader des systèmes de détection d’armes à feu basés sur l’IA ». Dans une déclaration auNouvelles de la BBCla société a exprimé « Je regrette ce qui s'est passé et l’inquiétude pour l’étudiant et la communauté touchée par les événements.
Omnilert a expliqué que « bien que l'objet ait été identifié par la suite comme n'étant pas une arme à feu, le processus a fonctionné comme prévu: Donner la priorité à la sécurité et à la sensibilisation grâce à une vérification humaine rapide », a déclaré Omnilert, rappelant que «la détection des armes à feu dans le monde réel est compliquée».
À Baltimore, la question reste de savoir comment une erreur technologique a pu conduire à une opération policière aussi drastique et si les écoles sont réellement prêtes à gérer des outils de surveillance aussi sensibles.
