Human vs. machine: identification of bat species from their echolocation calls by humans and by artificial neural networks

Automated remote ultrasound detectors allow large amounts of data on bat presence and activity to be collected. Processing of such data involves identifying bat species from their echolocation calls. Automated species identification has the potential to provide more consistent, predictable, and potentially higher levels of accuracy than identification by humans. In contrast, identification by humans permits flexibility and intelligence in identification, as well as the incorporation of features and patterns that may be difficult to quantify. We compared humans with artificial neural networks (ANNs) in their ability to classify short recordings of bat echolocation calls of variable signal to noise ratios; these sequences are typical of those obtained from remote automated recording systems that are often used in large-scale ecological studies. We presented 45 recordings (1-4 calls) produced by known species of bats to ANNs and to 26 human participants with 1 month to 23 years of experience in acoustic identification of bats. Humans correctly classified 86% of recordings to genus and 56% to species; ANNs correctly identified 92% and 62%, respectively. There was no significant difference between the performance of ANNs and that of humans, but ANNs performed better than about 75% of humans. There was little relationship between the experience of the human participants and their classification rate. However, humans with <1 year of experience performed worse than others. Currently, identification of bat echolocation calls by humans is suitable for ecological research, after careful consideration of biases. However, improvements to ANNs and the data that they are trained on may in future increase their performance to beyond those demonstrated by humans.

Les détecteurs automatisés à distance d’ultrasons permettent de récolter des quantités importantes de données sur la présence et l’activité des chauves-souris. Pour traiter ces données, il est nécessaire d’identifier les espèces de chauves-souris d’après leurs cris d’écholocation. L’identification automatisée des espèces pourrait potentiellement permettre une précision plus uniforme, plus prévisible et probablement plus fine que l’identification faite par des humains. En revanche, l’identification faite par les humains permet de la flexibilité et du jugement dans le processus de reconnaissance, ainsi que l’incorporation de caractéristiques et de patrons qui peuvent être difficiles à quantifier. Nous comparons les capacités d’humains et de réseaux de neurones artificiels (ANNs) à classifier de courts enregistrements d’appels d’écholocation de chauves-souris contenant divers rapports signal:bruit; ce sont des séquences représentatives de celles obtenues par les systèmes automatisés d’enregistrement à distance couramment utilisés dans les études écologiques à grande échelle. Nous avons présenté 45 enregistrements (de 1 à 4 appels) produits par des espèces connues de chauves-souris à des ANNs et à 26 collaborateurs qui possèdent entre 1 mois et 23 ans d’expérience dans l’identification acoustique des chauves-souris. Les humains ont classé correctement 86 % des enregistrements au genre et 56 % à l’espèce; les réussites correspondantes des ANNs sont de 92 % et de 62 %. Il n’y a pas de différence significative entre les performances des humains et des ANNs, mais les ANNs donnent un meilleur rendement que 75 % des humains. Il y a peu de corrélation entre l’expérience des collaborateurs et leur taux de classifications réussies. Néanmoins, les humains ayant <1 an d’expérience ont un taux de réussite inférieur aux autres. Dans les conditions actuelles, l’identification des appels d’écholocation des chauves-souris par des humains convient aux études écologiques, si l’on tient compte soigneusement des sources d’erreur. Cependant, une amélioration des ANNs et des données qu’ils utilisent pourrait dans l’avenir accroître leur performance au-delà de celle démontrée par les humains.