Automated speech recognition for time recording in out-of-hospital emergency medicine—an experimental approach

Abstract 

Precise documentation of medical treatment in emergency medical missions and for resuscitation is essential from a medical, legal and quality assurance point of view [Anästhesiologie und Intensivmedizin, 41 (2000) 737]. All conventional methods of time recording are either too inaccurate or elaborate for routine application. Automated speech recognition may offer a solution. A special erase programme for the documentation of all time events was developed. Standard speech recognition software (IBM ViaVoice 7.0) was adapted and installed on two different computer systems. One was a stationary PC (500MHz Pentium III, 128MB RAM, Soundblaster PCI 128 Soundcard, Win NT 4.0), the other was a mobile pen-PC that had already proven its value during emergency missions [Der Notarzt 16, p. 177] (Fujitsu Stylistic 2300, 230Mhz MMX Processor, 160MB RAM, embedded soundcard ESS 1879 chipset, Win98 2nd ed.). On both computers two different microphones were tested. One was a standard headset that came with the recognition software, the other was a small microphone (Lavalier-Kondensatormikrofon EM 116 from Vivanco), that could be attached to the operators collar. Seven women and 15 men spoke a text with 29 phrases to be recognised. Two emergency physicians tested the system in a simulated emergency setting using the collar microphone and the pen-PC with an analogue wireless connection. Overall recognition was best for the PC with a headset (89%) followed by the pen-PC with a headset (85%), the PC with a microphone (84%) and the pen-PC with a microphone (80%). Nevertheless, the difference was not statistically significant. Recognition became significantly worse (89.5% versus 82.3%, P<0.0001) when numbers had to be recognised. The gender of speaker and the number of words in a sentence had no influence. Average recognition in the simulated emergency setting was 75%. At no time did false recognition appear. Time recording with automated speech recognition seems to be possible in emergency medical missions. Although results show an average recognition of only 75%, it is possible that missing elements may be reconstructed more precisely. Future technology should integrate a secure wireless connection between microphone and mobile computer. The system could then prove its value for real out-of-hospital emergencies.

Sumàrio 

O registo preciso das actividades médicas na emergência e reanimação é essencial de um ponto de vista médico, legal e como forma de assegurar qualidade [Anasthesiologie und Intensivmedizin, 41 (2000) 737]. Os métodos convencionais de registo dos tempos são quer demasiado elaborados quer imprecisos para aplicação de rotina. O reconhecimento da voz pode ser uma solução para este problema. Desenvolveu-se um programa especial para documentar todos os eventos ao longo do tempo. Foi adaptado e instalado um software de reconhecimento standard do discurso (IBM Via Voice 7.0) em dois sistemas de computadores diferentes. Um PC fixo (500MHz Pentium III, 128 MB RAM, Soundblaster PCI 128 Soundcard, WinNT 4.0), e uma caneta móvel de PC que já testada com sucesso em missões de emergência [Der Notarzt 16, p. 177](Fujitsu Stylistic 2300, 230 Mhz MMX Processor, 160 MB RAM, embedded soundcard ESS 1879 chipset, Win98 2nd ed.). Testaram-se dois sistemas de microfones diferentes em ambos os computadores. Um sistema standard com adaptador para a cabeça que vinha com o software de reconhecimento, e um pequeno microfone (Lavalier-Kondensatormikrofon EM 116 da Vivanco), que pode ser ligado ao colarinho do operador. Sete mulheres e 15 homens leram um texto com 29 frases para que fosse reconhecido. Dois médicos da emergência testaram o sistema num ambiente de emergência simulado utilizando o microfone de colar e a caneta do PC com uma conexão análoga sem fios. O reconhecimento global foi melhor para o PC com o adaptador para a cabeça (89%) seguido pela caneta do PC com o adaptador para a cabeça (85%), o PC com um microfone (84%) e a caneta de PC com um microfone (80%). Contudo, a diferença não foi estatisticamente significativa. O reconhecimento tornou-se significativamente pior quando (89.5% versus 82.3%, P<0.0001) quando era necessário reconhecer números. O sexo de quem lia e o número de palavras numa frase não tinha qualquer influência. O reconhecimento médio em ambiente de emergência simulado foi 75%. Não apareceram reconhecimentos falsos em nenhuma altura. O registo do tempo com o reconhecimento automático do discurso parece ser possı́vel em missões médicas na emergência. Embora os resultados mostrem um reconhecimento médio de apenas 75%, é possı́vel que elementos que faltam sejam reconstruı́dos de forma mais precisa. A tecnologia futura deve integrar uma conexão segura sem fios entre o microfone e o computador portátil. Este sistema pode assim provar o seu valor para emergências extra-hospitalares reais.

Resumen 

La documentación precisa del tratamiento médico en misiones médicas de emergencia y para la resucitación es esencial desde un punto de vista médico, legal y de asegurar calidad [Anäesthesiologie und Intensivmedizin, 41 (2000) 737]. Todos los métodos convencionales de registro de tiempo son o muy poco precisos o muy elaborados para ser aplicados rutinariamente. El reconocimiento de voces podrı́a ofrecer una solución. Se desarrolló un programa gramatical especial para la documentación de todos los eventos de tiempo. Se adaptó e instaló un software de reconocimiento estándar de voz (IBM ViaVoice 7.0) en dos distintos sistemas de computadores. Uno en un PC estacionario (500MHz Pentium III,128M MB RAM, tarjeta de sonido Soundblaster PCI 128, Win NT 4.0), el otro fue instalado en un pen- PC móvil que ya habı́a demostrado su valor durante misiones de emergencia [Der Notarzt 16, p177] (Fujitsu Stylistic 2300, procesador 230 Mhz MMX, 160 MB RAM, chipset con tarjeta de sonido EES 1879, Win98 2°ed.). En ambos computadores se probaron dos tipos de micrófonos. Uno un equipo estándar que venı́a con el software de reconocimiento, el otro un pequeño micrófono (Lavalier-Kondensatormicrofon EM 116 de Vivanco), que podı́a ser afirmado en el cuello del operador. 7 mujeres y 15 hombres hablaron un texto con 29 frases para ser reconocidas. Dos médicos de emergencias probaron el sistema en un escenario de una emergencia simulada usando el micrófono de cuello y el pen-PC con una conexión inalámbrica. De todos los intentos la reconocimiento mejor fue para el PC con el headset (89%) seguido por el pen-PC con headset(85%), el PC con micrófono (84%) y con el pen-PC con el micrófono (80%). Sin embargo, la diferencia no fue estadı́sticamente significativa. El reconocimiento se hizo significativamente peor (89.5% versus 82.3%, P<0.0001) cuando era necesario reconocer números. El sexo de quien hablaba y el numero de palabras en la frase no influyeron. El reconocimiento promedio en una emergencia simulada fue de 75%. En ningún momento apareció falso reconocimiento. El registro de tiempos con reconocimiento automático de habla parece ser posible en misiones de emergencias médicas. Aun cuando los resultados muestran un reconocimiento promedio de solo 75%, es posible que los elementos faltantes puedan ser reconstruidos mas precisamente. La futura tecnologı́a deberı́a integrar una conexión inalámbrica segura entre un micrófono y un computador móvil. El sistema podrı́a entonces probar su valor para emergencias prehospitalarias reales.

Keywords:  Emergency medical services, Guidelines, Clinical trials, Resuscitation, Utstein template

Palavras Chave:  Serviços de Emergência Médica, Guidelines, Reanimação, Utstein Template

Palabras Clave:  Servicios de emergencias médicas, Guı́as, Ensayos clı́nicos, Reanimación, Templado de Utstein