Lesley Mathis sabe que lo que dijo su hija estaba mal. Pero nunca imaginó que la niña de 13 años sería arrestada por ello.

La adolescente hizo una broma ofensiva mientras chateaba en línea con sus compañeros de clase, lo que activó el software de vigilancia de la escuela .

Antes de que terminara la mañana, la estudiante de octavo grado de Tennessee fue arrestada. Fue interrogada, desnudada y registrada y pasó la noche en una celda, dice su madre.

Ese mismo día, sus amigas se habían burlado de la adolescente por su tez bronceada y la habían llamado «mexicana», aunque no lo era. Cuando una amiga le preguntó qué planeaba para el jueves, escribió: «El jueves matamos a todos los mexicanos».

Mathis dijo que los comentarios eran “incorrectos” y “estúpidos”, pero el contexto mostró que no eran una amenaza.

«Me hizo pensar: ¿Así es Estados Unidos en el que vivimos?», dijo Mathis sobre el arresto de su hija. «Y fue esta tecnología tan estúpida la que simplemente se limita a elegir palabras al azar sin mirar el contexto».

Los sistemas de vigilancia en las escuelas estadounidenses monitorean cada vez más todo lo que los estudiantes escriben en sus cuentas y dispositivos escolares. Miles de distritos escolares en todo el país utilizan software como Gaggle y Lightspeed Alert para rastrear las actividades en línea de los niños, buscando señales de que podrían hacerse daño a sí mismos o a otros. Con la ayuda de la inteligencia artificial , la tecnología puede acceder a las conversaciones en línea y notificar de inmediato tanto a las autoridades escolares como a las fuerzas del orden.

Los educadores afirman que la tecnología ha salvado vidas. Pero los críticos advierten que puede criminalizar a los niños por palabras descuidadas.

“Ha rutinario el acceso y la presencia de las fuerzas del orden en la vida de los estudiantes, incluso en sus hogares”, dijo Elizabeth Laird, directora del Centro para la Democracia y la Tecnología.

Las escuelas intensifican la vigilancia ante amenazas

En un país cansado de los tiroteos escolares, varios estados han endurecido su postura ante las amenazas a las escuelas. Entre ellos se encuentra Tennessee, que aprobó en 2023 una ley de tolerancia cero que exige que cualquier amenaza de violencia masiva contra una escuela se reporte de inmediato a las autoridades.

La niña de 13 años, arrestada en agosto de 2023, se había estado enviando mensajes de texto a sus amigos a través de un chat vinculado a su correo electrónico escolar en la Escuela Intermedia Fairview, que utiliza Gaggle para monitorear las cuentas de los estudiantes. (The Associated Press no divulga el nombre de la niña para proteger su privacidad. El distrito escolar no respondió a una solicitud de comentarios).

Llevada a la cárcel, la adolescente fue interrogada y registrada al desnudo, y a sus padres no se les permitió hablar con ella hasta el día siguiente, según una demanda que presentaron contra el sistema escolar. No sabía por qué sus padres no estaban allí.

“Después me dijo: ‘Pensé que me odiabas’. Eso te atormenta”, dijo Mathis, la madre de la niña.

Un tribunal ordenó ocho semanas de arresto domiciliario, una evaluación psicológica y 20 días en una escuela alternativa para la niña.

El director ejecutivo de Gaggle, Jeff Patterson, declaró en una entrevista que el sistema escolar no utilizó Gaggle como estaba previsto. El objetivo es detectar señales de alerta temprana e intervenir antes de que los problemas lleguen a las autoridades, afirmó.

«Me gustaría que esto se hubiera tratado como un momento de enseñanza, no como un momento de aplicación de la ley», dijo Patterson.

Los chats privados de estudiantes se enfrentan a un escrutinio inesperado

Los estudiantes que creen que están chateando en privado entre amigos a menudo no se dan cuenta de que están bajo vigilancia constante, dijo Shahar Pasch, abogada de educación en Florida.

Una adolescente a la que representaba bromeó sobre tiroteos escolares en una historia privada de Snapchat. El software de detección automática de Snapchat detectó el comentario, la empresa alertó al FBI y la chica fue arrestada en el recinto escolar en cuestión de horas.

Alexa Manganiotis, de 16 años, dijo que le sorprendió la rapidez con la que funciona el software de monitoreo. La Escuela de Artes Dreyfoos de West Palm Beach, a la que asiste, puso en marcha el año pasado Lightspeed Alert , un programa de vigilancia. Al entrevistar a una profesora para el periódico escolar, Alexa descubrió que dos estudiantes escribieron algo amenazante sobre ella en una computadora de la escuela y luego lo borraron. Lightspeed lo detectó y «se los llevaron como cinco minutos después», dijo Alexa.

Los adolescentes enfrentan consecuencias más graves que los adultos por lo que escriben en línea, afirmó Alexa.

«Si un adulto hace un chiste súper racista y amenazante en su computadora, puede eliminarlo y no será arrestado», dijo.

Amy Bennett, jefa de personal de Lightspeed Systems, dijo que el software ayuda a las escuelas con poco personal a “ser proactivas en lugar de punitivas” al identificar señales de alerta temprana de acoso, autolesión, violencia o abuso.

La tecnología también puede involucrar a las fuerzas del orden en la respuesta a crisis de salud mental. En el distrito escolar del condado de Polk, Florida, con más de 100,000 estudiantes, el programa de seguridad escolar recibió casi 500 alertas de Gaggle durante cuatro años, según informaron los oficiales en reuniones públicas de la Junta de Educación. Esto resultó en 72 casos de hospitalización involuntaria bajo la Ley Baker, una ley estatal que permite a las autoridades exigir evaluaciones de salud mental a personas contra su voluntad si representan un riesgo para sí mismas o para los demás.

“Un gran número de niños que experimentan un examen involuntario lo recuerdan como una experiencia muy traumática y perjudicial, algo que no les ayuda con su salud mental”, afirmó Sam Boyd, abogado del Southern Poverty Law Center. Los distritos escolares de Polk y West Palm Beach no hicieron comentarios.

Un análisis muestra una alta tasa de falsas alarmas

La información que podría permitir a las escuelas evaluar la efectividad del software, como la tasa de alertas falsas, está en manos de empresas de tecnología y no está disponible públicamente a menos que las escuelas hagan un seguimiento de los datos por sí mismas.

Gaggle alertó al distrito escolar de Lawrence, Kansas, sobre más de 1200 incidentes en un período reciente de 10 meses. Sin embargo, las autoridades escolares consideraron que casi dos tercios de esas alertas no eran relevantes, incluyendo más de 200 falsas alarmas relacionadas con las tareas de los estudiantes, según un análisis de Associated Press de datos obtenidos mediante una solicitud de registros públicos.

Los estudiantes de una clase de fotografía fueron llamados a la dirección por la preocupación de que Gaggle hubiera detectado desnudos. Las fotos se habían borrado automáticamente de las cuentas de Google Drive de los estudiantes, pero quienes tenían copias de seguridad de las imágenes marcadas en sus dispositivos demostraron que se trataba de una falsa alarma. Los funcionarios del distrito informaron que posteriormente ajustaron la configuración del software para reducir las falsas alertas.

Natasha Torkzaban, quien se graduó en 2024, dijo que la marcaron por editar el ensayo universitario de un amigo porque tenía las palabras «salud mental».

«Creo que idealmente no deberíamos aplicar una solución nueva y atractiva de IA a un problema tan arraigado como la salud mental de los adolescentes y las tasas de suicidio en Estados Unidos, pero ahí es donde estamos ahora mismo», dijo Torkzaban. Ella formó parte de un grupo de estudiantes de periodismo y artistas de la escuela secundaria Lawrence que presentaron una demanda contra el sistema escolar la semana pasada, alegando que Gaggle los sometió a vigilancia inconstitucional.

Los funcionarios escolares han dicho que toman en serio las preocupaciones sobre Gaggle, pero también dicen que la tecnología ha detectado docenas de amenazas inminentes de suicidio o violencia.

“A veces hay que considerar el comercio como un bien mayor”, dijo Anne Costello, miembro de la Junta de Educación, en una reunión de la junta en julio de 2024.

Dos años después de su terrible experiencia, Mathis dijo que su hija está mejor, aunque todavía le aterra encontrarse con uno de los agentes escolares que la arrestaron. Un punto positivo, comentó, fue la compasión de los profesores de la escuela alternativa de su hija. Se tomaron un tiempo cada día para que los niños compartieran sus sentimientos y frustraciones, sin juzgarlos.

«Es como si solo quisiéramos que los niños fueran pequeños soldados, y no lo son», dijo Mathis. «Son simplemente humanos».