Nota del Editor, Tricia Wang: El siguiente paso en nuestra Co-diseñar máquinas con la edición es Madeleine Clare Elish, (@mcette), es un antropólogo e investigador de Datos & Sociedad, presenta un caso de por qué las percepciones culturales actuales del papel de los humanos en los sistemas automatizados necesitan ser actualizados con el fin de proteger contra las nuevas formas de polarización y de los trabajadores daños. Leer más acerca de su investigación sobre los drones militares y de inteligencia de la máquina en Pizarra. Madeleine también trabaja como investigador del Inteligencia & Iniciativa de autonomía en Data & Sociedad que se desarrolla la investigación empírica e histórica para fundamentar los debates sobre políticas de todo el aumento de la inteligencia artificial.
"¿Un estudio antropólogo ¿Por qué los sistemas no tripulados?"Esta es una pregunta que a menudo me preguntan por los ingenieros y gerentes de producto en las conferencias. La presunción es que los sistemas no tripulados (un término que reina en el campo, aunque el género irreflexivamente) son sólo eso, libre de los seres humanos; ¿Por qué alguien que estudia los seres humanos tomar esto como su objeto de estudio? ¡Por supuesto, nosotros, como etnógrafos, saber que siempre hay seres humanos que se encuentran. Por otra parte, pocos o ninguno de los sistemas actuales son verdaderamente "no tripulado" o "autónomo". [1] Todos requieren la planificación humana, diseño y mantenimiento. La mayoría son de la colaboración entre el ser humano y la máquina, aunque el papel de la humana es a menudo oscurecido. Cuando examinamos los sistemas autónomos (o cualquiera de los otros términos invocados en la nube de la palabra relacionada: no tripulado, inteligencia artificial, inteligente, robótica, etc) no debemos mirar a las raspaduras de la humana, pero a la formas en la que, como seres humanos, han sido recientemente implicados.
Mi tesis doctoral, así como la investigación llevada a cabo con el La inteligencia y la Iniciativa de autonomía en Datos & Sociedad, ha examinado precisamente lo que se oculta cuando llamamos a algo, "No tripulado" o "autónomo". He estado cada vez más interesados en las condiciones y consecuencias para el trabajo de la forma humana y la habilidad a ser diferente valorada en este tipo de sistemas altamente automatizados y autónomos. En este post, Tricia me ha pedido que comparta algunas de las investigaciones que he estado trabajando en torno al papel de los humanos en los sistemas autónomos y para trabajar a través de algunas de las consecuencias de la forma en que pensamos acerca de la cooperación, responsabilidad y rendición de cuentas.
Tiempos modernos, 1936 [giphy]
El conductor o el Sistema?
Permítanme comenzar con una historia: Yo volvía a Nueva York a partir de una rueda de la ley robot en Miami. Pedí un Lyft que me llevara al aeropuerto de Miami, la selección de la dirección de la primera rellena el campo de destino cuando escribí la frase "el aeropuerto de Miami" en la aplicación Lyft. El coche llegó. Pongo mi maleta en el maletero. Creo que el conductor y yo intercambiamos saludos–o por lo menos, un movimiento de cabeza y una sonrisa. Nos fuimos, y me quedé dormido;. (Había sido una larga semana de conferencias!) Me desperté, ya que estábamos dando vueltas una salida de la autopista, en un lugar que parecía claramente no como la entrada de un gran aeropuerto. Le pregunté si esto era el camino correcto para el aeropuerto. El se encogió de hombros, y pronto me puse juntos que él no hablaba nada de Inglés. Hablo español pasable, y de nuevo se le preguntó si íbamos al lugar correcto. Él respondió que él pensaba lo. Tal vez fue un camino de regreso? Estábamos hecho en el aeropuerto, pero no en la parte comercial. Mientras conducía en, Miré nerviosamente el mapa en mi teléfono.
Finalmente, el conductor se detuvo frente a un hangar anodino y dijo, "Estamos aquí." Bastante molesto, Señalé que no estábamos "aquí,", Y que esto claramente no era el aeropuerto. Él respondió con la explicación de que este era el lugar donde la aplicación / mapa le había dicho que se fuera. Exasperada y preocupado Me gustaría perder mi vuelo, Casi lloro, "¿Nunca ha conducido a nadie al aeropuerto?" (Resultó que era su primera semana de la conducción.) Me sacó de Google Maps en mi teléfono, encontrado lo que parecía ser la dirección correcta y le entregó el teléfono a seguir. Después de conducir veinte minutos más en todo el perímetro de la pista de aterrizaje, llegamos a la entrada del pasajero aéreo comercial correcta.
Apagó el paseo, enviar el mensaje a la aplicación que el viaje fue completa. (Afortunadamente, Hice mi vuelo justo en el momento preciso.) Admito que no le di propina. yo sabía, sin embargo, que se enfrentarían a otra decisión: ¿cómo iba a calificar el viaje? Cerré la aplicación y coger el avión, decidir que esperar hasta que se enfríe mis emociones y lo que podía pensar cuidadosamente acerca de lo que haría en una situación que tenía, de hecho, estudiado en otras formas: ¿cuáles son las formas en que los operadores humanos pueden llegar a ser esponjas de responsabilidad de los fracasos de los sistemas inteligentes o automatizados?
El fracaso de esta interacción, Yo argumentaría, es únicamente sintomático de los principios de diseño que todavía dan forma altamente automatizados y sistemas autónomos. Voy a volver a esta observación más grande de abajo. Primero, permítanme explicar más sobre mi dilema en este caso concreto, como lo vi. Desde un punto de vista, mi conductor merecía una mala calificación. Debería haber sabido que quería ir a la terminal de pasajeros del aeropuerto. Me había recogido de un hotel. Tenía una maleta. Se condujo un coche de alquiler en Miami. Esto no debería haber sido un viaje inusual. Yo quería ir al aeropuerto y él no me llevó allí.
Desde otra perspectiva, mi conductor no se merecía una mala clasificación porque tenía que tener en consideración qué papel, el pasajero, y qué papel Lyft, la aplicación, había jugado en el resultado. Que realmente merecía la culpa? Estoy bastante seguro de que nunca dije en voz alta, "Voy al aeropuerto." Por otra parte, me quedé dormido. Si hubiera estado despierto, Yo he visto que nos perdimos la salida principal firmado con el aeropuerto. Me he dado cuenta de la situación cuanto antes. Por otra parte, parece razonable encontrar defectos en el mapa algoritmo de autocompletar de Lyft, el cual selecciona un puntito en el aeropuerto, pero no a la terminal de pasajeros del aeropuerto.
Fue el responsable de la conducción de adivinar la aplicación? El conductor había hecho su trabajo, ya que se define por Lyft. Me había tomado literalmente desde el punto A al punto B, ambos de los cuales yo había seleccionado. Todo esto no sólo era complicado, sino también consecuente porque los marineros están directamente relacionadas con la reputación y la capacidad de trabajo de los conductores. Debido a la forma en que el sistema de retroalimentación dentro de la aplicación está diseñada, Sólo puedo calificar el conductor, No Lyft o la experiencia en general. Estoy estructuralmente obligado a poner toda la responsabilidad–para bien o para mal–en el controlador de, mientras que de hecho, la responsabilidad es compartida en última instancia,. Al final, No hice caso de la aplicación de un par de semanas, y nunca volvió a calificar el controlador.
Patrones a partir del pasado
Esta experiencia con Lyft y el conductor Lyft es un ejemplo de las nuevas formas en las que la relación entre el control y la responsabilidad en sistemas autónomos o inteligentes no necesariamente se alinean con las concepciones tradicionales de estos términos. Como etnógrafos, Creo que estamos especialmente preparados para atrapar la vista de las formas están surgiendo estos desajustes. Esperemos, también podemos ser parte de la creación de estructuras alternativas–si las regulaciones formales, principios de diseño, o informal entendimientos alrededor de la mesa de conferencias–de las maneras en que las tecnologías automatizadas y autónomos pueden enmascarar el papel de los seres humanos en forma no intencionada, pero dañinos.
Formado como un antropólogo y etnógrafo, mi punto de vista ha sido profundamente informado por mirar las historias de los sistemas proto-autónoma, tales como los pilotos automáticos y controles de crucero. En un publicado previamente caso de estudio de la historia de la aviación litigios piloto automático, Tim Hwang y documenté un firme enfoque en la responsabilidad humana en los ámbitos de la ley y la cultura popular, incluso mientras las tareas de usuario en la cabina han sido reemplazados cada vez más estructurada y por la automatización. Nuestro análisis nos llevó a pensar acerca de las incongruencias entre el control y la responsabilidad y las implicaciones para la futura regulación y la responsabilidad legal en los sistemas inteligentes. El dilema, como lo vimos, fue que como controlar se ha convertido distribuido a través de múltiples actores (humanos y no humanos), nuestras concepciones sociales y legales de responsabilidad han permanecido en general acerca de un individuo. Hemos desarrollado el término zona de deformación moral para describir el resultado de esta ambigüedad dentro de los sistemas de control distribuido, en particular sistemas automatizados y autónomos. Al igual que la zona de deformación en un coche está diseñado para absorber la fuerza del impacto en un accidente, el ser humano en un sistema altamente complejo y automatizado puede convertirse simplemente en un componente accidental o intencionalmente, que soporta el peso de las responsabilidades morales y legales cuando el mal funcionamiento del sistema en general. La metáfora de la zona de deformación moral no es sólo acerca de chivo expiatorio. El término se quiere llamar la atención sobre las formas en que los sistemas automatizados y autónomos desviar la responsabilidad en exclusiva, formas sistemáticas. Mientras que la zona de deformación en un coche está destinado a proteger al conductor humana, la zona de deformación moral protege la integridad del sistema tecnológico, sí mismo.
Chrysler piloto automático Folleto, 1958
Sobre la base de este trabajo, Presenté una papel (en la conferencia en Miami) sobre un conjunto de desafíos en juego en el control compartido entre el humano y la máquina, examinando específicamente cómo la responsabilidad de la operación de un sistema puede estar desalineado con cómo el control se ejerce dentro de ese sistema. He descrito dos casos en los que emergieron las zonas de deformación morales, en primer lugar la fusión nuclear parcial de Three Mile Island y en segundo lugar el accidente fatal del vuelo de Air France 447. Las circunstancias que rodean estos accidentes demuestran cómo parece ser desviado lejos de las partes automatizadas del sistema de rendición de cuentas (y los seres humanos cuyo control está mediada a través de esta automatización) y se centró en los operadores humanos inmediatos, que poseen sólo el conocimiento y control limitado.
percepciones culturales del papel de los seres humanos en sistemas automáticos y robóticos necesitan ser actualizados con el fin de proteger contra las nuevas formas de daños consumidor y del trabajador. Los síntomas de zonas de deformación morales (a riesgo de metáforas de mezcla) son algunas de las fenómenos que los factores humanos investigadores han estado estudiando durante años, tales como descualificación, atrofia de habilidad, y imposible cognitivo cargas de trabajo. Una de las consecuencias es que los riesgos y beneficios del desarrollo tecnológico no necesariamente se desarrollan en el interés público general. Al igual que con las transiciones anteriores en la historia de la automatización, nuevas tecnologías no tanto eliminan la humana, sino más bien oscurecen las formas en que se reconfiguran una mano de obra humana y las relaciones sociales.
La detección de zonas de deformación moral
La etnografía es sobre la búsqueda de las personas, y esta es la razón por métodos etnográficos deben ser fundamental para el estudio y diseño de sistemas automatizados de carácter autónomo y complejamente. Cuando pensamos en los futuros diseños de sistemas autónomos, debemos conducir investigador entre los ingenieros, diseñadores y usuarios finales, pero también tenemos que ampliar nuestro marco de análisis para abarcar las nuevas formas en que los seres humanos son empujados poco más allá de la vista inmediata. En mi propio trabajo, Siempre trato de estar vigilantes de las formas en que las partes de los sistemas automatizados desvían de manera efectiva la responsabilidad o rendición de cuentas a la vez que parecía representar la infalibilidad.
A modo de conclusión, Me gustaría terminar este post con algunas sugerencias para maneras de abordar el estudio y diseño de sistemas hombre-máquina que toma en cuenta las consecuencias no deseadas de mantener a un ser humano en el bucle y la creación de zonas de deformación morales. Como etnógrafos, diseñadores, ingenieros y también a los usuarios de los sistemas complejos, que todos deberíamos hacer: ¿Cómo las máquinas y sistemas automatizados distribuir el trabajo de llevar a cabo una acción o meta? ¿Cómo está compuesta de control en cada parte–hay un elemento de control físico y también un elemento de control de representación o de otra manera sustantiva, como la diferencia entre la ejecución de código y escribir código? Y, ¿cómo perciben los usuarios y los administradores del locus de control y con qué consecuencias para la asignación de la culpa, alabanza y valor a los seres humanos que participan?
____________
[1] En esta pieza utilizo los términos autónoma, la automatización y el robot como las tecnologías relacionadas en un espectro de tecnologías computacionales que realizan tareas previamente realizadas por los seres humanos. Un marco para clasificar los tipos de automatización propuesto por Parasuraman, Sheridan y Wickens es útil para analizar específicamente los tipos de percepciones y acciones en juego en sistemas autónomos. Parasuraman et al. definir automatización específicamente en el contexto de la comparación hombre-máquina y como "un dispositivo o sistema que lleva a cabo (parcial o totalmente) una función que anteriormente era, o posiblemente podría ser, llevado a cabo (parcial o totalmente) por un operador humano. "Esta amplia automatización posiciones definición, y autonomía, por extensión,, como la variación en el grado no como un todo o nada estado de cosas. Proponen diez niveles básicos de automatización, que va desde el nivel más bajo de la automatización de la participación de un equipo que no ofrece ninguna asistencia a un ser humano con el más alto nivel de automatización en el que el ordenador toma todas las decisiones sin ninguna entrada en absoluto de la humana. Parasuraman et al. 2000. "Un modelo para los tipos y niveles de interacción humana con la automatización." IEEE Transactions on Sistemas, El hombre y la cibernética (30)3.
Este artículo es parte de la Co-diseñar con máquinas Edición. Leer otros artículos en esta edición.
Al igual que lo que está leyendo? Materias de la etnografía es un sitio dirigido por voluntarios sin publicidad. Estamos encantados de que siga siendo así, Pero necesitamos tu ayuda. No necesitamos sus donaciones, sólo queremos que usted separe la palabra. Nuestra recompensa para el funcionamiento de este sitio está viendo personas repartidas nuestros artículos. Únase a nosotros en gorjeo, tweet acerca de los artículos que usted tiene gusto, compartirlos con sus colegas, o convertirse en un colaborador. También unirse a nuestro Slack tener discusiones más profundas sobre las lecturas y / o de conectarse con otras personas que utilizan la etnografía aplicada; usted no tiene que tener ninguna formación en la etnografía para unirse, damos la bienvenida a todas las personas humanas centradas desde diseñadores a los ingenieros.
Trackbacks / Pingbacks
[…] Fuente: El futuro de los sistemas autónomos que diseñan implicará etnógrafos | Cuestiones Etnografía […]