AI chatbots er allerede mye brukt av bedrifter for å hilse på kunder og svare på spørsmålene deres – enten over telefon eller på nettsteder. Noen selskaper har funnet ut at de til en viss grad kan erstatte mennesker med maskiner i callsenter-roller.
Imidlertid tyder det tilgjengelige beviset på at det er sektorer – som helsevesen og menneskelige ressurser – der ekstrem forsiktighet må tas med hensyn til bruken av disse frontlinjeverktøyene, og etisk tilsyn kan være nødvendig.
Et nylig, og svært publisert, eksempel er et chatbot kalt Tessa, som ble brukt av National Eating Disorder Association (NEDA) i USA. Organisasjonen hadde i utgangspunktet opprettholdt en hjelpelinje drevet av en kombinasjon av funksjonærer og frivillige. Dette hadde som uttrykkelig mål å hjelpe sårbare mennesker som lider av spiseforstyrrelser.
Men i år, organisasjonen oppløste hjelpetelefonpersonalet, og kunngjorde at det ville erstatte dem med Tessa chatbot. Årsakene til dette er omstridt. Tidligere arbeidere hevder at skiftet fulgte en beslutning fra hjelpelinjepersonell om å bli fagorganisert. De visepresident i NEDA sitert økt antall samtaler og ventetider, samt juridiske forpliktelser rundt bruk av frivillige ansatte.
Uansett, etter en veldig kort periode med operasjon, ble Tessa tatt offline på grunn av rapporter om at chatboten hadde gitt problematiske råd som kunne ha forverret symptomene på folk som søkte hjelp for spiseforstyrrelser.
Det ble også rapportert Dr Ellen Fitzsimmons-Craft og Dr C Barr Taylor, to høyt kvalifiserte forskere som hjalp til med å lage Tessa, hadde bestemt at chatboten aldri var ment som en erstatning for en eksisterende hjelpelinje eller for å gi umiddelbar hjelp til de som opplever intense spiseforstyrrelsessymptomer.
Betydelig oppgradering
Så hva var Tessa designet for? Forskerne, sammen med kolleger, hadde generert en observasjonsstudie fremheve utfordringene de møtte i å designe en regelbasert chatbot for å samhandle med brukere som er bekymret for spiseforstyrrelser. Det er ganske fascinerende lesning, som illustrerer designvalg, operasjoner, fallgruver og endringer.
Den originale versjonen av Tessa var en tradisjonell, regelbasert chatbot, om enn en svært raffinert, som er en som følger en forhåndsdefinert struktur basert på logikk. Den kunne ikke avvike fra de standardiserte forhåndsprogrammerte svarene kalibrert av skaperne.
Konklusjonen deres inkluderte følgende punkt: "Regelbaserte chatboter har potensialet til å nå store populasjoner til lave kostnader ved å gi informasjon og enkle interaksjoner, men er begrenset i å forstå og svare på riktig måte på uventede brukersvar".
Dette kan se ut til å begrense bruksområdene Tessa var egnet for. Så hvordan endte det opp med å erstatte hjelpelinjen som tidligere ble brukt av NEDA? Den nøyaktige hendelseskjeden er under diskusjon blant ulike kontoer, men ifølge NPR endret vertsselskapet til chatboten Tessa fra en regelbasert chatbot med forhåndsprogrammerte svar til en med en «forbedret funksjon for spørsmål og svar».
Den senere versjonen av Tessa var en som brukte generativ AI, omtrent som ChatGPT og lignende produkter. Disse avanserte AI-chatbotene er designet for å simulere menneskelige samtalemønstre med den hensikt å gi mer realistiske og nyttige svar. Generering av disse tilpassede svarene er avhengig av store databaser med informasjon, som AI-modellene er opplært til å "forstå" gjennom en rekke teknologiske prosesser: maskinlæring, dyp læring og naturlig språkbehandling.
Lære leksjoner
Til syvende og sist genererte chatboten det som har blitt beskrevet som potensielt skadelige svar på noen brukeres spørsmål. Påfølgende diskusjoner har flyttet skylden fra en institusjon til en annen. Poenget gjenstår imidlertid at de påfølgende omstendighetene potensielt kunne vært unngått hvis det hadde vært et organ som ga etisk tilsyn, et "menneske i løkken" og en overholdelse av det klare formålet med Tessas originale design.
Det er viktig å ta lærdom av tilfeller som dette på bakgrunn av et hastverk mot integrering av AI i en rekke systemer. Og selv om disse hendelsene fant sted i USA, inneholder de leksjoner for de som ønsker å gjøre det samme i andre land.
Storbritannia ser ut til å ha en noe fragmentert tilnærming til dette problemet. Det rådgivende styret til Senter for dataetikk og innovasjon (CDEI) ble nylig oppløst og setet ved bordet ble tatt opp av den nyopprettede Frontier AI Taskforce. Det er også rapporter om at AI-systemer allerede blir utprøvd i London som verktøy for å hjelpe arbeidere – men ikke som en erstatning for en hjelpelinje.
Begge disse eksemplene synliggjør en potensiell spenning mellom etiske hensyn og forretningsinteresser. Vi må håpe at de to til slutt vil samstemme, og balansere individers velvære med effektiviteten og fordelene som AI kan gi.
Men i noen områder der organisasjoner samhandler med publikum, vil AI-genererte svar og simulert empati kanskje aldri være nok til å erstatte ekte menneskelighet og medfølelse – spesielt innen medisin og mental helse.
Mark Tsagas, foreleser, strafferett, University of East London
Denne artikkelen er publisert fra Den Conversation under en Creative Commons-lisens. Les opprinnelige artikkelen.
