Taalmodel

Een taalmodel is een kunstmatig-intelligente tekstgenerator die een waarschijnlijkheidsverdeling over een volgorde van woorden opmaakt.^[1] Grote taalmodellen kunnen op die manier in de praktijk “zelfstandig” een tekst aanvullen of opstellen.

Werking

Gegeven een reeks woorden van lengte ${\displaystyle m}$ kent een taalmodel een kans ${\displaystyle P(w_{1},...,w_{m})}$ toe aan de hele reeks. Taalmodellen genereren die waarschijnlijkheden door te trainen op tekstverzamelingen in één of meerdere talen. Aangezien talen kunnen worden gebruikt om een oneindige verscheidenheid aan geldige zinnen uit te drukken (de eigenschap van digitale oneindigheid), moet taalmodellering ook niet-nulwaarschijnlijkheden toekennen aan taalkundig geldige reeksen die wellicht nooit in de trainingsdata voorkomen. Er zijn verschillende modelleerbenaderingen ontworpen om dit probleem op te lossen, zoals de toepassing van de Markov-eigenschap, of het gebruik van neurale architecturen zoals recurrente neurale netwerken of het transformer-model.^[2]

Toepassingen

Taalmodellen zijn nuttig voor verschillende problemen in de computationele taalkunde, van initiële toepassingen in spraakherkenning om ervoor te zorgen dat onzinnige (d.w.z. onwaarschijnlijke) woordsequenties niet worden voorspeld, tot breder gebruik in computervertalingen (bv. ontwerpvertalingen vergelijken), natuurlijke taalgeneratie (genereren van tekst zoals die door mensen wordt gesproken), part-of-speech tagging, parsing, optische tekenherkenning, handschriftherkenning, grammatica-inductie, information retrieval, en andere toepassingen.

Open source

Vele modellen zijn wel publiek te gebruiken, maar de code en datasets zijn meestal niet publiek toegankelijk. Een van de uitzonderingen is het BLOOM-taalmodel, dat die basisgegevens deelt met onderzoekers.^[3] Eventueel misbruik hopen de onderzoekers tegen te gaan met Responsible AI Licenses (RAIL).^[4]

Evaluatie en benchmarks

De evaluatie van de kwaliteit van taalmodellen vindt meestal plaats door vergelijking met door mensen gecreëerde voorbeeld-benchmarks, opgemaakt volgens courante taalgerichte taken. Andere, minder gebruikte kwaliteitstests onderzoeken het intrinsieke karakter van een taalmodel, of vergelijken twee dergelijke modellen. Aangezien taalmodellen meestal dynamisch bedoeld zijn en kunnen leren van gegevens die worden ingevoerd, onderzoeken bepaalde methodes de leersnelheid, bijvoorbeeld door het nagaan van de leercurven.

Controverses

Zie ook: Kunstmatige intelligentie (controverses).

Critici uitten meerdere bezwaren of waarschuwingen rond taalmodellen:

• taalmodellen roepen morele vragen op, vanwege mogelijke beïnvloeding van de menselijke autonomie, bijvoorbeeld bij het oplossen van maatschappelijke problemen^[5]
• aangezien de algoritmes meestal niet publiek zijn, hebben we totaal geen zicht waar de informatie die taalmodellen uitbrengen, vandaan komt^[6]
• gebruikers klagen dat het model “ethische” oordelen en normen hanteert, en soms belerend overkomt^[6]
• het energieverbruik om de modellen te trainen en te gebruiken, zou gigantisch en dus milieubelastend zijn^[7]
• het creëren en verspreiden van nepnieuws en desinformatie wordt kinderspel nu sommige taalmodellen gebruiksvriendelijk zijn geworden^[8]
• taalmodellen genereren soms plausibel klinkende maar onjuiste of onzinnige antwoorden. Dit gedrag wordt hallucinatie genoemd
• volgens de Italiaanse privacy-toezichthouder is het onduidelijk welke data precies verzameld wordt (waardoor ChatGPT tijdelijk verboden was in Italië)
• de miljarden tekstfragmenten en afbeeldingen uit het internet die zonder bronvermelding in de resultaten voor de training van de modellen gebruikt worden, zouden op grote schaal de auteursrechten schenden.
• academische tijdschriften krijgen een overvloed aan automatisch gegenereerde papers ingestuurd, waarvan de geloofwaardigheid toeneemt.^[9][10]
• door enkel te focussen op het nabootsen van menselijke intelligentie, heeft automatisering met KI al te vaak een negatieve invloed gehad op de werkgelegenheid, en daarmee dus de ongelijkheid versterkt,^[11][12] in plaats van menselijke capaciteiten uit te breiden en mensen nieuwe taken te laten uitvoeren.^[13]
• de Leidse IT-hoogleraar Reijer Passchier verrichtte onderzoek naar de tekorten in de democratische rechtsstaat ten aanzien van de regulering van automatisering en KI:^[14] “de beschikkingsmacht over deze technologie is vooral in handen van enkele zeer grote commerciëleondernemingen.”^[15]

Eind maart 2023 werd, in een open brief op de website van Future of Life, opgeroepen om alle trainingen van AI's die sterker zijn dan GPT-4 gedurende zes maanden te pauzeren. De brief was ondertekend door prominente AI-onderzoekers en technici, onder wie AI-pionier Yoshua Bengio, Apple-medeoprichter Steve Wozniak en Tesla-CEO Elon Musk. In de brief uitten ze hun bezorgdheid over de risico's van de AI-ontwikkeling, zowel op korte termijn als meer fundamenteel, bijvoorbeeld door technologische singulariteit.^[16] OpenAI-CEO Sam Altman ondertekende de brief niet, omdat volgens hem OpenAI al prioriteit geeft aan veiligheid.^[17]

Onderscheid met menselijke tekst

Naarmate AI-taalmodellen verder worden geperfectioneerd, is het steeds moeilijker machinale teksten van door mensen geschreven kopij te onderscheiden.^[18] Om dat te verifiëren, ontwikkelen wetenschappers intussen toetsen,^[19] waarvan sommige ook publiek toegankelijk zijn, zoals Classifier van OpenAI.^[20]

Externe links

• Open AI Tekstgenerator