Testing chatGPT checkers

November 10, 2023 from 15:30 to 15:55

Speaker: Arend Top & Rix Groenboom

De opkomst van AI-technologie voor het genereren van teksten heeft in het afgelopen jaar een enorme vlucht genomen. De invloed van deze ontwikkeling begint op vele vlakken van de maatschappij steeds duidelijker te worden.

Ook voor het onderwijs leidt dit tot vragen in hoeverre deze tools toe te laten zijn of zelfs compleet te omarmen. Om een beter inzicht te krijgen in de (on)mogelijkheden van de inzet van AI binnen het onderwijs, heeft de Hanzehogeschool in Groningen een aantal onderzoeken uitgevoerd. We zullen in deze presentatie nader ingaan op een specifieke: Detectie van door AI gegenereerde teksten.

Een belangrijke competenties voor alle opleidingen is goed kunnen communiceren en verwoorden over het vakgebied. Hiertoe is het maken van verslagen een verplicht en veel terugkomend onderdeel in het curriculum. Er zijn hiervoor richtlijnen om professioneel of zelfs wetenschappelijk te (leren) schrijven. Na volgen van deze richtlijnen wordt getoetst aan de hand van de kwaliteit van ingeleverde verslagen.

Sinds de introductie van chatGPT kwamen er vanuit de docenten vermoedens van fraude met door met AI gegenereerde verslagen. De examencommissie, die zich over deze gevallen moet uitspreken, wilde weten welke hulpmiddelen om zo objectief mogelijk te oordelen. Daartoe is een experimenteel onderzoek uitgevoerd naar 6 beschikbare checkers op hun nauwkeurigheid en effectiviteit.

We presenteren de onderzoeksmethode en de resultaten op basis van verschillende verslagen. En voor de best presterende oplossing gaan we nader in op de bruikbaarheid binnen het onderwijs uitgezocht (denk hierbij aan de economische en juridische aspecten).

Arend Top is laatste jaars student Software Engineering aan de Hanzehogeschool Groningen. Hij heeft een voorliefde voor AI en techniek. Recent heeft hij zijn minor “AI i& Beroep” afgesloten met een 8,5. Momenteel is Arend als student-assistent actief betrokken bij AI onderzoek bij het lectoraat Digitale Transfomatie.

Rix Groenboom is lector New Business & ICT binnen het lectoraat Digitale Transformatie aan de Hanzehogeschool Groningen. Het onderzoek richt zich op innovatie en software-ontwikkeling rond Artificial Intelligence, Connectivity (5G), Cyber Security, en Smart Industry. Toepassingen liggen op het gebied van Energie, Industrie, Landbouw, Mobiliteit, en Zorg. Rix heeft 25 jaar ervaring in de software quality en testing in zowel commerciële een academische omgevingen.