(De)konstrukcija informacijskog pretraživanja primjena alata generativne umjetne inteligencije pri oblikovanju pretraživačkih nizova za bazu podataka MEDLINE/PUBMED

Sažetak

Cilj: Cilj je istraživanja ispitati potencijal i učinkovitost alata generativne umjetne inteligencije (ChatGPT) pri tematskom pretraživanju, odnosno oblikovanju pretraživačkih nizova za bazu podatka MEDLINE/PubMed.

Metodologija: Istraživanje je provedeno sa studentima studija medicine u dvije sesije, između kojih ih se educiralo o pravilima kreiranja promptova i pretraživačkih nizova. Studenti su u obje sesije kreirali promptove za alat ChatGPT namijenjene generiranju pretraživačkog niza za bazu MEDLINE/PubMed. Kvaliteta promptova i generiranih nizova potom je ocjenjivana pomoću posebno osmišljenih evaluacijskih instrumenata (zlatni standardi i provjereni popisi). U analizi je kombiniran kvantitativan (bodovanje kvalitete promptova i nizova) i kvalitativan pristup (uočavanje pogrešaka i obrazaca).

Rezultati: Uočena je pozitivna korelacija između kvalitete promptova (kako ukupne kvalitete tako i korištenja pojedinih specifičnih elemenata) i ukupne kvalitete nizova. Druga sesija pokazala je značajan porast ukupne kvalitete promptova i pretraživačkih nizova, čime se sugerira važnost provedene edukacije. Nadalje, identificirani su pojedini elementi prompta koji pozitivno koreliraju s višom kvalitetom generiranih nizova.

Ograničenja: Korišten je samo jedan alat generativne umjetne inteligencije (ChatGPT-3.5) i promatrana je samo jedna baza podatka (MEDLINE/PubMed).

Praktična primjena: Razvijeni evaluacijski instrumentarij može poslužiti kao početna točka za razvoj sustavne metodologije evaluacije rezultata alata generativne umjetne inteligencije u informacijskom pretraživanju. Uočeni obrasci korisničkog ponašanja mogu biti osnova za osmišljavanje naprednih programa edukacije za samostalno pretraživanje baza podataka.

Društveni značaj: Pokazan je potencijal za uključivanje tema o upotrebi alata generativne umjetne inteligencije i oblikovanja promptova u programe informacijske pismenosti, pri čemu su upravo knjižničari prepoznati kao ključni edukatori.

Originalnost/vrijednost: Prema saznanjima autorica, ovo je prva studija koja kombinira istraživanje potencijala alata generativne umjetne inteligencije pri tematskom pretraživanju i utjecaj edukacije korisnika na njihovu učinkovitost. Razvijeni su posebni evaluacijski instrumenti za sustavnu evaluaciju promptova i generiranih pretraživačkih nizova namijenjenih medicinskom području čime se otvara rasprava o standardizaciji metodologije vrednovanja rezultata generiranih putem alata generativne umjetne inteligencije u akademskoj i stručnoj zajednici u području informacijskih znanosti.