Wywodzimy się z badań nad modelami językowymi. Publikujemy w recenzowanych czasopismach, a metody z publikacji przenosimy do projektów: ewaluację, metryki i pracę na danych.
1000+cytowań naszej pracy o ChatGPT według Google Scholar
25zadań NLP, na których porównaliśmy ChatGPT z najlepszymi modelami
PUBLIKACJE
Nasze artykuły naukowe
ARTYKUŁ · 2023
Information Fusion, t. 99, 2023
ChatGPT: Jack of all trades, master of none
J. Kocoń, I. Cichecki, O. Kaszyca, M. Kochanek i in.
Ewaluacja ChatGPT na 25 analitycznych zadaniach NLP przy użyciu ponad 48 tys. promptów; część zadań sprawdzono też na GPT-4. Model wypadł średnio o ok. 25% gorzej od najlepszych rozwiązań i najwięcej tracił w zadaniach dotyczących emocji, co pokazuje, gdzie ogólny model przegrywa z rozwiązaniami wyspecjalizowanymi. Praca ma ponad 1000 cytowań według Google Scholar.