Token
Bir modelin metni işlerken kullandığı en küçük parça; bir kelime, kelime parçası ya da noktalama işareti olabilir.
Modeller metni harf harf ya da kelime kelime okumaz; önce onu token adı verilen parçalara böler. Sık kullanılan kısa kelimeler genelde tek token olurken, uzun ya da nadir kelimeler birkaç parçaya ayrılır.
Token sayısı önemlidir çünkü modelin bir seferde işleyebileceği metin miktarı (bağlam penceresi) ve birçok yapay zeka servisinin fiyatlandırması token üzerinden hesaplanır. Türkçe gibi eklemeli dillerde aynı anlamı taşıyan bir metin, İngilizceye kıyasla genellikle daha fazla token tutar.
Örnek
"Yapay zeka" ifadesi bir modelde iki ya da üç token olarak sayılabilir; tam sayı kullanılan modele göre değişir.