Επεξήγηση:
Το Attention επιτρέπει στα μοντέλα να “προσέχουν” περισσότερο συγκεκριμένα μέρη ενός κειμένου όταν κάνουν προβλέψεις. Είναι θεμελιώδης αρχή πίσω από τους Transformers, επιτρέποντας στα LLMs να κατανοούν context και να χειρίζονται μεγάλα κείμενα.