Το δεύτερο μεγάλο γλωσσικό μοντέλο του, το Llama-Krikri, λανσάρει σήμερα το Ινστιτούτο Επεξεργασίας του Λόγου του Ερευνητικού Κέντρου «Αθηνά», το μοναδικό στην Ελλάδα που έχει χτίσει μηχανές οι οποίες απαντούν σε ερωτήματα και επιλύουν προβλήματα μιμούμενες ικανότητες του ανθρώπου. Βέβαια το Llama-Krikri, το οποίο διαδέχθηκε το πρώτο γλωσσικό μοντέλο του Ινστιτούτου, το Meltemi, δεν είναι του κυβισμού του DeepSeek ή του ChatGPT, όμως κάνει ό,τι ακριβώς και αυτά. Η συζήτηση με μέλη της ομάδας που το δημιούργησε μοιάζει με βουτιά στον συναρπαστικό κόσμο των τεχνητών νευρωνικών δικτύων, που χειρίζονται με τρόπο θαυμαστό τη φυσική ανθρώπινη γλώσσα.
Ξεκινώντας από το όνομα, γιατί Llama-Krikri; «Είναι ένα παιχνίδι συνειρμών. Προέκυψε από το μοντέλο βάσης που χρησιμοποιήσαμε, το μοντέλο ανοιχτού κώδικα Llama 3.1 της Meta, και το ελληνικό αντίστοιχο του συμπαθούς θηλαστικού στο οποίο το μοντέλο αυτό παραπέμπει, το κρι κρι», εξηγεί χαμογελώντας ο Βασίλης Κατσούρος, διευθυντής του Ινστιτούτου Επεξεργασίας του Λόγου.
Το Llama-Krikri είναι μικρότερο σε υπολογιστικό μέγεθος από το DeepSeek, όμως πόσο μικρότερο; «Αν το νευρωνικό δίκτυο του DeepSeek διαθέτει 671 δισεκατομμύρια παραμέτρους, εκ των οποίων ανάλογα με το περιεχόμενο της ερώτησης του χρήστη κάθε φορά ενεργοποιούνται 37 δισεκατομμύρια παράμετροι, το δικό μας μοντέλο διαθέτει 8 δισεκατομμύρια παραμέτρους», εξηγεί ο κ. Κατσούρος. Για να το πούμε απλοϊκά, αν μετασχηματίζαμε την ελληνική γλώσσα σε αριθμούς, διότι ο υπολογιστής καταλαβαίνει αριθμούς, όχι λέξεις, το Llama-Krikri περιγράφει την ελληνική γλώσσα με 8 δισ. αριθμούς. «Είναι διαφορετικού μεγέθους επένδυση. Τα υψηλού “κυβισμού” γλωσσικά μοντέλα χρειάζονται τεράστιο όγκο δεδομένων, τεράστια υπολογιστική ισχύ και πάρα πολύ χρήμα».
Ψηφιακοί βοηθοί
Μικρότερο, λοιπόν, όμως θαυματουργό. Το Llama-Krikri κάνει ό,τι και το Meltemi, αλλά πολύ καλύτερα. Τι έκανε το Meltemi; Εδωσε τη δυνατότητα στην ελληνική ακαδημαϊκή και ερευνητική κοινότητα και σε επιχειρήσεις να χτίσουν τον δικό τους ψηφιακό βοηθό. «Δεν παρέχει την υπηρεσία των απευθείας ερωτήσεων από το γενικό κοινό, όμως δίνει τη δυνατότητα σε όποιον θέλει και έχει κάποιες γνώσεις προγραμματισμού να το κατεβάσει στον υπολογιστή του, να το προσαρμόσει στις ανάγκες του, να υποβάλλει ερωτήσεις και να παίρνει πολύ γρήγορα απαντήσεις πάνω στα δεδομένα του», εξηγεί ο Σωκράτης Σοφιανόπουλος, ο οποίος μαζί με τους Προκόπη Προκοπίδη, Γιώργο Παρασκευόπουλο, Λέοντα Βουκούτη και Δημήτρη Ρούσση, όλοι συνεργαζόμενοι ερευνητές στο Ινστιτούτο Επεξεργασίας του Λόγου, δημιούργησαν το Llama-Krikri.
«Είναι σαν να βάζεις το γλωσσικό μοντέλο να κοιτάζει τα δεδομένα που έχεις αποθηκεύσει κάπου και να τα χρησιμοποιεί σαν “σκονάκι” για να σου δίνει απαντήσεις». Σε άπταιστα νέα ελληνικά αλλά και αγγλικά. «Το Meltemi είχε πολύ μεγάλη απήχηση – δεκάδες χιλιάδες downloads στο Hugging Face, πλατφόρμα διάθεσης μοντέλων τεχνητής νοημοσύνης. Το κατέβασαν φοιτητές, ακαδημαϊκοί, χρησιμοποιήθηκε σε πολλές εφαρμογές και ερευνητικά έργα, τόνωσε την ερευνητική δραστηριότητα στην Ελλάδα, αλλά και την παραγωγικότητα σε μικρομεσαίες επιχειρήσεις. Προσέφερε μια φθηνή λύση για γρήγορη εκτέλεση έργων», λέει ο κ. Σοφιανόπουλος. Παράλληλα, το Ινστιτούτο έχει βοηθήσει δημόσιους οργανισμούς και επιχειρήσεις να χτίσουν τους δικούς τους ψηφιακούς βοηθούς. «Στο πλαίσιο των Ευρωπαϊκών Κόμβων Ψηφιακής Καινοτομίας ερχόμαστε σε επαφή με επιχειρήσεις οι οποίες μας ζητούν να κάνουμε προσαρμογές του γλωσσικού μοντέλου στις ανάγκες τους», λέει ο κ. Κατσούρος.
Σε τι είναι καλύτερο το νέο μεγάλο γλωσσικό μοντέλο του ινστιτούτου, το Llama-Krikri; «Εχει ισχυρότερη μνήμη, δεν χάνεται στους μεγάλους διαλόγους, το προηγούμενο μοντέλο θυμόταν μέχρι 8.000 λέξεις και μπορούσε να κάνει διάλογο μόνο λίγων λεπτών, το Llama-Krikri θυμάται μέχρι 128.000 λέξεις, ένα ολόκληρο βιβλίο 250 σελίδων και μπορεί να αντεπεξέλθει σε σειρά πολλαπλών ερωτήσεων χωρίς να ξεχνάει όσα είπε στην αρχή. Εχει μεγαλύτερο μήκος κειμένου το οποίο μπορεί να χρησιμοποιήσει για να γεννήσει απαντήσεις. Παράγει καλύτερο κείμενο, γράφει στο πολυτονικό σύστημα, μιλάει αρχαία ελληνικά και μεταφράζει στα νέα ελληνικά – το προηγούμενο μοντέλο δεν είχε εκπαιδευτεί στα αρχαία ελληνικά. Γράφει καλύτερο κώδικα, διότι τα μοντέλα δεν γράφουν μόνο φυσική γλώσσα, γράφουν και υπολογιστική γλώσσα, επιλύει καλύτερα τα μαθηματικά προβλήματα, έχει ισχυρότερη συλλογιστική. Δηλαδή, μπορεί να εκτελεί σύνθετες εργασίες που απαιτούν ενδιάμεσα πολλαπλά βήματα λογικής σκέψης», λένε οι κ. Κατσούρος και Σοφιανόπουλος.
«Είναι ζήτημα ψηφιακής επιβίωσης της γλώσσας. Ξέρουμε ότι γλώσσες που δεν μιλιούνται, χάνονται. Στο εξής θα χάνονται και οι γλώσσες που δεν εκπροσωπούνται ψηφιακά».
Και διατίθεται ανοιχτά. Οπως λέει η Μαρία Γιάγκου, ειδική επιστήμων στο Ινστιτούτο, «το Meltemi και το Llama-Krikri είναι μοντέλα ανοιχτού κώδικα, δηλαδή μπορεί οποιοσδήποτε ερευνητής ή άνθρωπος της βιομηχανίας να δει ελεύθερα πώς λειτουργούν και να τα εξειδικεύσει. Αυτή τη δύναμη τη δίνει ο ανοιχτός κώδικας. Το μοντέλο της Open AI είναι κλειστό, παίρνεις αυτό που σου δίνει, δεν μπορείς να το προσαρμόσεις στις ανάγκες σου». Και το ελληνικό οικοσύστημα των μικρομεσαίων επιχειρήσεων «χρειάζεται μια τεχνολογία στα ελληνικά, που να απαντά στις δικές του ανάγκες, αλλά και στις δικές του οικονομικές δυνατότητες», λέει ο κ. Κατσούρος. Αλλωστε, όπως συμπληρώνει ο κ. Σοφιανόπουλος, μια ελληνική επιχείρηση δεν έχει ανάγκη το ChatGPT για να υποστηρίξει τις υπηρεσίες της. Χρειάζεται ένα μικρό μοντέλο, ίσως κι ένα δεύτερο κι ένα τρίτο, στα οποία να αναθέτει συγκεκριμένα έργα. Και μπορεί να το κάνει εσωτερικά, χωρίς τον κίνδυνο διαρροής των δεδομένων της και χωρίς να χρειάζεται να πληρώνει αδρά την Open AI. Διότι όταν η υπηρεσία διατίθεται με συνδρομή –αλλιώς δεν υπάρχει ασφάλεια– οι ερωτήσεις που θέτει και οι απαντήσεις που παίρνει ο χρήστης κοστολογούνται με βάση τον αριθμό τεμαχίων λέξεων που παράγει. Και σε όσο περισσότερα κομμάτια τεμαχίζεται μια λέξη, τόσο υψηλότερο είναι το κόστος. Η Open AI ή η Anthropic τεμαχίζουν την κάθε ελληνική λέξη σε πολλές υπολέξεις, ακόμη και χαρακτήρα χαρακτήρα, που σημαίνει ότι γεννούν ελληνικό κείμενο συνθέτοντας τα κομμάτια αυτά. Εμείς τεμαχίζουμε τις ελληνικές λέξεις σε όσο το δυνατόν μεγαλύτερα κομμάτια, επομένως το υπολογιστικό κόστος είναι πολύ χαμηλότερο. Κατά μέσον όρο χωρίζουμε μια ελληνική λέξη σε 1,6 τεμάχιο, όταν άλλα μοντέλα τη χωρίζουν σε 2,5, σε 6 ή 7».
Πολιτισμική «διατροφή»
Αλλά δεν είναι μόνον αυτοί οι λόγοι που χρειαζόμαστε ελληνικά γλωσσικά μοντέλα. «Η γλώσσα μας είναι ο φορέας της κουλτούρας μας, του τρόπου με τον οποίο σκεφτόμαστε και μιλάμε ελληνικά. Χρειάζεσαι μια υπηρεσία στην οποία αν υποβάλεις μια ερώτηση πολιτιστικά προσδιορισμένη, π.χ. πρότεινέ μου ένα υγιεινό πρωινό, να μη λάβεις την απάντηση “φασόλια με μπέικον”, γιατί αυτό δεν είναι ένα ελληνικό αλλά ένα βρετανικό πρωινό. Είναι σημαντικό να εκπαιδεύουμε τα μεγάλα γλωσσικά μοντέλα, όπως και όλες τις γλωσσικές τεχνολογίες, σε κείμενα γεννημένα ελληνικά και όχι μεταφρασμένα από ξένες πηγές», λέει η κ. Γιάγκου και συνεχίζει. «Επειτα είναι ζήτημα ψηφιακής επιβίωσης της γλώσσας. Ξέρουμε ότι γλώσσες που δεν μιλιούνται, χάνονται. Στο εξής θα χάνονται και οι γλώσσες που δεν εκπροσωπούνται ψηφιακά. Για να επιβιώσει μια γλώσσα σήμερα πρέπει να διαθέτει ψηφιακό αποτύπωμα, που σημαίνει να υποστηρίζεται από γλωσσικές τεχνολογίες. Τέτοιες είναι τα μεγάλα γλωσσικά μοντέλα. Και επειδή είμαστε πολύ μικρή αγορά, δεν έχουμε εμπορικό ενδιαφέρον για τις μεγάλες εταιρείες. Αν δεν επενδύσουμε εμείς σε ελληνικές γλωσσικές τεχνολογίες, δεν θα το κάνει κανείς».
Μπορεί η Ευρώπη να φτιάξει το δικό της DeepSeek;
Θα μπορούσε η Ευρώπη να βγάλει ένα DeepSeek; «Θα μπορούσε», απαντάει ο κ. Κατσούρος. «Η DeepSeek χρησιμοποίησε κάποια υπολογιστικά τρικ που είναι γνωστά στην ερευνητική κοινότητα, αντίστοιχες τεχνικές έχει υιοθετήσει η γαλλική Mistral AI, μια από τις ισχυρότερες ευρωπαϊκές εταιρείες στην ανάπτυξη γλωσσικών μοντέλων. Νομίζω ότι χρειάζονται περισσότερος πειραματισμός, συνεχιζόμενη κατάρτιση, πρόσβαση σε πόρους, πολλή δουλειά και συνεχής αναπροσαρμογή στην τελευταία λέξη της τεχνολογίας. Με τα μοντέλα ανοιχτού κώδικα η προσπάθεια μοιράζεται, ο Γάλλος παίρνει τη σκυτάλη από τον Κινέζο, ο Ελληνας από τον Γάλλο κ.ο.κ., άρα μπορεί να προκύψει ένα ευρωπαϊκό μεγάλο γλωσσικό μοντέλο που θα ταράξει τα νερά. Ωστόσο η Ευρώπη οφείλει να είναι συνεχώς στο παιχνίδι και να επινοήσει ένα πιο ισορροπημένο ρυθμιστικό πλαίσιο σε σχέση με τα πνευματικά δικαιώματα των δεδομένων, ίσως τη δυνατότητα ελεύθερης χρήσης σε ποσοστό 10% ή 20%, όπως όταν χρησιμοποιούνται για εκπαιδευτικούς σκοπούς. Το είπε και ο Μακρόν, στην Ευρώπη έχουμε πολύ regulate και λίγο innovate».
«Αυτή τη στιγμή έχει συναφθεί στην Ευρώπη μια συμμαχία για τις γλωσσικές τεχνολογίες, στην οποία συμμετέχουν μέχρι στιγμής 17 ευρωπαϊκές χώρες, με στόχο τη συλλογή γλωσσικών δεδομένων και την ανάπτυξη νέων μεγάλων γλωσσικών μοντέλων. Ακόμη έχουν χρηματοδοτηθεί δύο μεγάλα ευρωπαϊκά έργα για τη δημιουργία ενός μεγάλου πολυγλωσσικού μοντέλου που θα υποστηρίζει ισότιμα όλες τις επίσημες ευρωπαϊκές γλώσσες, καθώς η πολιτική της Ευρώπης είναι πολυγλωσσική», σημειώνει η κ. Γιάγκου.
Λιγότερο αισιόδοξος, ο κ. Σοφιανόπουλος υπενθυμίζει ότι στην Ευρώπη δεν έχουν αναπτυχθεί εξ ολοκλήρου νέες αρχιτεκτονικές μεγάλων γλωσσικών μοντέλων, τουλάχιστον σε κλίμακα που να ανταγωνίζεται τις πρωτοβουλίες των ΗΠΑ και της Κίνας. Ενα μέρος του προβλήματος θα προσπαθήσει να λύσει ο Φάρος, το υπό κατασκευήν ελληνικό εργοστάσιο τεχνητής νοημοσύνης, με τη σύμπραξη πολλών ελληνικών ερευνητικών και ακαδημαϊκών οργανισμών, με βασικούς εταίρους το ΕΔΥΤΕ, τον Δημόκριτο, το ΕΜΠ, το Ερευνητικό Κέντρο Αθηνά, το Υπερταμείο. Ο Φάρος θα λειτουργεί με υπολογιστικούς πόρους από τον υπερυπολογιστή Δαίδαλο. «Οσο περισσότεροι ασχοληθούν, τόσο γρηγορότερα θα έχουμε καινοτόμα αποτελέσματα», καταλήγει ο κ. Κατσούρος.
