Μετά την επιτυχημένη εμφάνιση των τεχνητών νευρωνικών δικτύων, με το AlexNet, το 2012, η (Deep Learning) δοκιμάστηκε με επιτυχία και σε άλλους τομείς.
Το 2013, o Thomas Mikolov, ερευνητής στην Google, προσπάθησε να χρησιμοποιήσει νευρωνικά δίκτυα για επεξεργασία κειμένου και έφτιαξε το Word2Vec. Συγκεκριμένα, προσπάθησε να απεικονίσει τις λέξεις ως διανύσματα σε ένα μαθηματικό πολυδιάστατο χώρο, όπου λέξεις με συγγενική σημασία είναι τοποθετημένες κοντά μεταξύ τους -αυτό χρησιμοποιείται συχνά, ως ενδιάμεσο βήμα, για πολλούς σκοπούς: όχι μόνο το νευρωνικό δίκτυο που έφτιαξε ήταν πιο αποδοτικό από την αντίστοιχη αναλυτική μέθοδο (Latent Semantic Analysis – LSA), αλλά ο μαθηματικός χώρος στον οποίο βρέθηκαν οι λέξεις είχε απροσδόκητα επιπλέον ιδιότητες που χρειάστηκαν πολλές δημοσιεύσεις για να εξηγηθούν.
Σε αντίθεση με τον κόσμο της εικόνας με τα Convolutional Neural Networks (CNN), στον κόσμο του κειμένου κυριαρχούν τα Recursive Neural Networks (RNN) -και συγκεκριμένα μια παραλλαγή τους, τα Long Short Term Memory ή LSΤM. Στο τέλος του 2017, η Google, με ακόμη μία δημοσίευση («Attention is all you need»), ανέτρεψε τα πάντα στον χώρο, ουσιαστικά χρησιμοποιώντας νευρωνικά του 1970 και προσθέτοντας μόνο έναν μηχανισμό που ονομάζεται attention.
Φυσικά, υπάρχουν και συνδυασμοί CNN, RNN και attention. Με τον συνδυασμό τους μπορεί, για παράδειγμα, κανείς να παράγει τίτλους για εικόνες ή συνηθέστερα να βοηθά τον άνθρωπο στη σύνταξη του τίτλου που θα μεγιστοποιήσει τα «clicks» σε ένα άρθρο.
Εφαρμογές του Deep Learning
Οι εφαρμογές των νευρωνικών, ή Deep Learning με τον πιο δόκιμο όρο, είναι απεριόριστες: όλες οι μηχανές αναζήτησης πια τα χρησιμοποιούν, η αυτόματη μετάφραση είναι ένας άλλος τομέας όπου τα νευρωνικά κυριαρχούν, αλλά και συστήματα για αυτόματη παραγωγή τίτλων, περιλήψεων ή ακόμα και ολόκληρου κειμένου έχουν εμφανιστεί. Ακόμη πιο «περίεργες» και προχωρημένες για την προ 2012 εποχή είναι διάφορες εφαρμογές, όπως η αναγνώριση του φαγητού που μαγειρεύουμε από τον ήχο, ώστε να μας προταθεί βελτίωση στη συνταγή, ή αυτοκίνητα χωρίς οδηγό που ήδη κυκλοφορούν δοκιμαστικά σε κάποιες πόλεις στην Αμερική -αλλά και στη χώρα μας, στα Τρίκαλα, έγινε με επιτυχία δοκιμή λεωφορείου χωρίς οδηγό, από τον Μάρτιο 2014 έως τον Ιούνιο 2016.
Πράγματα που κάποτε έμοιαζαν ακόμη και επιστημονικά αδύνατα παρουσιάζονται καθημερινά, όπως ότι, ενάντια στο θεώρημα πληροφορίας του Shannon, μπορείς πλέον να παράγεις μια τέλεια μεγάλη εικόνα, από μόλις μια μικρή φωτογραφία -δηλαδή, προσθέτοντας πληροφορία. Σήμερα, δεν θα ήταν υπερβολή να πούμε ότι δεν υπάρχει επιτυχημένο σύστημα για εικόνα, κείμενο, ήχο ή video που να μην χρησιμοποιεί Deep Learning.
Ο ανθρώπινος παράγοντας
Όπως και στη βιομηχανική επανάσταση, όταν οι μηχανές γίνονται πολύ καλές σε κάτι που έκαναν οι άνθρωποι μέχρι τότε, κάποιοι άνθρωποι αισθάνονται ανασφάλεια για τον τρόπο που θα χρησιμοποιηθούν, κάποιοι άλλοι είναι αισιόδοξοι -σίγουρα, πολλά αλλάζουν και στην εργασία και στην κοινωνία.
Φόβους για την εξέλιξη της πληροφορικής, την οποία εδώ, φυσικά, θα πούμε τεχνητή νοημοσύνη, έχουν εκφράσει και διακεκριμένοι επιστήμονες, όπως ο διάσημος Βρετανός θεωρητικός φυσικός Στίβεν Χόκινγκ, ο οποίος έφυγε σήμερα από τη ζωή -ας θυμηθούμε ότι, λόγω της ασθένειάς του, που δεν του επέτρεπε να γράψει ή να εκφέρει λόγο, επικοινωνούσε μαζί μας μέσω ενός από τα πρώτα συστήματα τεχνητής νοημοσύνης.
Με ποιον τρόπο θα χρησιμοποιηθεί η τεχνητή νοημοσύνη παγκόσμια και τι επιπτώσεις θα έχει στην κοινωνία, κανείς δεν ξέρει πραγματικά, διότι κανείς δεν μπορεί να προβλέψει το μέλλον.
Εάν, όμως, μειώσουμε τον ορίζοντα που κοιτάμε, σε αυτά που πραγματικά μπορούμε να δούμε και να προβλέψουμε, σίγουρα η τεχνητή νοημοσύνη παρέχει όλο και περισσότερα εργαλεία για να φτιάχνονται καλύτερες πλατφόρμες, όπως η δική μας, το νέο PaloPro.
Η πλατφόρμα PaloPro και η συμμετοχή μας στο OpenNMT Paris Workshop
Το PaloPro ήδη χρησιμοποιεί τεχνικές βαθιάς μάθησης, για να αναγνωρίζει εάν ένα άρθρο είναι θετικό, αρνητικό ή ουδέτερο ως προς ένα brand ή ένα πρόσωπο ενδιαφέροντος (sentiment). Μάλιστα, πρόσφατα βρεθήκαμε στο Παρίσι, στο OpenNMT (Neural Machine Translation), με στόχο την προσθήκη μεταφράσεων στην πλατφόρμα.
Το OpenNMT Paris Workshop, το οποίο διοργανώθηκε για πρώτη φορά από το HarvardNLP και τη Systran στο Παρίσι, αφορά εκείνο το εργαλείο ανοικτού κώδικα που χρησιμοποιεί βαθιά μάθηση και το οποίο έχει μεγάλη κοινότητα υποστήριξης -ουσιαστικά, είναι το πιο διαδεδομένο σχετικό εργαλείο αυτή την στιγμή.
Από την έναρξή του τον Δεκέμβριο του 2016, το OpenNMT, το οποίο έχει σχεδιαστεί για να είναι απλό στη χρήση διατηρώντας την αποτελεσματικότητα και την ακρίβεια της υψηλής τεχνολογίας, στοχεύει τόσο στον ακαδημαϊκό χώρο όσο και στην αγορά των εφαρμογών. Ήδη, έχει καταφέρει να κερδίσει την αγορά, λόγω της ευκολίας που προσφέρει στους developers και στο έργο τους.
Την πρώτη ημέρα του workshop, στο French Tech Central – Station F, παρευρέθησαν τόσο στελέχη όσο και επιχειρηματίες από όλη την Ευρώπη και συζήτησαν θέματα που αφορούν την έρευνα, την καινοτομία, το engineering αλλά και την αξιολόγηση του OpenNMT. Αρχικά, έγινε μία παρουσίαση του λογισμικού αυτού, ένα πρώτο «overview» σχετικά με της δυνατότητες του και την εξέλιξη αυτού. Στη συνέχεια, έγινε ένα «industry focus», μια πιο συγκεκριμένη παρουσίαση της χρήσης της πλατφόρμας από μεγάλες εταιρείες, όπως η booking.com, η Amazon και η ebay. Επιπλέον, έγινε παρουσίαση της επισταμένης έρευνας που έχει διεξαγάγει το Facebook σχετικά με τις αυτόματες μεταφράσεις. Τέλος, συζητήθηκε η δυνατότητα μετατροπής της φωτογραφίας σε κείμενο.
Τη δεύτερη ημέρα, δύο στελέχη της Palo συμμετείχαν στο OpenNMT Hackathon 2018, στο Télécom ParisTech, μαζί με developers από συνολικά 26 χώρες, από όλη την Ευρώπη και την Κίνα. Η ομάδα της Palo χρησιμοποίησε το συγκεκριμένο λογισμικό, έφτασε στον τελικό, περνώντας με επιτυχία όλα τα ενδιάμεσα επίπεδα δοκιμών, και δοκίμασε την αυτόματη μετάφραση 1 εκατομμυρίου λέξεων από τα ρωσικά στα αγγλικά, σε λιγότερο από 1 ώρα.
