Sentiment Analysis αναφορών: πώς πετυχαίνουμε 90% ακρίβεια

Επενδύοντας, με επιμονή, συνέπεια και μεθοδικότητα, στην τεχνητή νοημοσύνη και τη μηχανική μάθηση, η PaloServices μπορεί να πετύχει μέχρι και 90% ακρίβεια στην ανάλυση συναισθημάτων αναφορών (sentiment analysis) για τους πελάτες της. Η εταιρεία, διαθέτοντας εξειδικευμένους και έμπειρους Data Scientists και Data Analysts, αναπτύσσει και συντηρεί στην ελληνική γλώσσα ξεχωριστά μοντέλα πρόβλεψης συναισθήματος ανά πελάτη, θεωρώντας το Sentiment Analysis ως «ναυαρχίδα» υπηρεσία του web και social monitoring.

Τα 4 βήματα για την επιτυχή πρόβλεψη του συναισθήματος

Βήμα 1ο . Ανάκτηση των δεδομένων

Επεξεργαζόμενοι εκατομμύρια αναφορών από Web και Social Media, συγκεντρώνουμε τα δεδομένα που απαιτούνται, σύμφωνα με τις ανάγκες του εκάστοτε πελάτη

Βήμα 2ο . Δημιουργία data set πελάτη – εκπαίδευση μοντέλων

Η ομάδα των αναλυτών μας διαβάζει, χαρακτηρίζει και ταξινομεί σε  αρνητικές, θετικές ή ουδέτερες κάποιες αναφορές για κάθε πελάτη κάνει δηλαδή την αρχική εκπαίδευση των μοντέλων. Η διαδικασία επαναλαμβάνεται σε μηνιαία ή/και καθημερινή βάση, ανάλογα με τις ανάγκες και τις ιδιαιτερότητες του κάθε έργου. Σε κάθε περίπτωση, το εκάστοτε στατιστικό δείγμα των αναφορών που χαρακτηρίζονται χειροκίνητα από τους αναλυτές μας  δεν ξεπερνά το 20% του συνόλου των αναφορών.

Βήμα 3ο . Δημιουργία και δοκιμές πολλαπλών μοντέλων

Οι Data Scientists της εταιρείας δημιουργούν και δοκιμάζουν πολλαπλά  μοντέλα πρόβλεψης συναισθήματος. Ενδεικτικά, οι δοκιμές που κάνουμε αφορούν  :

Deep learning vs Machine learning ;

Στην εποχή του deep learning, η επιλογή να δοκιμάζουμε αλγορίθμους κλασικού machine learning, ίσως δημιουργεί απορίες. Ωστόσο, η επιτυχία του deep learning έχει ως προαπαιτούμενο τον μεγάλο όγκο δεδομένων. Επομένως, έως ότου έχουμε συλλέξει μεγάλους όγκους αναφορών για τον εκάστοτε πελάτη, τα μοντέλα κλασικού machine learning συχνά κερδίζουν τη μάχη.

Βήμα 4ο . Συνδυασμός των μοντέλων

Από αυτά τα περίπου 7.690 μοντέλα, δεν επιλέγουμε απλώς το καλύτερο: Τα συνδυάζουμε μεταξύ τους, δημιουργώντας Ensemble Model για την καλύτερη απόδοση ανά κανάλι  δημοσίευσης (Twitter, Facebook, Instagram, YouTube, News, Blogs, Forums)

Γιατί συνδυάζουμε μοντέλα πρόβλεψης συναισθήματος;

Ο συνδυασμός μοντέλων δεν είναι πανάκεια. Ωστόσο:

• Μας επιτρέπει να διαμορφώνουμε το είδος των λαθών που θα κάνει το μοντέλο. Για παράδειγμα, δεδομένου ότι παρέχουμε υπηρεσία negative alerting, είναι σημαντικό να μη «χάνουμε» αρνητικές δημοσιεύσεις. Ακόμη και αν δεν εγγυάται πάντοτε μεγαλύτερα ποσοστά συνολικής ακρίβειας, ο συνδυασμός μοντέλων μάς είναι χρήσιμος, προκειμένου να συλλέγουμε τα περισσότερα δυνατά αρνητικά mentions (αξιοποιώντας αθροιστικά τις ορθώς προβλεφθείσες αρνητικές αναφορές από πολλαπλά μοντέλα) και αυτά να αποστέλλονται με τη μορφή alert, σε πραγματικό χρόνο.  
• Μας βοηθά να εντοπίζουμε αποτελεσματικά τις «προβληματικές» αναφορές, που «εγείρουν»  σημαντική διαφωνία μεταξύ διαφορετικών μοντέλων πρόβλεψης συναισθήματος και τις οποίες προωθούμε στους αναλυτές μας προς μελέτη και χαρακτηρισμό.
• Μειώνει την εξάρτηση της επιτυχίας των επιμέρους μοντέλων από τον όγκο των «train data»: καθώς οι αναλυτές μας χαρακτηρίζουν ποσοστό των αναφορών για κάθε πελάτη, σε μηνιαία βάση, το κάθε έργο περνά σταδιακά από τα λίγα διατιθέμενα δεδομένα εκπαίδευσης στα πολλά. Τα επιμέρους μοντέλα πρόβλεψης συναισθήματος συμπεριφέρονται διαφορετικά ανάλογα με τον όγκο δεδομένων εκπαιδευσης. Ο συνδυασμός μοντέλων βοηθά να ξεπεραστεί το πρόβλημα αυτό και, φυσικά, όσο περισσότερα δεδομένα εκπαίδευσης συγκεντρώνονται, τόσο η απόδοση βελτιώνεται.

info: Συνεργάτες στην ανάπτυξη της τεχνολογίας μας για το Sentiment Analysis είναι το Ερευνητικό Εργαστήριο του Τμήματος Πολιτισμικής Τεχνολογίας και Επικοινωνίας στο Πανεπιστήμιο Αιγαίου και το Εργαστήριο Γνώσης και Αβεβαιότητας, του Πανεπιστημίου της Πελοποννήσου  στο πλαίσιο της Ενιαίας Δράσης ΕΣΠΑ 2014-2010 «Ερευνώ – Δημιουργώ – Καινοτομώ».