Θυμάμαι στο μεταπτυχιακό σχολείο ένας καθηγητής πρότεινε ότι η επανάσταση των ορθολογικών προσδοκιών θα οδηγούσε τελικά σε πολύ καλύτερα μοντέλα μακροοικονομίας. Ήμουν δύσπιστος και κατά τη γνώμη μου δεν συνέβη.
Αυτό δεν συμβαίνει επειδή υπάρχει κάτι λάθος με την προσέγγιση των ορθολογικών προσδοκιών στη μακροοικονομία, την οποία υποστηρίζω σθεναρά. Πιστεύω μάλλον ότι η πρόοδος που προέκυψε από αυτή τη θεωρητική καινοτομία συνέβη πολύ γρήγορα. Για παράδειγμα, μέχρι τη στιγμή της συζήτησής μου (περίπου το 1979), άνθρωποι όπως ο John Taylor και ο Stanley Fisher είχαν ήδη ενσταλάξει λογικές προσδοκίες σε άκαμπτα μοντέλα μισθών και τιμών, τα οποία συνέβαλαν στη Νέα Κεϋνσιανή επανάσταση. Έκτοτε, η μακροεντολή φαίνεται να έχει κολλήσει σε ένα τέλμα (εκτός από κάποιες μεταγενέστερες καινοτομίες από Σχολείο Πρίνστον (σχετίζεται με το πρόβλημα μηδενικού κάτω ορίου.)
Κατά τη γνώμη μου, οι πιο χρήσιμες εφαρμογές μιας νέας εννοιολογικής προσέγγισης τείνουν να έρχονται γρήγορα σε άκρως ανταγωνιστικούς τομείς όπως η οικονομία, η επιστήμη και οι τέχνες.
Τα τελευταία χρόνια, είχα μερικές ενδιαφέρουσες συνομιλίες με νέους που εργάζονται στον τομέα της τεχνητής νοημοσύνης. Αυτοί οι άνθρωποι γνωρίζουν πολύ περισσότερα για την τεχνητή νοημοσύνη από εμένα, γι’ αυτό θα συμβούλευα τους αναγνώστες να πάρουν τα παρακάτω με λίγο αλάτι. Κατά τη διάρκεια των συζητήσεων, μερικές φορές εξέφρασα σκεπτικισμό σχετικά με το μελλοντικό ρυθμό βελτίωσης μεγάλων γλωσσικών μοντέλων όπως το ChatGPT. Το επιχείρημά μου ήταν ότι η παροχή πρόσθετων συνόλων δεδομένων σε LLMs έχει ως αποτέλεσμα ορισμένες αρκετά σοβαρές φθίνουσες αποδόσεις.
Σκεφτείτε ένα άτομο που έχει διαβάσει και κατανοήσει 10 προσεκτικά επιλεγμένα βιβλία οικονομικών, ίσως ένα κείμενο για μακροοικονομικές και μικροαρχές, και μερικά μεσαία και προχωρημένα σχολικά βιβλία. Εάν κατανοούσατε πλήρως αυτό το υλικό, θα ξέρατε πραγματικά πολλά για τα οικονομικά. Τώρα προκαλέστε τους να διαβάσουν 100 ακόμη καλά επιλεγμένα σχολικά βιβλία. Πόσα περισσότερα οικονομικά θα μπορούσαν να γνωρίζουν; Όχι βέβαια 10 φορές παραπάνω. Στην πραγματικότητα, αμφιβάλλω ότι θα ήξεραν διπλάσια οικονομικά. Υποψιάζομαι ότι το ίδιο μπορεί να ειπωθεί και για άλλους τομείς όπως η βιοχημεία ή η λογιστική.
Αυτό Bloomberg άρθρο τράβηξε το μάτι μου:
Το OpenAI ήταν στα πρόθυρα ενός σημαντικού ορόσημου. Τον Σεπτέμβριο, η startup ολοκλήρωσε την αρχική φάση εκπαίδευσης ενός νέου μοντέλου τεχνητής νοημοσύνης μεγάλης κλίμακας που ήλπιζε ότι θα ξεπερνούσε σημαντικά τις προηγούμενες εκδόσεις της τεχνολογίας πίσω από το ChatGPT και θα πλησίαζε πιο κοντά στον στόχο της να δημιουργήσει ισχυρή τεχνητή νοημοσύνη που θα ξεπερνά τους ανθρώπους. Όμως το μοντέλο, γνωστό εσωτερικά ως Orion, δεν πέτυχε τα επιθυμητά αποτελέσματα της εταιρείας. Πράγματι, το Orion απέτυχε όταν προσπάθησε να απαντήσει σε ερωτήσεις προγραμματισμού για τις οποίες δεν είχε εκπαιδευτεί. Και το OpenAI δεν είναι το μόνο που αντιμετωπίζει εμπόδια πρόσφατα. Μετά από χρόνια προώθησης ολοένα και πιο εξελιγμένων προϊόντων τεχνητής νοημοσύνης, οι τρεις κορυφαίες εταιρείες τεχνητής νοημοσύνης βλέπουν τώρα μειωμένες αποδόσεις στις εξαιρετικά δαπανηρές προσπάθειές τους να δημιουργήσουν νέα μοντέλα.
Παρακαλώ μην το εκλάβετε ότι σημαίνει ότι είμαι σκεπτικιστής της τεχνητής νοημοσύνης. Πιστεύω ότι οι πρόσφατες εξελίξεις στον τομέα του LLM είναι εξαιρετικά εντυπωσιακές και ότι η τεχνητή νοημοσύνη θα αλλάξει τελικά ριζικά τα οικονομικά. Αντίθετα, η άποψή μου είναι ότι η πρόοδος προς κάποιο είδος υπεργενικής νοημοσύνης μπορεί να είναι πιο αργή από ό,τι αναμένουν ορισμένοι από τους υποστηρικτές της.
Γιατί μπορεί να κάνω λάθος; Μου είπαν ότι η τεχνητή νοημοσύνη θα μπορούσε να ενισχυθεί με άλλους τρόπους αντί να εκθέτει απλά μοντέλα σε όλο και μεγαλύτερα σύνολα δεδομένων και ότι το λεγόμενο “τοίχος δεδομένων«μπορεί να ξεπεραστεί με άλλες μεθόδους αύξησης της νοημοσύνης. Αλλά αν το Bloomberg έχει δίκιο, η ανάπτυξη του LLM βρίσκεται σε κάποια νηνεμία λόγω της μείωσης των αποδόσεων από περισσότερα δεδομένα.
Αυτά είναι καλά ή κακά νέα; Εξαρτάται από το πόση σημασία δίνετε στους κινδύνους που σχετίζονται με την ανάπτυξη της ASI (τεχνητής υπερνοημοσύνης).
Εκσυγχρονίζω: Τάιλερ Κάουαν έχει κάποιες παρόμοιες απόψεις για αυτό το θέμα.
Θυμάμαι στο μεταπτυχιακό σχολείο ένας καθηγητής πρότεινε ότι η επανάσταση των ορθολογικών προσδοκιών θα οδηγούσε τελικά σε πολύ καλύτερα μοντέλα μακροοικονομίας. Ήμουν δύσπιστος και κατά τη γνώμη μου δεν συνέβη.
Αυτό δεν συμβαίνει επειδή υπάρχει κάτι λάθος με την προσέγγιση των ορθολογικών προσδοκιών στη μακροοικονομία, την οποία υποστηρίζω σθεναρά. Πιστεύω μάλλον ότι η πρόοδος που προέκυψε από αυτή τη θεωρητική καινοτομία συνέβη πολύ γρήγορα. Για παράδειγμα, μέχρι τη στιγμή της συζήτησής μου (περίπου το 1979), άνθρωποι όπως ο John Taylor και ο Stanley Fisher είχαν ήδη ενσταλάξει λογικές προσδοκίες σε άκαμπτα μοντέλα μισθών και τιμών, τα οποία συνέβαλαν στη Νέα Κεϋνσιανή επανάσταση. Έκτοτε, η μακροεντολή φαίνεται να έχει κολλήσει σε ένα τέλμα (εκτός από κάποιες μεταγενέστερες καινοτομίες από Σχολείο Πρίνστον (σχετίζεται με το πρόβλημα μηδενικού κάτω ορίου.)
Κατά τη γνώμη μου, οι πιο χρήσιμες εφαρμογές μιας νέας εννοιολογικής προσέγγισης τείνουν να έρχονται γρήγορα σε άκρως ανταγωνιστικούς τομείς όπως η οικονομία, η επιστήμη και οι τέχνες.
Τα τελευταία χρόνια, είχα μερικές ενδιαφέρουσες συνομιλίες με νέους που εργάζονται στον τομέα της τεχνητής νοημοσύνης. Αυτοί οι άνθρωποι γνωρίζουν πολύ περισσότερα για την τεχνητή νοημοσύνη από εμένα, γι’ αυτό θα συμβούλευα τους αναγνώστες να πάρουν τα παρακάτω με λίγο αλάτι. Κατά τη διάρκεια των συζητήσεων, μερικές φορές εξέφρασα σκεπτικισμό σχετικά με το μελλοντικό ρυθμό βελτίωσης μεγάλων γλωσσικών μοντέλων όπως το ChatGPT. Το επιχείρημά μου ήταν ότι η παροχή πρόσθετων συνόλων δεδομένων σε LLMs έχει ως αποτέλεσμα ορισμένες αρκετά σοβαρές φθίνουσες αποδόσεις.
Σκεφτείτε ένα άτομο που έχει διαβάσει και κατανοήσει 10 προσεκτικά επιλεγμένα βιβλία οικονομικών, ίσως ένα κείμενο για μακροοικονομικές και μικροαρχές, και μερικά μεσαία και προχωρημένα σχολικά βιβλία. Εάν κατανοούσατε πλήρως αυτό το υλικό, θα ξέρατε πραγματικά πολλά για τα οικονομικά. Τώρα προκαλέστε τους να διαβάσουν 100 ακόμη καλά επιλεγμένα σχολικά βιβλία. Πόσα περισσότερα οικονομικά θα μπορούσαν να γνωρίζουν; Όχι βέβαια 10 φορές παραπάνω. Στην πραγματικότητα, αμφιβάλλω ότι θα ήξεραν διπλάσια οικονομικά. Υποψιάζομαι ότι το ίδιο μπορεί να ειπωθεί και για άλλους τομείς όπως η βιοχημεία ή η λογιστική.
Αυτό Bloomberg άρθρο τράβηξε το μάτι μου:
Το OpenAI ήταν στα πρόθυρα ενός σημαντικού ορόσημου. Τον Σεπτέμβριο, η startup ολοκλήρωσε την αρχική φάση εκπαίδευσης ενός νέου μοντέλου τεχνητής νοημοσύνης μεγάλης κλίμακας που ήλπιζε ότι θα ξεπερνούσε σημαντικά τις προηγούμενες εκδόσεις της τεχνολογίας πίσω από το ChatGPT και θα πλησίαζε πιο κοντά στον στόχο της να δημιουργήσει ισχυρή τεχνητή νοημοσύνη που θα ξεπερνά τους ανθρώπους. Όμως το μοντέλο, γνωστό εσωτερικά ως Orion, δεν πέτυχε τα επιθυμητά αποτελέσματα της εταιρείας. Πράγματι, το Orion απέτυχε όταν προσπάθησε να απαντήσει σε ερωτήσεις προγραμματισμού για τις οποίες δεν είχε εκπαιδευτεί. Και το OpenAI δεν είναι το μόνο που αντιμετωπίζει εμπόδια πρόσφατα. Μετά από χρόνια προώθησης ολοένα και πιο εξελιγμένων προϊόντων τεχνητής νοημοσύνης, οι τρεις κορυφαίες εταιρείες τεχνητής νοημοσύνης βλέπουν τώρα μειωμένες αποδόσεις στις εξαιρετικά δαπανηρές προσπάθειές τους να δημιουργήσουν νέα μοντέλα.
Παρακαλώ μην το εκλάβετε ότι σημαίνει ότι είμαι σκεπτικιστής της τεχνητής νοημοσύνης. Πιστεύω ότι οι πρόσφατες εξελίξεις στον τομέα του LLM είναι εξαιρετικά εντυπωσιακές και ότι η τεχνητή νοημοσύνη θα αλλάξει τελικά ριζικά τα οικονομικά. Αντίθετα, η άποψή μου είναι ότι η πρόοδος προς κάποιο είδος υπεργενικής νοημοσύνης μπορεί να είναι πιο αργή από ό,τι αναμένουν ορισμένοι από τους υποστηρικτές της.
Γιατί μπορεί να κάνω λάθος; Μου είπαν ότι η τεχνητή νοημοσύνη θα μπορούσε να ενισχυθεί με άλλους τρόπους αντί να εκθέτει απλά μοντέλα σε όλο και μεγαλύτερα σύνολα δεδομένων και ότι το λεγόμενο “τοίχος δεδομένων«μπορεί να ξεπεραστεί με άλλες μεθόδους αύξησης της νοημοσύνης. Αλλά αν το Bloomberg έχει δίκιο, η ανάπτυξη του LLM βρίσκεται σε κάποια νηνεμία λόγω της μείωσης των αποδόσεων από περισσότερα δεδομένα.
Αυτά είναι καλά ή κακά νέα; Εξαρτάται από το πόση σημασία δίνετε στους κινδύνους που σχετίζονται με την ανάπτυξη της ASI (τεχνητής υπερνοημοσύνης).
Εκσυγχρονίζω: Τάιλερ Κάουαν έχει κάποιες παρόμοιες απόψεις για αυτό το θέμα.
