Πώς να εργαστείτε με ένα νευρωνικό δίκτυο. Νευρωνικά δίκτυα: τύποι, αρχές λειτουργίας και περιοχές εφαρμογής. Σε τι χρησιμεύουν τα νευρωνικά δίκτυα;
ΣπίτιΑντίστοιχα, το νευρωνικό δίκτυο παίρνει δύο αριθμούς ως είσοδο και πρέπει να εξάγει έναν άλλο αριθμό - την απάντηση. Τώρα για τα ίδια τα νευρωνικά δίκτυα.
Τι είναι ένα νευρωνικό δίκτυο; Ένα νευρωνικό δίκτυο είναι μια ακολουθία νευρώνων που συνδέονται με συνάψεις. Η δομή ενός νευρωνικού δικτύου ήρθε στον κόσμο του προγραμματισμού κατευθείαν από τη βιολογία. Χάρη σε αυτή τη δομή, το μηχάνημα αποκτά τη δυνατότητα να αναλύει, ακόμη και να θυμάται διάφορες πληροφορίες. Τα νευρωνικά δίκτυα είναι επίσης ικανά όχι μόνο να αναλύουν τις εισερχόμενες πληροφορίες, αλλά και να τις αναπαράγουν από τη μνήμη τους. Για όσους ενδιαφέρονται, μην παραλείψετε να παρακολουθήσετε 2 βίντεο από το TED Talks: , Βίντεο 1Βίντεο 2
). Με άλλα λόγια, ένα νευρωνικό δίκτυο είναι μια μηχανική ερμηνεία του ανθρώπινου εγκεφάλου, που περιέχει εκατομμύρια νευρώνες που μεταδίδουν πληροφορίες με τη μορφή ηλεκτρικών παλμών.
Τι είδη νευρωνικών δικτύων υπάρχουν;Προς το παρόν, θα εξετάσουμε παραδείγματα για τον πιο βασικό τύπο νευρωνικών δικτύων - ένα δίκτυο προώθησης τροφοδοσίας (εφεξής καλούμενο δίκτυο προώθησης). Επίσης σε επόμενα άρθρα θα εισαγάγω περισσότερες έννοιες και θα σας πω για τα επαναλαμβανόμενα νευρωνικά δίκτυα. Το SPR, όπως υποδηλώνει το όνομα, είναι ένα δίκτυο με διαδοχική σύνδεση νευρικών στρωμάτων σε αυτό, οι πληροφορίες ρέουν πάντα προς μία μόνο κατεύθυνση.
Σε τι χρησιμεύουν τα νευρωνικά δίκτυα;Τα νευρωνικά δίκτυα χρησιμοποιούνται για την επίλυση πολύπλοκων προβλημάτων που απαιτούν αναλυτικούς υπολογισμούς παρόμοιους με αυτούς που κάνει ο ανθρώπινος εγκέφαλος. Οι πιο κοινές εφαρμογές των νευρωνικών δικτύων είναι:Ταξινόμηση
- κατανομή δεδομένων ανά παραμέτρους. Για παράδειγμα, σας δίνεται ένα σύνολο ατόμων ως στοιχεία και πρέπει να αποφασίσετε σε ποιον από αυτούς θα δώσετε εύσημα και σε ποιον όχι. Αυτή η εργασία μπορεί να γίνει από ένα νευρωνικό δίκτυο, αναλύοντας πληροφορίες όπως η ηλικία, η φερεγγυότητα, το πιστωτικό ιστορικό κ.λπ.Προφητεία
- την ικανότητα πρόβλεψης του επόμενου βήματος. Για παράδειγμα, η άνοδος ή η πτώση των μετοχών με βάση την κατάσταση στο χρηματιστήριο.Αναγνώριση
- Επί του παρόντος, η πιο διαδεδομένη χρήση των νευρωνικών δικτύων. Χρησιμοποιείται στο Google όταν αναζητάτε μια φωτογραφία ή σε κάμερες τηλεφώνου όταν εντοπίζει τη θέση του προσώπου σας και την επισημαίνει και πολλά άλλα.
Τώρα, για να κατανοήσουμε πώς λειτουργούν τα νευρωνικά δίκτυα, ας ρίξουμε μια ματιά στα συστατικά τους και τις παραμέτρους τους.
Ένας νευρώνας είναι μια υπολογιστική μονάδα που λαμβάνει πληροφορίες, εκτελεί απλούς υπολογισμούς σε αυτές και τις μεταδίδει περαιτέρω. Χωρίζονται σε τρεις κύριους τύπους: είσοδο (μπλε), κρυφό (κόκκινο) και έξοδο (πράσινο). Υπάρχει επίσης ένας νευρώνας μετατόπισης και ένας νευρώνας περιβάλλοντος, για τους οποίους θα μιλήσουμε στο επόμενο άρθρο. Στην περίπτωση που ένα νευρωνικό δίκτυο αποτελείται από μεγάλο αριθμό νευρώνων, εισάγεται ο όρος στρώμα. Αντίστοιχα, υπάρχει ένα επίπεδο εισόδου που λαμβάνει πληροφορίες, n κρυφά επίπεδα (συνήθως όχι περισσότερα από 3) που τις επεξεργάζονται και ένα επίπεδο εξόδου που εξάγει το αποτέλεσμα. Κάθε νευρώνας έχει 2 κύριες παραμέτρους: δεδομένα εισόδου και δεδομένα εξόδου. Στην περίπτωση νευρώνα εισόδου: είσοδος=έξοδος. Στα υπόλοιπα, το πεδίο εισαγωγής περιέχει τις συνολικές πληροφορίες όλων των νευρώνων από το προηγούμενο επίπεδο, μετά από το οποίο κανονικοποιείται χρησιμοποιώντας τη συνάρτηση ενεργοποίησης (προς το παρόν ας το φανταστούμε απλώς ως f(x)) και καταλήγει στο πεδίο εξόδου.
Σημαντικό να θυμάστεότι οι νευρώνες λειτουργούν με αριθμούς στην περιοχή ή [-1,1]. Αλλά πώς, ρωτάτε, στη συνέχεια επεξεργάζονται αριθμούς που βρίσκονται εκτός αυτού του εύρους; Σε αυτό το σημείο, η απλούστερη απάντηση είναι να διαιρέσουμε το 1 με αυτόν τον αριθμό. Αυτή η διαδικασία ονομάζεται κανονικοποίηση και χρησιμοποιείται πολύ συχνά σε νευρωνικά δίκτυα. Περισσότερα για αυτό λίγο αργότερα.
Τι είναι η σύναψη;
Μια σύναψη είναι μια σύνδεση μεταξύ δύο νευρώνων. Οι συνάψεις έχουν 1 παράμετρο - βάρος. Χάρη σε αυτό, οι πληροφορίες εισόδου αλλάζουν καθώς μεταδίδονται από τον έναν νευρώνα στον άλλο. Ας υποθέσουμε ότι υπάρχουν 3 νευρώνες που μεταδίδουν πληροφορίες στον επόμενο. Τότε έχουμε 3 βάρη που αντιστοιχούν σε καθέναν από αυτούς τους νευρώνες. Για τον νευρώνα του οποίου το βάρος είναι μεγαλύτερο, αυτή η πληροφορία θα είναι κυρίαρχη στον επόμενο νευρώνα (για παράδειγμα, ανάμειξη χρωμάτων). Στην πραγματικότητα, το σύνολο των βαρών ενός νευρωνικού δικτύου ή η μήτρα βάρους είναι ένα είδος εγκεφάλου ολόκληρου του συστήματος. Χάρη σε αυτά τα βάρη, οι πληροφορίες εισόδου υποβάλλονται σε επεξεργασία και μετατρέπονται σε αποτέλεσμα.
Σημαντικό να θυμάστε, ότι κατά την αρχικοποίηση του νευρωνικού δικτύου, τα βάρη τοποθετούνται με τυχαία σειρά.
Πώς λειτουργεί ένα νευρωνικό δίκτυο;
Αυτό το παράδειγμα δείχνει μέρος ενός νευρωνικού δικτύου, όπου τα γράμματα I υποδηλώνουν νευρώνες εισόδου, το γράμμα H υποδηλώνει έναν κρυφό νευρώνα και το γράμμα w υποδηλώνει βάρη. Ο τύπος δείχνει ότι οι πληροφορίες εισόδου είναι το άθροισμα όλων των δεδομένων εισόδου πολλαπλασιαζόμενο με τα αντίστοιχα βάρη τους. Τότε θα δώσουμε το 1 και το 0 ως είσοδο Έστω w1=0,4 και w2 = 0,7 Τα δεδομένα εισόδου του νευρώνα H1 θα είναι τα εξής: 1*0,4+0*0,7=0,4. Τώρα που έχουμε την είσοδο, μπορούμε να πάρουμε την έξοδο συνδέοντας την είσοδο στη λειτουργία ενεργοποίησης (περισσότερα για αυτό αργότερα). Τώρα που έχουμε το αποτέλεσμα, το μεταβιβάζουμε. Και έτσι, επαναλαμβάνουμε για όλα τα επίπεδα μέχρι να φτάσουμε στον νευρώνα εξόδου. Έχοντας ξεκινήσει ένα τέτοιο δίκτυο για πρώτη φορά, θα δούμε ότι η απάντηση απέχει πολύ από το να είναι σωστή, επειδή το δίκτυο δεν είναι εκπαιδευμένο. Για να βελτιώσουμε τα αποτελέσματα θα την εκπαιδεύσουμε. Αλλά προτού μάθουμε πώς να το κάνουμε αυτό, ας παρουσιάσουμε μερικούς όρους και ιδιότητες ενός νευρωνικού δικτύου.
Λειτουργία ενεργοποίησης
Μια συνάρτηση ενεργοποίησης είναι ένας τρόπος ομαλοποίησης των δεδομένων εισόδου (μιλήσαμε για αυτό νωρίτερα). Δηλαδή, αν έχετε μεγάλο αριθμό στην είσοδο, περνώντας τον από τη λειτουργία ενεργοποίησης, θα πάρετε μια έξοδο στο εύρος που χρειάζεστε. Υπάρχουν πολλές συναρτήσεις ενεργοποίησης, επομένως θα εξετάσουμε τις πιο βασικές: Γραμμική, Σιγμοειδής (Λογιστική) και Υπερβολική εφαπτομένη. Οι κύριες διαφορές τους είναι το εύρος των τιμών.Γραμμική συνάρτηση
Αυτή η συνάρτηση δεν χρησιμοποιείται σχεδόν ποτέ, εκτός εάν χρειάζεται να δοκιμάσετε ένα νευρωνικό δίκτυο ή να περάσετε μια τιμή χωρίς μετατροπή.
Σιγμοειδές
Αυτή είναι η πιο κοινή λειτουργία ενεργοποίησης και το εύρος τιμών της είναι . Εδώ εμφανίζονται τα περισσότερα από τα παραδείγματα στον Ιστό, και μερικές φορές ονομάζεται επίσης λογιστική συνάρτηση. Αντίστοιχα, εάν στην περίπτωσή σας υπάρχουν αρνητικές τιμές (για παράδειγμα, οι μετοχές μπορούν να πάνε όχι μόνο προς τα πάνω, αλλά και προς τα κάτω), τότε θα χρειαστείτε μια συνάρτηση που καταγράφει επίσης αρνητικές τιμές.
Υπερβολική εφαπτομένη
Έχει νόημα να χρησιμοποιείτε υπερβολική εφαπτομένη μόνο όταν οι τιμές σας μπορεί να είναι αρνητικές και θετικές, καθώς το εύρος της συνάρτησης είναι [-1,1]. Δεν συνιστάται η χρήση αυτής της συνάρτησης μόνο με θετικές τιμές, καθώς αυτό θα επιδεινώσει σημαντικά τα αποτελέσματα του νευρωνικού σας δικτύου.
Σετ προπόνησης
Ένα σύνολο εκπαίδευσης είναι μια ακολουθία δεδομένων πάνω στην οποία λειτουργεί ένα νευρωνικό δίκτυο. Στην περίπτωσή μας του αποκλεισμού ή (xor), έχουμε μόνο 4 διαφορετικά αποτελέσματα, δηλαδή θα έχουμε 4 σετ προπόνησης: 0xor0=0, 0xor1=1, 1xor0=1,1xor1=0.Επανάληψη
Αυτό είναι ένα είδος μετρητή που αυξάνεται κάθε φορά που το νευρωνικό δίκτυο περνά από ένα σετ εκπαίδευσης. Με άλλα λόγια, αυτός είναι ο συνολικός αριθμός των συνόλων εκπαίδευσης που ολοκληρώθηκαν από το νευρωνικό δίκτυο.εποχή
Όταν αρχικοποιείται το νευρωνικό δίκτυο, αυτή η τιμή ορίζεται στο 0 και έχει ένα ανώτατο όριο που ορίζεται χειροκίνητα. Όσο μεγαλύτερη είναι η εποχή, τόσο καλύτερα εκπαιδευμένο το δίκτυο και, κατά συνέπεια, το αποτέλεσμά του. Η εποχή αυξάνεται κάθε φορά που περνάμε από ολόκληρο το σετ προπονήσεων, στην περίπτωσή μας, 4 σετ ή 4 επαναλήψεις.
ΣπουδαίοςΜην συγχέετε την επανάληψη με την εποχή και κατανοήστε τη σειρά της αύξησής τους. Πρώτα n
μόλις αυξηθεί η επανάληψη, και μετά η εποχή και όχι το αντίστροφο. Με άλλα λόγια, δεν μπορείτε πρώτα να εκπαιδεύσετε ένα νευρωνικό δίκτυο μόνο σε ένα σύνολο, μετά σε ένα άλλο και ούτω καθεξής. Πρέπει να εκπαιδεύετε κάθε σετ μία φορά ανά εποχή. Με αυτόν τον τρόπο, μπορείτε να αποφύγετε σφάλματα στους υπολογισμούς.
Σφάλμα
Το σφάλμα είναι ένα ποσοστό που αντικατοπτρίζει τη διαφορά μεταξύ των αναμενόμενων και των λαμβανόμενων απαντήσεων. Το λάθος διαμορφώνεται κάθε εποχή και πρέπει να παρακμάσει. Αν αυτό δεν συμβεί, τότε κάτι κάνετε λάθος. Το σφάλμα μπορεί να υπολογιστεί με διαφορετικούς τρόπους, αλλά θα εξετάσουμε μόνο τρεις κύριες μεθόδους: Μέσο τετράγωνο σφάλμα (εφεξής MSE), Root MSE και Arctan. Δεν υπάρχει περιορισμός στη χρήση όπως υπάρχει στη λειτουργία ενεργοποίησης και είστε ελεύθεροι να επιλέξετε οποιαδήποτε μέθοδο θα σας δώσει τα καλύτερα αποτελέσματα. Απλώς πρέπει να έχετε κατά νου ότι κάθε μέθοδος μετράει διαφορετικά τα σφάλματα. Με το Arctan, το σφάλμα θα είναι σχεδόν πάντα μεγαλύτερο, αφού λειτουργεί με την αρχή: όσο μεγαλύτερη είναι η διαφορά, τόσο μεγαλύτερο είναι το σφάλμα. Το Root MSE θα έχει το μικρότερο σφάλμα, επομένως είναι πιο συνηθισμένο να χρησιμοποιείτε ένα MSE που διατηρεί την ισορροπία στον υπολογισμό σφαλμάτων.Το πρώτο εξάμηνο του 2016, ο κόσμος άκουσε για πολλές εξελίξεις στον τομέα των νευρωνικών δικτύων - η Google (Go network player AlphaGo), η Microsoft (μια σειρά από υπηρεσίες για αναγνώριση εικόνας), οι νεοσύστατες εταιρείες MSQRD, Prisma και άλλοι επέδειξαν τους αλγόριθμούς τους.
Σελιδοδείκτες
Οι συντάκτες του ιστότοπου σας λένε τι είναι τα νευρωνικά δίκτυα, σε τι χρειάζονται, γιατί έχουν καταλάβει τον πλανήτη τώρα, και όχι χρόνια νωρίτερα ή αργότερα, πόσα μπορείτε να κερδίσετε από αυτά και ποιοι είναι οι κύριοι παίκτες της αγοράς. Εμπειρογνώμονες από το MIPT, το Yandex, το Mail.Ru Group και τη Microsoft μοιράστηκαν επίσης τις απόψεις τους.
Τι είναι τα νευρωνικά δίκτυα και ποια προβλήματα μπορούν να λύσουν;
Τα νευρωνικά δίκτυα είναι μία από τις κατευθύνσεις στην ανάπτυξη συστημάτων τεχνητής νοημοσύνης. Η ιδέα είναι να μοντελοποιήσουμε όσο το δυνατόν καλύτερα τη λειτουργία του ανθρώπινου νευρικού συστήματος - δηλαδή, την ικανότητά του να μαθαίνει και να διορθώνει λάθη. Αυτό είναι το κύριο χαρακτηριστικό οποιουδήποτε νευρωνικού δικτύου - είναι σε θέση να μαθαίνει και να ενεργεί ανεξάρτητα με βάση την προηγούμενη εμπειρία, κάνοντας όλο και λιγότερα σφάλματα κάθε φορά.
Το νευρωνικό δίκτυο μιμείται όχι μόνο τη δραστηριότητα, αλλά και τη δομή του ανθρώπινου νευρικού συστήματος. Ένα τέτοιο δίκτυο αποτελείται από μεγάλο αριθμό μεμονωμένων υπολογιστικών στοιχείων («νευρώνες»). Στις περισσότερες περιπτώσεις, κάθε «νευρώνας» ανήκει σε ένα συγκεκριμένο στρώμα του δικτύου. Τα δεδομένα εισόδου επεξεργάζονται διαδοχικά σε όλα τα επίπεδα του δικτύου. Οι παράμετροι κάθε «νευρώνα» μπορούν να αλλάξουν ανάλογα με τα αποτελέσματα που προέκυψαν σε προηγούμενα σύνολα δεδομένων εισόδου, αλλάζοντας έτσι τη σειρά λειτουργίας ολόκληρου του συστήματος.
Ο επικεφαλής του τμήματος αναζήτησης Mail.ru στο Mail.Ru Group, Andrey Kalinin, σημειώνει ότι τα νευρωνικά δίκτυα είναι ικανά να λύσουν τα ίδια προβλήματα με άλλους αλγόριθμους μηχανικής μάθησης, η διαφορά έγκειται μόνο στην προσέγγιση της εκπαίδευσης.
Όλες οι εργασίες που μπορούν να επιλύσουν τα νευρωνικά δίκτυα σχετίζονται με κάποιο τρόπο με τη μάθηση. Μεταξύ των κύριων τομέων εφαρμογής των νευρωνικών δικτύων είναι η πρόβλεψη, η λήψη αποφάσεων, η αναγνώριση προτύπων, η βελτιστοποίηση και η ανάλυση δεδομένων.
Ο διευθυντής προγραμμάτων τεχνολογικής συνεργασίας στη Microsoft στη Ρωσία, Vlad Shershulsky, σημειώνει ότι τα νευρωνικά δίκτυα χρησιμοποιούνται πλέον παντού: «Για παράδειγμα, πολλοί μεγάλοι ιστότοποι του Διαδικτύου τα χρησιμοποιούν για να κάνουν τις αντιδράσεις στη συμπεριφορά των χρηστών πιο φυσικές και χρήσιμες για το κοινό τους. Τα νευρωνικά δίκτυα αποτελούν τη βάση των πιο σύγχρονων συστημάτων αναγνώρισης και σύνθεσης ομιλίας, καθώς και αναγνώρισης και επεξεργασίας εικόνας. Χρησιμοποιούνται σε ορισμένα συστήματα πλοήγησης, είτε πρόκειται για βιομηχανικά ρομπότ είτε για αυτοοδηγούμενα αυτοκίνητα. Οι αλγόριθμοι που βασίζονται σε νευρωνικά δίκτυα προστατεύουν τα πληροφοριακά συστήματα από επιθέσεις εισβολέων και βοηθούν στον εντοπισμό παράνομου περιεχομένου στο δίκτυο».
Στο εγγύς μέλλον (5-10 χρόνια), πιστεύει ο Shershulsky, τα νευρωνικά δίκτυα θα χρησιμοποιηθούν ακόμη ευρύτερα:
Φανταστείτε έναν γεωργικό συνδυασμό, οι ενεργοποιητές του οποίου είναι εξοπλισμένοι με πολλές βιντεοκάμερες. Παίρνει πέντε χιλιάδες φωτογραφίες ανά λεπτό από κάθε φυτό στην τροχιά του και, χρησιμοποιώντας ένα νευρωνικό δίκτυο, αναλύει αν είναι ζιζάνιο, αν προσβάλλεται από ασθένειες ή παράσιτα. Και κάθε φυτό αντιμετωπίζεται ξεχωριστά. Μυθιστόρημα; Όχι πια. Και σε πέντε χρόνια μπορεί να γίνει ο κανόνας. - Vlad Shershulsky, Microsoft
Ο Mikhail Burtsev, επικεφαλής του εργαστηρίου νευρωνικών συστημάτων και βαθιάς μάθησης στο MIPT Center for Living Systems, παρέχει έναν δοκιμαστικό χάρτη της ανάπτυξης των νευρωνικών δικτύων για το 2016-2018:
- συστήματα αναγνώρισης και ταξινόμησης αντικειμένων σε εικόνες.
- διεπαφές φωνητικής αλληλεπίδρασης για το Διαδίκτυο των πραγμάτων.
- συστήματα παρακολούθησης της ποιότητας των υπηρεσιών σε τηλεφωνικά κέντρα.
- συστήματα εντοπισμού προβλημάτων (συμπεριλαμβανομένης της πρόβλεψης του χρόνου συντήρησης), ανωμαλιών, φυσικών απειλών στον κυβερνοχώρο·
- συστήματα πνευματικής ασφάλειας και παρακολούθησης·
- αντικατάσταση ορισμένων από τις λειτουργίες των χειριστών τηλεφωνικών κέντρων με bot·
- συστήματα ανάλυσης βίντεο·
- συστήματα αυτομάθησης που βελτιστοποιούν τη διαχείριση των ροών υλικών ή τη θέση των αντικειμένων (σε αποθήκες, μεταφορές)·
- έξυπνα συστήματα ελέγχου αυτομάθησης για διαδικασίες και συσκευές παραγωγής (συμπεριλαμβανομένης της ρομποτικής).
- την εμφάνιση καθολικών συστημάτων μετάφρασης επιτόπου για συνέδρια και προσωπική χρήση·
- η εμφάνιση συμβούλων ρομπότ τεχνικής υποστήριξης ή προσωπικών βοηθών με λειτουργίες παρόμοιες με αυτές ενός ανθρώπου.
Ο Διευθυντής Διανομής Τεχνολογίας στη Yandex Γκριγκόρι Μπακούνοφ πιστεύει ότι η βάση για τη διάδοση των νευρωνικών δικτύων τα επόμενα πέντε χρόνια θα είναι η ικανότητα τέτοιων συστημάτων να λαμβάνουν διάφορες αποφάσεις: «Το κύριο πράγμα που κάνουν τώρα τα νευρωνικά δίκτυα για ένα άτομο είναι να σώσουν τον από περιττή λήψη αποφάσεων. Έτσι, μπορούν να χρησιμοποιηθούν σχεδόν οπουδήποτε όπου δεν λαμβάνονται πολύ έξυπνες αποφάσεις από ένα ζωντανό άτομο. Στα επόμενα πέντε χρόνια, αυτή η ικανότητα θα αξιοποιηθεί, η οποία θα αντικαταστήσει την ανθρώπινη λήψη αποφάσεων με μια απλή μηχανή».
Γιατί τα νευρωνικά δίκτυα έχουν γίνει τόσο δημοφιλή αυτή τη στιγμή;
Οι επιστήμονες αναπτύσσουν τεχνητά νευρωνικά δίκτυα για περισσότερα από 70 χρόνια. Η πρώτη προσπάθεια επισημοποίησης ενός νευρωνικού δικτύου χρονολογείται από το 1943, όταν δύο Αμερικανοί επιστήμονες (Warren McCulloch και Walter Pitts) παρουσίασαν ένα άρθρο σχετικά με τον λογικό λογισμό των ανθρώπινων ιδεών και της νευρικής δραστηριότητας.
Ωστόσο, μέχρι πρόσφατα, λέει ο Andrey Kalinin από τον Όμιλο Mail.Ru, η ταχύτητα των νευρωνικών δικτύων ήταν πολύ χαμηλή για να γίνουν ευρέως διαδεδομένα, και ως εκ τούτου τέτοια συστήματα χρησιμοποιούνταν κυρίως σε εξελίξεις σχετικά με την όραση υπολογιστών και σε άλλους τομείς χρησιμοποιήθηκαν άλλοι αλγόριθμοι μηχανική μάθηση.
Ένα εντατικό και χρονοβόρο μέρος της διαδικασίας ανάπτυξης νευρωνικών δικτύων είναι η εκπαίδευσή του. Προκειμένου ένα νευρωνικό δίκτυο να λύσει σωστά τα προβλήματα που έχουν εκχωρηθεί, απαιτείται να «τρέξει» την εργασία του σε δεκάδες εκατομμύρια σετ δεδομένων εισόδου. Με την εμφάνιση διαφόρων τεχνολογιών ταχείας μάθησης ο Andrei Kalinin και ο Grigory Bakunov συσχετίζουν την εξάπλωση των νευρωνικών δικτύων.
Το κύριο πράγμα που έχει συμβεί τώρα είναι ότι έχουν εμφανιστεί διάφορα κόλπα που καθιστούν δυνατή τη δημιουργία νευρωνικών δικτύων που είναι πολύ λιγότερο επιρρεπή στην επανεκπαίδευση - Grigory Bakunov, Yandex
«Πρώτον, μια μεγάλη και δημόσια διαθέσιμη σειρά εικόνων με ετικέτα (ImageNet) εμφανίστηκε στην οποία μπορείτε να μάθετε. Δεύτερον, οι σύγχρονες κάρτες βίντεο καθιστούν δυνατή την εκπαίδευση των νευρωνικών δικτύων και τη χρήση τους εκατοντάδες φορές πιο γρήγορα. Τρίτον, έχουν εμφανιστεί έτοιμα, προεκπαιδευμένα νευρωνικά δίκτυα που αναγνωρίζουν εικόνες, βάσει των οποίων μπορείτε να δημιουργήσετε τις δικές σας εφαρμογές χωρίς να χρειάζεται να αφιερώσετε πολύ χρόνο στην προετοιμασία του νευρωνικού δικτύου για εργασία. Όλα αυτά διασφαλίζουν μια πολύ ισχυρή ανάπτυξη νευρωνικών δικτύων ειδικά στον τομέα της αναγνώρισης εικόνων», σημειώνει ο Kalinin.
Ποιο είναι το μέγεθος της αγοράς νευρωνικών δικτύων;
«Πολύ εύκολο να υπολογιστεί. Μπορείτε να ασχοληθείτε με οποιοδήποτε τομέα που χρησιμοποιεί εργασία χαμηλής ειδίκευσης, όπως πράκτορες τηλεφωνικών κέντρων, και απλώς να αφαιρέσετε όλους τους ανθρώπινους πόρους. Θα έλεγα ότι μιλάμε για μια αγορά πολλών δισεκατομμυρίων δολαρίων, ακόμη και εντός μιας και μόνο χώρας. Είναι εύκολο να καταλάβει κανείς πόσοι άνθρωποι στον κόσμο απασχολούνται σε θέσεις εργασίας χαμηλής ειδίκευσης. Οπότε, έστω και πολύ αφηρημένα, νομίζω ότι μιλάμε για αγορά εκατό δισεκατομμυρίων δολαρίων σε όλο τον κόσμο», λέει ο Grigory Bakunov, διευθυντής διανομής τεχνολογίας στη Yandex.
Σύμφωνα με ορισμένες εκτιμήσεις, περισσότερα από τα μισά επαγγέλματα θα είναι αυτοματοποιημένα - αυτός είναι ο μέγιστος όγκος με τον οποίο μπορεί να αυξηθεί η αγορά για αλγόριθμους μηχανικής μάθησης (και συγκεκριμένα νευρωνικά δίκτυα) - Andrey Kalinin, Mail.Ru Group
«Οι αλγόριθμοι μηχανικής εκμάθησης είναι το επόμενο βήμα στην αυτοματοποίηση οποιωνδήποτε διαδικασιών, στην ανάπτυξη οποιουδήποτε λογισμικού. Επομένως, η αγορά συμπίπτει τουλάχιστον με ολόκληρη την αγορά λογισμικού, αλλά μάλλον την υπερβαίνει, επειδή καθίσταται δυνατή η δημιουργία νέων έξυπνων λύσεων που δεν είναι προσβάσιμες στο παλιό λογισμικό», συνεχίζει ο Andrey Kalinin, επικεφαλής του τμήματος αναζήτησης Mail.ru στο Mail. Ομάδα Ru.
Γιατί οι προγραμματιστές νευρωνικών δικτύων δημιουργούν εφαρμογές για κινητά για τη μαζική αγορά
Τους τελευταίους μήνες, αρκετά έργα ψυχαγωγίας υψηλού προφίλ που χρησιμοποιούν νευρωνικά δίκτυα εμφανίστηκαν στην αγορά - αυτή είναι η δημοφιλής υπηρεσία βίντεο, το κοινωνικό δίκτυο Facebook και οι ρωσικές εφαρμογές για την επεξεργασία εικόνων (επενδύσεις από τον Όμιλο Mail.Ru τον Ιούνιο) και άλλοι.
Οι ικανότητες των δικών τους νευρωνικών δικτύων επιδείχθηκαν τόσο από την Google (η τεχνολογία AlphaGo κέρδισε τον πρωταθλητή στο Go· τον Μάρτιο του 2016, η εταιρεία πούλησε σε δημοπρασία 29 πίνακες ζωγραφικής που σχεδιάστηκαν από νευρωνικά δίκτυα κ.λπ.), όσο και από τη Microsoft (το έργο CaptionBot, το οποίο αναγνωρίζει εικόνες σε φωτογραφίες και δημιουργεί αυτόματα λεζάντες για αυτές το έργο WhatDog, το οποίο καθορίζει τη φυλή ενός σκύλου από την υπηρεσία HowOld, η οποία καθορίζει την ηλικία ενός ατόμου σε μια φωτογραφία, και ούτω καθεξής Τον Ιούνιο, η ομάδα ενσωμάτωσε μια υπηρεσία για την αναγνώριση αυτοκινήτων σε φωτογραφίες στην εφαρμογή Avto.ru, παρουσίασε μια μουσική ηχογράφηση που ηχογραφήθηκε από το άλμπουμ των νευρωνικών δικτύων τον Μάιο.
Τέτοιες υπηρεσίες ψυχαγωγίας δεν δημιουργούνται για την επίλυση παγκόσμιων προβλημάτων στα οποία στοχεύουν τα νευρωνικά δίκτυα, αλλά για να επιδείξουν τις δυνατότητες ενός νευρωνικού δικτύου και να πραγματοποιήσουν την εκπαίδευσή του.
«Τα παιχνίδια είναι ένα χαρακτηριστικό γνώρισμα της συμπεριφοράς μας ως είδος. Αφενός, οι καταστάσεις παιχνιδιού μπορούν να χρησιμοποιηθούν για την προσομοίωση σχεδόν όλων των τυπικών σεναρίων ανθρώπινης συμπεριφοράς και, αφετέρου, οι δημιουργοί παιχνιδιών και, ιδιαίτερα, οι παίκτες μπορούν να απολαύσουν μεγάλη ευχαρίστηση από τη διαδικασία. Υπάρχει και μια καθαρά χρηστική πτυχή. Ένα καλά σχεδιασμένο παιχνίδι δεν φέρνει μόνο ικανοποίηση στους παίκτες: καθώς παίζουν, εκπαιδεύουν τον αλγόριθμο νευρωνικών δικτύων. Εξάλλου, τα νευρωνικά δίκτυα βασίζονται στη μάθηση με το παράδειγμα», λέει ο Vlad Shershulsky από τη Microsoft.
«Πρώτα από όλα, αυτό γίνεται για να δείξουμε τις δυνατότητες της τεχνολογίας. Πραγματικά δεν υπάρχει άλλος λόγος. Αν μιλάμε για Prisma, τότε είναι ξεκάθαρο γιατί το έκαναν. Τα παιδιά έφτιαξαν κάποιο είδος αγωγού που τους επιτρέπει να δουλεύουν με εικόνες. Για να το δείξουν αυτό, επέλεξαν μια αρκετά απλή μέθοδο δημιουργίας σχηματοποιήσεων. Γιατί όχι; Αυτό είναι απλώς μια επίδειξη του πώς λειτουργούν οι αλγόριθμοι», λέει ο Grigory Bakunov από την Yandex.
Ο Andrey Kalinin από τον Όμιλο Mail.Ru έχει διαφορετική άποψη: «Φυσικά, αυτό είναι εντυπωσιακό από την άποψη του κοινού. Από την άλλη, δεν θα έλεγα ότι τα προϊόντα ψυχαγωγίας δεν μπορούν να εφαρμοστούν σε πιο χρήσιμους τομείς. Για παράδειγμα, το έργο του στυλιζαρίσματος εικόνων είναι εξαιρετικά σχετικό για έναν αριθμό βιομηχανιών (σχεδίαση, παιχνίδια υπολογιστή, κινούμενα σχέδια είναι μερικά μόνο παραδείγματα) και η πλήρης χρήση των νευρωνικών δικτύων μπορεί να βελτιστοποιήσει σημαντικά το κόστος και τις μεθόδους δημιουργίας περιεχομένου για αυτούς. ”
Σημαντικοί παίκτες στην αγορά των νευρωνικών δικτύων
Όπως σημειώνει ο Andrey Kalinin, σε γενικές γραμμές, τα περισσότερα νευρωνικά δίκτυα στην αγορά δεν διαφέρουν πολύ μεταξύ τους. «Η τεχνολογία όλων είναι περίπου η ίδια. Αλλά η χρήση νευρωνικών δικτύων είναι μια ευχαρίστηση που δεν μπορούν όλοι να αντέξουν οικονομικά. Για να εκπαιδεύσετε ανεξάρτητα ένα νευρωνικό δίκτυο και να εκτελέσετε πολλά πειράματα σε αυτό, χρειάζεστε μεγάλα σετ εκπαίδευσης και έναν στόλο μηχανών με ακριβές κάρτες βίντεο. Προφανώς, οι μεγάλες εταιρείες έχουν τέτοιες ευκαιρίες», λέει.
Μεταξύ των κύριων παικτών της αγοράς, ο Kalinin αναφέρει την Google και το τμήμα της Google DeepMind, που δημιούργησε το δίκτυο AlphaGo, και το Google Brain. Η Microsoft έχει τις δικές της εξελίξεις σε αυτόν τον τομέα - πραγματοποιούνται από το εργαστήριο Microsoft Research. Η δημιουργία νευρωνικών δικτύων πραγματοποιείται στην IBM, το Facebook (τμήμα του Facebook AI Research), το Baidu (Baidu Institute of Deep Learning) και άλλα. Πολλές εξελίξεις πραγματοποιούνται στα τεχνικά πανεπιστήμια σε όλο τον κόσμο.
Ο Διευθυντής Διανομής Τεχνολογίας της Yandex, Γκριγκόρι Μπακούνοφ, σημειώνει ότι ενδιαφέρουσες εξελίξεις στον τομέα των νευρωνικών δικτύων εντοπίζονται επίσης μεταξύ των startups. «Θα θυμόμουν, για παράδειγμα, την εταιρεία ClarifAI. Αυτή είναι μια μικρή startup, που κάποτε δημιουργήθηκε από άτομα της Google. Τώρα είναι ίσως οι καλύτεροι στον κόσμο στον εντοπισμό του περιεχομένου μιας εικόνας.» Τέτοιες startups περιλαμβάνουν MSQRD, Prisma και άλλες.
Στη Ρωσία, οι εξελίξεις στον τομέα των νευρωνικών δικτύων πραγματοποιούνται όχι μόνο από νεοσύστατες επιχειρήσεις, αλλά και από μεγάλες εταιρείες τεχνολογίας - για παράδειγμα, η εταιρεία Mail.Ru Group χρησιμοποιεί νευρωνικά δίκτυα για την επεξεργασία και την ταξινόμηση κειμένων στην Αναζήτηση και την ανάλυση εικόνας. Η εταιρεία διεξάγει επίσης πειραματικές εξελίξεις που σχετίζονται με bots και συστήματα συνομιλίας.
Η Yandex δημιουργεί επίσης τα δικά της νευρωνικά δίκτυα: «Βασικά, τέτοια δίκτυα χρησιμοποιούνται ήδη για την εργασία με εικόνες και ήχο, αλλά διερευνούμε τις δυνατότητές τους σε άλλους τομείς. Τώρα κάνουμε πολλά πειράματα στη χρήση νευρωνικών δικτύων στην εργασία με κείμενο». Οι εξελίξεις πραγματοποιούνται σε πανεπιστήμια: Skoltech, MIPT, Κρατικό Πανεπιστήμιο της Μόσχας, Ανώτατη Οικονομική Σχολή και άλλα.
Αυτή τη φορά αποφάσισα να μελετήσω τα νευρωνικά δίκτυα. Κατάφερα να αποκτήσω βασικές δεξιότητες σε αυτό το θέμα το καλοκαίρι και το φθινόπωρο του 2015. Με τον όρο βασικές δεξιότητες, εννοώ ότι μπορώ να δημιουργήσω μόνος μου ένα απλό νευρωνικό δίκτυο από την αρχή. Μπορείτε να βρείτε παραδείγματα στα αποθετήρια GitHub μου. Σε αυτό το άρθρο, θα δώσω μερικές εξηγήσεις και θα μοιραστώ πόρους που μπορεί να σας φανούν χρήσιμοι στη μελέτη σας.
Βήμα 1. Νευρώνες και μέθοδος ανατροφοδότησης
Τι είναι λοιπόν ένα «νευρωνικό δίκτυο»; Ας περιμένουμε με αυτό και ας ασχοληθούμε πρώτα με έναν νευρώνα.
Ένας νευρώνας είναι σαν μια συνάρτηση: παίρνει πολλές τιμές ως είσοδο και επιστρέφει μία.
Ο παρακάτω κύκλος αντιπροσωπεύει έναν τεχνητό νευρώνα. Λαμβάνει 5 και επιστρέφει 1. Η είσοδος είναι το άθροισμα των τριών συνάψεων που συνδέονται με τον νευρώνα (τρία βέλη στα αριστερά).
Στην αριστερή πλευρά της εικόνας βλέπουμε 2 τιμές εισαγωγής (με πράσινο) και μια μετατόπιση (με καφέ).
Τα δεδομένα εισόδου μπορεί να είναι αριθμητικές αναπαραστάσεις δύο διαφορετικών ιδιοτήτων. Για παράδειγμα, όταν δημιουργείτε ένα φίλτρο ανεπιθύμητης αλληλογραφίας, θα μπορούσαν να σημαίνουν την παρουσία περισσότερων από μία λέξεων γραμμένων με ΚΕΦΑΛΑΙΑ ΓΡΑΜΜΑΤΑ και την παρουσία της λέξης "Viagra".
Οι τιμές εισαγωγής πολλαπλασιάζονται με τα λεγόμενα «βαρή» τους, 7 και 3 (επισημασμένα με μπλε χρώμα).
Τώρα προσθέτουμε τις τιμές που προκύπτουν με τη μετατόπιση και παίρνουμε έναν αριθμό, στην περίπτωσή μας 5 (επισημαίνεται με κόκκινο). Αυτή είναι η είσοδος του τεχνητού νευρώνα μας.
Στη συνέχεια, ο νευρώνας εκτελεί κάποιους υπολογισμούς και παράγει μια τιμή εξόδου. Πήραμε 1 γιατί η στρογγυλεμένη τιμή του σιγμοειδούς στο σημείο 5 είναι 1 (θα μιλήσουμε για αυτήν τη συνάρτηση με περισσότερες λεπτομέρειες αργότερα).
Εάν αυτό ήταν ένα φίλτρο ανεπιθύμητης αλληλογραφίας, το γεγονός ότι η έξοδος 1 θα σήμαινε ότι το κείμενο επισημάνθηκε ως ανεπιθύμητο από τον νευρώνα.
Απεικόνιση ενός νευρωνικού δικτύου από τη Wikipedia.
Εάν συνδυάσετε αυτούς τους νευρώνες, λαμβάνετε ένα νευρωνικό δίκτυο που διαδίδεται άμεσα - η διαδικασία πηγαίνει από είσοδο σε έξοδο, μέσω νευρώνων που συνδέονται με συνάψεις, όπως στην εικόνα στα αριστερά.
Βήμα 2. Σιγμοειδές
Αφού παρακολουθήσετε τα μαθήματα της Welch Labs, είναι καλή ιδέα να δείτε την Εβδομάδα 4 του μαθήματος μηχανικής εκμάθησης της Coursera για τα νευρωνικά δίκτυα για να σας βοηθήσει να κατανοήσετε πώς λειτουργούν. Το μάθημα πηγαίνει πολύ βαθιά στα μαθηματικά και βασίζεται στο Octave, ενώ εγώ προτιμώ την Python. Εξαιτίας αυτού, παρέλειψα τις ασκήσεις και πήρα όλες τις απαραίτητες γνώσεις από τα βίντεο.
Ένα σιγμοειδές απλά χαρτογραφεί την τιμή σας (στον οριζόντιο άξονα) σε μια περιοχή από 0 έως 1.
Η πρώτη μου προτεραιότητα ήταν να μελετήσω το σιγμοειδές, καθώς έχει καταλήξει σε πολλές πτυχές των νευρωνικών δικτύων. Ήξερα ήδη κάτι για αυτό από την τρίτη εβδομάδα του προαναφερθέντος μαθήματος, οπότε παρακολούθησα το βίντεο από εκεί.
Αλλά δεν θα φτάσετε μακριά μόνο με βίντεο. Για πλήρη κατανόηση, αποφάσισα να το κωδικοποιήσω μόνος μου. Άρχισα λοιπόν να γράφω μια υλοποίηση ενός αλγορίθμου λογιστικής παλινδρόμησης (ο οποίος χρησιμοποιεί ένα σιγμοειδές).
Χρειάστηκε μια ολόκληρη μέρα και το αποτέλεσμα δεν ήταν καθόλου ικανοποιητικό. Αλλά δεν πειράζει, γιατί κατάλαβα πώς λειτουργούν όλα. Ο κωδικός φαίνεται.
Δεν χρειάζεται να το κάνετε μόνοι σας, καθώς απαιτεί ειδικές γνώσεις - το κύριο πράγμα είναι ότι καταλαβαίνετε πώς λειτουργεί το σιγμοειδές.
Βήμα 3. Μέθοδος οπίσθιας διάδοσης
Η κατανόηση του τρόπου λειτουργίας ενός νευρωνικού δικτύου από την είσοδο στην έξοδο δεν είναι τόσο δύσκολη. Είναι πολύ πιο δύσκολο να κατανοήσουμε πώς ένα νευρωνικό δίκτυο μαθαίνει από σύνολα δεδομένων. Η αρχή που χρησιμοποίησα λέγεται
Τα νευρωνικά δίκτυα είναι ένας από τους τομείς έρευνας στον τομέα της τεχνητής νοημοσύνης, που βασίζεται σε προσπάθειες αναπαραγωγής του ανθρώπινου νευρικού συστήματος. Δηλαδή: η ικανότητα του νευρικού συστήματος να μαθαίνει και να διορθώνει λάθη, που θα μας επιτρέψει να προσομοιώσουμε, αν και μάλλον χονδρικά, το έργο του ανθρώπινου εγκεφάλου.
ή το ανθρώπινο νευρικό σύστημα είναι ένα πολύπλοκο δίκτυο ανθρώπινων δομών που διασφαλίζει τη διασυνδεδεμένη συμπεριφορά όλων των συστημάτων του σώματος.Ένας βιολογικός νευρώνας είναι ένα ειδικό κύτταρο που δομικά αποτελείται από έναν πυρήνα, ένα κυτταρικό σώμα και διεργασίες. Ένα από τα βασικά καθήκοντα ενός νευρώνα είναι να μεταδίδει μια ηλεκτροχημική ώθηση σε όλο το νευρωνικό δίκτυο μέσω προσβάσιμων συνδέσεων με άλλους νευρώνες. Επιπλέον, κάθε σύνδεση χαρακτηρίζεται από μια ορισμένη τιμή που ονομάζεται ισχύς της συναπτικής σύνδεσης. Αυτή η τιμή καθορίζει τι θα συμβεί με την ηλεκτροχημική ώθηση όταν μεταδοθεί σε άλλο νευρώνα: είτε θα ενισχυθεί, είτε θα εξασθενήσει, είτε θα παραμείνει αμετάβλητη.
Ένα βιολογικό νευρωνικό δίκτυο έχει υψηλό βαθμό συνδεσιμότητας: ένας νευρώνας μπορεί να έχει πολλές χιλιάδες συνδέσεις με άλλους νευρώνες. Αλλά αυτή είναι μια κατά προσέγγιση τιμή και σε κάθε συγκεκριμένη περίπτωση είναι διαφορετική. Η μετάδοση παλμών από τον ένα νευρώνα στον άλλο δημιουργεί μια ορισμένη διέγερση ολόκληρου του νευρωνικού δικτύου. Το μέγεθος αυτής της διέγερσης καθορίζει την απόκριση του νευρωνικού δικτύου σε ορισμένα σήματα εισόδου. Για παράδειγμα, η συνάντηση ενός ατόμου με έναν παλιό γνώριμο μπορεί να οδηγήσει σε ισχυρή διέγερση του νευρωνικού δικτύου, εάν ορισμένες ζωντανές και ευχάριστες αναμνήσεις ζωής συνδέονται με αυτήν τη γνωριμία. Με τη σειρά του, η ισχυρή διέγερση του νευρικού δικτύου μπορεί να οδηγήσει σε αυξημένο καρδιακό ρυθμό, συχνότερο ανοιγοκλείσιμο των ματιών και άλλες αντιδράσεις. Μια συνάντηση με έναν άγνωστο θα περάσει σχεδόν απαρατήρητη για το νευρωνικό δίκτυο και επομένως δεν θα προκαλέσει έντονες αντιδράσεις.
Μπορεί να δοθεί το ακόλουθο εξαιρετικά απλουστευμένο μοντέλο ενός βιολογικού νευρωνικού δικτύου:
Κάθε νευρώνας αποτελείται από ένα κυτταρικό σώμα, το οποίο περιέχει έναν πυρήνα. Πολλές κοντές ίνες που ονομάζονται δενδρίτες διακλαδίζονται από το κυτταρικό σώμα. Οι μακρύι δενδρίτες ονομάζονται άξονες. Οι άξονες εκτείνονται σε μεγάλες αποστάσεις, πολύ πέρα από αυτό που φαίνεται στην κλίμακα αυτού του σχήματος. Τυπικά, οι άξονες έχουν μήκος 1 cm (που είναι 100 φορές η διάμετρος του κυτταρικού σώματος), αλλά μπορούν να φτάσουν το 1 μέτρο.
Στη δεκαετία του 60-80 του 20ού αιώνα, η κατεύθυνση προτεραιότητας της έρευνας στον τομέα της τεχνητής νοημοσύνης ήταν. Τα έμπειρα συστήματα έχουν αποδειχθεί καλά, αλλά μόνο σε εξαιρετικά εξειδικευμένους τομείς. Απαιτήθηκε μια διαφορετική προσέγγιση για τη δημιουργία πιο καθολικών ευφυών συστημάτων. Αυτό μπορεί να οδήγησε τους ερευνητές της τεχνητής νοημοσύνης να στρέψουν την προσοχή τους στα βιολογικά νευρωνικά δίκτυα που βρίσκονται κάτω από τον ανθρώπινο εγκέφαλο.
Τα νευρωνικά δίκτυα στην τεχνητή νοημοσύνη είναι απλουστευμένα μοντέλα βιολογικών νευρωνικών δικτύων.
Εδώ τελειώνουν οι ομοιότητες. Η δομή του ανθρώπινου εγκεφάλου είναι πολύ πιο περίπλοκη από αυτή που περιγράφηκε παραπάνω, και ως εκ τούτου δεν είναι δυνατό να αναπαραχθεί ακόμη περισσότερο ή λιγότερο με ακρίβεια.
Τα νευρωνικά δίκτυα έχουν πολλές σημαντικές ιδιότητες, αλλά η βασική είναι η ικανότητα μάθησης. Η εκπαίδευση ενός νευρωνικού δικτύου περιλαμβάνει κυρίως την αλλαγή της «δύναμης» των συναπτικών συνδέσεων μεταξύ των νευρώνων. Το παρακάτω παράδειγμα το καταδεικνύει ξεκάθαρα. Στο κλασικό πείραμα του Pavlov, ένα κουδούνι χτυπούσε κάθε φορά λίγο πριν ταΐσουν το σκυλί. Ο σκύλος έμαθε γρήγορα να συνδέει το χτύπημα του κουδουνιού με το φαγητό. Αυτό οφειλόταν στο γεγονός ότι ενισχύθηκαν οι συναπτικές συνδέσεις μεταξύ των περιοχών του εγκεφάλου που είναι υπεύθυνες για την ακοή και των σιελογόνων αδένων. Και στη συνέχεια, η διέγερση του νευρικού δικτύου από τον ήχο του κουδουνιού άρχισε να οδηγεί σε ισχυρότερη σιελόρροια στον σκύλο.
Σήμερα, τα νευρωνικά δίκτυα αποτελούν έναν από τους τομείς προτεραιότητας της έρευνας στον τομέα της τεχνητής νοημοσύνης.
Τα νευρωνικά δίκτυα είναι ένα μαθηματικό μοντέλο που βασίζεται στις αρχές λειτουργίας των βιονικών νευρωνικών δικτύων. Η γνωριμία με αυτό το φαινόμενο θα πρέπει να ξεκινήσει με την έννοια του πολυστρωματικού perceptron ως την πρώτη ενσωμάτωση αυτού του συστήματος ως μοντέλου υπολογιστή.
Τι είναι εν συντομία ένα πολυστρωματικό perceptron
Ένα πολυστρωματικό perceptron είναι ένα ιεραρχικό υπολογιστικό μοντέλο, όπου ο υπολογιστής είναι κατασκευασμένος από ένα σύνολο νευρώνων απλών κόμβων που έχουν πολλές εισόδους και μία έξοδο. Κάθε είσοδος (σύναψη) έχει κάποιο βάρος που σχετίζεται με αυτήν.
Οι είσοδοι του συστήματος παρέχονται με τιμές που κατανέμονται κατά μήκος των συνδέσεων μεταξύ των νευρώνων. Αυτές οι τιμές, που είναι πραγματικοί αριθμοί, πολλαπλασιάζονται με τα βάρη των συνδέσμων.
Το λογικό διάγραμμα της αρχής λειτουργίας ενός perceptron αναπαρίσταται πιο εύκολα χρησιμοποιώντας ένα γραφικό σχέδιο με διαφορετικά χρώματα και συνδέσεις μεταξύ τους:
Χρήση νευρωνικών δικτύων
Αυτή η μέθοδος χρησιμοποιείται για διάφορους σκοπούς. Για παράδειγμα, εάν η είσοδος είναι τιμές για τίτλους σε ένα χρηματιστήριο, το αποτέλεσμα που προκύπτει μπορεί να ερμηνευθεί ως ένα σήμα ότι ο τίτλος θα γίνει φθηνότερος ή ακριβότερος στο μέλλον.
Ένα άλλο παράδειγμα της μελλοντικής χρήσης των νευρωνικών δικτύων είναι η ακριβέστερη πρόβλεψη παγκόσμιων και χρηματοοικονομικών υφέσεων.
Εάν, για παράδειγμα, η τιμή φωτεινότητας ενός συνόλου σημείων ράστερ δίνεται ως είσοδος, τότε στην έξοδο μπορείτε να πάρετε μια απόφαση σχετικά με το ποια είναι η εικόνα.
Χρησιμοποιώντας αυτό το σχήμα, τα νευρωνικά δίκτυα έμαθαν να μιμούνται πίνακες διάσημων καλλιτεχνών, συμπεριλαμβανομένου του Βαν Γκογκ, και επίσης να σχεδιάζουν μοναδικές εικόνες σε μια μεγάλη ποικιλία καλλιτεχνικών στυλ.
Για ένα τόσο σημαντικό επίτευγμα στην ανάπτυξη των νευρωνικών δικτύων, η Google πρότεινε τον όρο inceptionism -ζωγραφική που δημιουργήθηκε από την τεχνητή νοημοσύνη και χαρακτηρίζεται από ακραία ψυχεδελικότητα στις καλύτερες παραδόσεις.
Φυσικά, για να δώσει το σύστημα σωστές απαντήσεις, χρειάζεται προσαρμογή. Αρχικά, η αρχή λειτουργίας βασίστηκε σε μια τυχαιοποιημένη επιλογή τυχαίων μεταβλητών. Επομένως, η ουσία του αλγορίθμου έγκειται στη ρύθμιση του συστήματος στις πιο σωστές απαντήσεις.
Για το σκοπό αυτό, η δομή του νευρωνικού δικτύου συμπληρώθηκε με έναν αλγόριθμο διόρθωσης βάρους για την ελαχιστοποίηση των σφαλμάτων. Αυτό είναι ένα εξαιρετικά χρήσιμο πράγμα και έχει τεκμηριωθεί πολλές φορές χρησιμοποιώντας πολλά εμπορικά προϊόντα.
Ωστόσο, παραδόξως, το σύστημα δεν ήταν παρόμοιο με τον ανθρώπινο εγκέφαλο. Έγινε σαφές ότι για να λυθούν προβλήματα πιο σοβαρά από μια πρόβλεψη χρηματιστηρίου, για παράδειγμα, για ένα σύστημα ελέγχου για ένα σύνθετο ρομπότ με πολυτροπικές πληροφορίες, το νευρωνικό δίκτυο πρέπει να είναι μεγάλο, ενώ τα παραδοσιακά νευρωνικά δίκτυα είναι δύσκολο να γίνουν.
Το γεγονός είναι ότι ο εγκέφαλος αποτελείται από 10 δισεκατομμύρια νευρώνες, καθένας από τους οποίους έχει 10.000 συνδέσεις. Είναι ένα εξαιρετικά ενεργειακά αποδοτικό και ανθεκτικό στον θόρυβο σύστημα, κατασκευασμένο εδώ και εκατομμύρια χρόνια. Ποια είναι η διαφορά;
Διαφορές στην αρχή λειτουργίας του εγκεφάλου και των νευρωνικών δικτύων
Είναι όλα σχετικά με τις διαφορετικές αρχές μετάδοσης σήματος του βιολογικού μας δικτύου νευρώνων και perceptron. Σε ένα πολυστρωματικό perceptron, οι νευρώνες ανταλλάσσουν τιμές μεταξύ τους, οι οποίες είναι πραγματικοί αριθμοί. Και στον εγκέφαλο υπάρχει μια ανταλλαγή παρορμήσεων με αυστηρά σταθερό πλάτος και μικρή διάρκεια. Δηλαδή, οι παρορμήσεις είναι σχεδόν στιγμιαίες.
Μια ολόκληρη σειρά πλεονεκτημάτων και πλεονεκτημάτων προκύπτει από αυτό. Πρώτον, τέτοιες γραμμές σήματος είναι πολύ οικονομικές και χαμηλής ενεργότητας - σχεδόν τίποτα δεν ταξιδεύει κατά μήκος των συνδέσεων μεταξύ των νευρώνων. Σε ένα perceptron, κάθε γραμμή σήματος πρέπει να φέρει μια πραγματικά σημαντική τιμή.
Δεύτερον, το κύκλωμα μετάδοσης παλμικού σήματος, μαζί με την ενεργειακή απόδοση, εξασφαλίζει επίσης ευκολία υλοποίησης, καθώς η παραγωγή και η επεξεργασία παλμών μπορεί να πραγματοποιηθεί χρησιμοποιώντας απλά αναλογικά κυκλώματα, σε αντίθεση με πολύπλοκα μηχανήματα που υποστηρίζουν τη μεταφορά πραγματικών τιμών.
Τρίτον, τα παλμικά δίκτυα (ακίδα) προστατεύονται από παρεμβολές. Έχουμε βαθμονομημένο παλμό, η προσθήκη θορύβου στον οποίο δεν παρεμποδίζει τη λειτουργία του συστήματος. Οι πραγματικοί αριθμοί είναι επιρρεπείς στο θόρυβο.
Και, φυσικά, αν μιλάμε για αριθμητική μοντελοποίηση με ψηφιακή και όχι αναλογική μετάδοση, τότε για να κωδικοποιήσουμε 1 byte πληροφοριών θα χρειαστούμε 8 γραμμές σήματος αντί για μία.
Δηλαδή, η ψηφιακή εφαρμογή τέτοιων συστημάτων δεν είναι επίσης επιλογή. Ακόμη και η εγκατάσταση δρομολογητών πολλαπλών επιπέδων δεν λύνει το πρόβλημα, καθώς το νευρωνικό δίκτυο επιβραδύνεται και συνεχίζει να είναι αναποτελεσματικό.
Επομένως, είναι προφανές ότι για τη δημιουργία νευρωνικών δικτύων μεγάλης κλίμακας, θα πρέπει να χρησιμοποιηθεί μια βιονική προσέγγιση, δηλαδή να προσπαθήσουμε να δημιουργήσουμε ένα σύστημα στην εικόνα και την ομοιότητα του εγκεφάλου.
Θα μιλήσουμε για αυτήν την ενδιαφέρουσα κατηγορία παλμικών νευρωνικών δικτύων περαιτέρω:
Βίντεο για την ουσία των νευρωνικών δικτύων σε απλή γλώσσα: