Memristor-Training senkt KI-Energiekosten

Chinesische Forscher nutzen probabilistische Updates der Memristor-Hardware, um den Energieverbrauch beim KI-Training um Größenordnungen zu senken und so den Weg für hocheffiziente Elektronik zu ebnen.



Chinesische Wissenschaftler haben einen Durchbruch beim Training energiehungriger KI-Modelle mithilfe von Memristor-Hardware vorgestellt und dabei den Energieverbrauch im Vergleich zu herkömmlichem GPU-basiertem Training um fast sechs Größenordnungen gesenkt.Ihr neuer Ansatz bewältigt ein seit langem bestehendes Problem der Nichtübereinstimmung von Hardware und Software in Memristor-basierten neuronalen Netzen und könnte Energieprofile für KI-Elektronik der nächsten Generation neu gestalten.

Das Herzstück des Fortschritts ist ein fehlerbewusster probabilistischer Aktualisierungsalgorithmus (EaPU), der das verrauschte, unvorhersehbare Verhalten von Memristorgeräten mit den beim Training neuronaler Netze verwendeten, auf Gradienten basierenden Gewichtsaktualisierungen in Einklang bringt.Herkömmliche Backpropagation nimmt kleine, präzise Anpassungen der Modellgewichte vor, aber memristoranaloge Geräte, die Speicherung und Verarbeitung kombinieren, leiden unter Schreibrauschen und Drift, die solche feinkörnigen Änderungen überdecken.Anstatt dieses Rauschen zu bekämpfen, setzt die EaPU-Strategie auf Stochastik: Sie wendet wahrscheinlich größere Gewichtsverschiebungen an und überspringt Aktualisierungen unterhalb der Rauschschwelle des Geräts, wodurch die Anzahl der Schreibvorgänge um über 99 % gesenkt und der Energieverbrauch drastisch gesenkt wird.

Das Team validierte seine Methode an einem experimentellen 180-nm-Memristor-Array und trainierte Netzwerke für Bildrauschen und Superauflösung mit einer Qualität, die der von herkömmlichen Trainingsmethoden entspricht oder sogar besser ist, aber nur einen winzigen Bruchteil der Energie verbraucht.Größere Netzwerke, darunter 152-Layer-ResNets und Vision Transformers, wurden in Simulationen getestet und zeigten Genauigkeitsgewinne von über 60 % auf verrauschter Hardware im Vergleich zu Standardansätzen.

Über die Energieeinsparungen hinaus verlängert die reduzierte Aktualisierungshäufigkeit die Gerätelebensdauer um etwa das Tausendfache und verringert damit eine wesentliche Hürde für kommerzielle Memristorsysteme.Im Vergleich zu früheren Memristor-Trainingsschemata reduziert EaPU die Trainingsenergie etwa um das 50-fache und etwa 13-mal im Vergleich zum besten existierenden optimierten Algorithmus.

Forscher sehen breite Anwendungsmöglichkeiten für ihre Technik und können sie möglicherweise auf andere Speichertechnologien wie ferroelektrische Transistoren und magnetoresistiven RAM und sogar auf groß angelegte KI-Trainingscluster ausweiten, bei denen die Energiekosten ein strategisches Problem darstellen.Wenn diese Arbeit skaliert und kommerzialisiert wird, könnte sie dazu beitragen, nachhaltige, energieeffiziente KI-Elektronik in die Praxis umzusetzen.