Energieverbrauch von Neuronalen Netzen eine Million Mal verbessert

Energieverbrauch von Neuronalen Netzen eine Million Mal verbessert

Künstliche Neuronale Netze sind zentraler Bestandteil des deep Learnings, durch das die Künstliche Intelligenz in den letzten Jahren viel leistungsstarker geworden ist. Wie der zurzeit noch relativ hohe Energieverbrauch künstlicher neuronaler Netze bei gleichzeitigem Anstieg der Rechenleistung gesenkt werden kann, erfahren Sie von unserem Blogautor Michael Mörike.

Seit einigen Jahren gibt es nun künstliche Intelligenz (KI). Sie kann als Werkzeug und Unterstützung für unser Hirn und für unsere Geisteskraft dienen.

Manchmal wird mit Hinweis auf die Darthmouth-Konferenz im Sommer 1956 behauptet, es gäbe sie schon lange. Das mag uns als lang erscheinen, vor allem wenn wir danach geboren sind. Gemessen an der Zeit, in der wir Menschen mechanische Werkzeuge verwenden, die unsere Kraft oder Geschicklichkeit unterstützen, ist es aber sehr kurz. Wie lange haben wir Menschen doch gebraucht, wirklich gute Werkzeuge herzustellen oder Maschinen, die uns gleichförmige Arbeit abnehmen und doch sehr präzise und schnell arbeiten!

Seit wenigen Jahren ist KI nun mit dem deep Learning in großen Neuronalen Netzen (NN) wesentlich leistungsfähiger geworden. Diese Leistung frisst aber auch viel elektrische Energie. Einige Größenordnungen mehr als z.B. unser menschliches Hirn bei gleicher Leistung benötigt. Die Technik muss noch wesentlich besser werden.

Wissenschaftler des Massachusetts Institute of Technology (MIT) haben eine Art künstlicher analoger Synapsen entwickelt, die in Zukunft eine signifikant höhere Rechenleistung bei einem geringeren Energieverbrauch ermöglichen sollen. Sie wollen es in neuartigen tiefen Neuronalen Netzen einsetzen und nennen es dann analoges Deep Learning (ADL). Angeblich sind diese neuen Synapsen etwa eine Million Mal leistungsfähiger als die bisher verwendete Technik – jedenfalls gemessen am Energieverbrauch. Aber wie funktionieren sie?

Dazu stellen wir uns ein tiefes Neuronales Netz vor: Es besteht aus vielen hintereinander angeordneten Schichten (Perzeptron) von Neuronalen Knoten. Bisher ist in jedem Knoten ein kleiner Computer, der die Ausgangs-Signale aus sehr vielen Knoten der davor liegenden Schicht erhält. Diese (sehr vielen) Signale multipliziert er mit einem in seinem Speicher abgelegten bestimmten Gewicht, je nachdem von welchem Knoten sie kommen, addiert sie auf und teilt das Ergebnis durch die Anzahl der davor liegenden Knoten (grob dargestellt). Bei Training werden die Gewichte solange systematisch verändert, bis das NN die Aufgabe gelernt hat. All das ist sehr rechenintensiv, braucht Zeit und vor allem viel Energie zum Rechnen.

Die Forscher am MIT haben dieses aktive Verrechnen der von der davor liegenden Schicht eingehenden Signale nun durch veränderbare Widerstände ersetzt, die wesentlich kleiner sind, deutlich weniger Energie benötigen und vor allem auch sehr viel schneller sind: Insgesamt eine Million mal besser. Damit haben sie die Kontaktstellen (Synapsen) im Hirn nachgebaut, die prinzipiell ähnlich funktionieren. Im biologischen Hirn sind sie aus organischen Proteinen gebaut, die CA-Ionen beim Übergang steuern. Die Techniker setzen dafür anorganisches Phosphorsilikatglas ein. Beim Lernen wird dessen Widerstand verändert.

Technischer Fortschritt. Na und?

Durch geringeren Energieverbrauch werden sie besser einsetzbar. Durch Verkleinerung (Widerstände statt Rechner) werden sie preiswerter, für jedermann erschwinglich. Durch weiteren allgemeinen Fortschritt werden sie intelligenter (=schlauer). Und wenn dann auch noch verschiedene NN kombiniert werden und das auch mit normalen Rechnern, werden sie immer universeller einsetzbar.

Also: Es geht rasant voran und ein Ende ist nicht abzusehen.

Wie unsere sonstigen Werkzeuge und Kunstbauten unsere menschliche Gesellschaft durchgreifend verändert haben, werden dies erst recht NN tun – nur viel schneller. Wir Menschen wollen dabei aber nicht unter die Räder kommen, wie das manche Wissenschaftler prophezeien. Also was tun?

  1. Aufklären und die Menschen einbeziehen
  2. Nicht immer alles gleich ausprobieren, was man sich technisch so alles ausdenken kann.
    Es könnte gefährliche Folgen haben. Also: langsam und bedächtig dran gehen.
  3. Und sich klar machen: Wir haben Zeit, denn wir nagen nicht mehr wie früher am Hungertuch.
    Kapitalistischer Wettkampf kann sich da sehr schädlich auswirken mit wirklich fatalen Folgen.

Michael Mörike, Vorstand der Integrata-Stiftung

1 Kommentar zu „Energieverbrauch von Neuronalen Netzen eine Million Mal verbessert