AMDs NPU-Strategie: Warum Prozessoren viel mehr als nur CPU-Kerne werden

Ich habe vor ziemlich genau 10 Jahren angefangen mit dem ganzen Kram hier und hätte man mir damals gesagt, in welche Richtung sich moderne CPUs irgendwann entwickeln, hätte ich das wahrscheinlich als komplette Science Fiction abgestempelt, denn das, was hier drin ist, ist mittlerweile nicht mehr einfach nur ein Prozessor, was AMD technisch hier umsetzt und in so ein unglaublich kleines und effizientes Format packt, ist beeindruckender, als man im ersten Moment vielleicht vermuten würde. Und genau dadurch bewegen wir uns mittlerweile langsam in eine Zukunft, die Zukunft, in der bestimmte KI Modelle tatsächlich direkt auf einem ultra dünnen Laptop laufen können, ohne Cloud, ohne riesigen Stromverbrauch, teilweise komplett lokal. Und was davon mittlerweile wirklich sinnvoll ist, das schauen wir uns heute mal an. Kurz vorab für euch. Das heutige Video wurde unterstützt von Notebooks Billiger und AMD, denn NBB waren so freundlich, mir das neue Lenovoga 72.1 Convertible zur Verfügung zu stellen, was nicht nur ein interessantes Arbeitsgerät ist, sondern auch technisch interessant, dank der verbauten CPU mit dem AMD Ryzen AI 745. Und auch ganz wichtig, mir geht es hier nicht um eine QVC Verkaufsanstaltung, sondern wirklich darum, dass wir heute alle etwas lernen mit der großen Frage, was funktioniert wirklich lokal und was nicht? Das Wichtigste, was man dafür verstehen muss, ist allerdings, dass die CPU mittlerweile eben nicht mehr nur CPU ist, sondern ebenso wie bei Grafikkarten eine CPU aus einem Hauptschip mit einer Reihe an Coprozessoren besteht. Zumindest entwickelt sich das gerade in genau diese Richtung. Dieses Jahr auf der CES hat AMD seine Ryzen AI 400 Serie vorgestellt und letztes Jahr haben wir bereits über die 300 Serie gesprochen und das ist wirklich nicht mehr dieses klassische ja neue CPU, die halt nur ein bisschen schneller ist, denn die Ryzen AI Chips, die haben neben der CPU noch eine GPU, was tatsächlich nichts Neues ist in dem Sinne, weil die integrierte Grafikeinheit eigentlich schon seit vielen Jahren existiert. Sie haben aber auch eine NPU, Neural Processing Unit und das eben weil KI mittlerweile nicht mehr nur ein Ding ist, was auf großen Datenzentren, sondern auch lokal laufen soll. Die Ryzen AI 400 Seriech Chips, die kommen auch noch mal mit deutlichen Verbesserungen zur Vorgängergeneration. Neben einer stärkeren IGPU, unter anderem auch die XDNA2 NPU, die in dieser Generation je nach Chip bis zu 60 Tops liefern soll. Und wir haben letztes Jahr schon mal drüber gesprochen, aber hier kurz zur Auffrischung. Was sind Tops? Tops steht für Terra Operations per Second und beschreibt vereinfacht gesagt, wie viele KI Berechnungen ein Chip theoretisch pro Sekunde durchführen kann. Und das sind tatsächlich Berechnungen, die anders ablaufen als klassische Berechnungen, die ein PC machen muss. Das Wichtigste dabei ist, dass man versteht, dass hier mehrere Dinge parallel berechnet werden. Und das passiert in sogenannten neuronale Netzen, die vereinfacht gesagt davon inspiriert sind, wie Nervenzellen Informationen miteinander austauschen, also wie in unserem Kopf. Und wie man an dieser Animation sieht, es sind viele kleine Berechnungen gleichzeitig. Also nicht eine große Aufgabe nach der anderen. Das ist nämlich genau das, worin CPUs mit wenigen, aber sehr starken Kern gut drin sind. Also man schmeißt eine größere Aufgabe nach der anderen rein und erhält dann ein Ergebnis nach dem anderen. Eine CPU ist aber vereinfacht gesagt ein intelligenter Allrounder. Sie ist aber eben nicht auf diese parallelen KI Berechnungen optimiert. Genau dafür eignen sich übrigens Grafikkarten besonders gut, weil sie viele kleinere Recheneinheiten besitzen, die dann Dinge parallelisieren. Und genau das brauchen z.B. KI Sprachmodelle etc. häufig. Und das ist auch der Grund dafür, dass KI Modelle oft auf sehr leistungsstarken Grafikkarten laufen. AMD hat sich aber irgendwann gesagt, wir integrieren so eine Recheneinheit einfach in unseren CPUs und da kam dann die NPU ins Spiel, die genau für sowas gebaut ist. Nun ist aber die Frage, wie ordnet man 60 Tops ein? Und da muss man in der Tat ein bisschen aufpassen, denn diese Tops, also Terra Operations per Second, von denen ich eben gesprochen habe, die lassen sich jetzt nicht vergleichen, wie z.B. FPS in Spielen. Dieses Lenovo Yoga 7 hat den AMD Ryzen AI 445 verbaut. Speziell diese CPU liefert mit der verbauten XDNA2 NPU bis zu 50 Torps. Daneben bringt das Teil aber auch noch 32 GB RAM mit, was extrem wichtig ist, weil die GPU und die NPU sich den Speicher mit der CPU teilen und auch insgesamt ist das ein wirklich schönes Arbeitsgerät, sogar mit einem 2,8 k OLED Panel. Aber wichtig für uns sind hier die 50 Tops. Nur mal im Vergleich, eine Radion RX9070 XT liefert bis zu 1557 Tops, also deutlich mehr. Man darf aber eine Sache nicht vergessen. Wirklich unter Last verbraucht dieses Ding hier an die 45 Watt. Eine dicke Grafikkarte kann sich auch gut und gerne mal bis zu 350 Watt genehmigen. Und daher ist die Frage, was kann man anfangen mit 50 Tops? Ich habe als erstes mal ein LM, nämlich Gammer 4B runtergeladen über LM Studio. Über LM Studio könnt ihr tatsächlich haufenweise LMs runterladen, die dann entsprechend auch lokal laufen. Und ich habe das Ganze ausprobiert und dann festgestellt, dass die erste Ernüchterung eingetreten ist, denn die meisten Workloads lokaler LMs, die man tatsächlich so frei runterladen kann und lokal laufen lassen kann, laufen in der Regel über die GPU. Und das seht ihr hier auch im Task Manager. Ich habe Gammer 4B gefragt, was der Unterschied zwischen CPU, GPU und NPU ist. Und das hat natürlich ein bisschen gedauert, weil die GPU nicht so stark ist wie eine dedizierte Grafikkarte, aber da muss man sagen, das ist der Punkt, an dem die Hardware vielleicht ein bisschen weiter ist als die Software. Nichtsdestotrotz habe ich eine Antwort bekommen und das komplett ohne Cloud. Momentan wird aber daran gearbeitet, dass lokale LMs auch die NPU ansprechen. Die NPU wird tatsächlich von den KI Funktion von Microsoft genutzt. Hier nur mal Recall als Beispiel. Und ja, ich bin auch kein großer Fan von dem Feature, aber es dient halt dazu, euch zu zeigen, dass genausowas die NPU anspricht. ein Bereich in dem das sehr sinnvoll ist und ja, ihr seht hier eine Funko Pop Figur, weil ich weiterhin ein Mysterium bleibe. Aber absolut sinnvoll mit den Microsoft Studio Features ist dieser unscharfe Hintergrund und der wird ja nicht einfach so generiert, sondern muss tatsächlich auch berechnet werden. Und um zu zeigen, dass sowas wirklich ein bisschen aufwendiger ist, habe ich mich auch für die Kamera getraut. Ja, mein Gesicht ist ein Kreativeelogo. Es ist wirklich so. Aber mal Spaß beiseite, so ein Portraitmodus und auch die Kameraverfolgung, der Blickkontakt, das sind alles Dinge, die über die NPU in Echtzeit berechnet werden und das seht ihr auch an den Ausschlägen. Und insbesondere für so Arbeitsgeräte, z.B. in Meetings und Co, finde ich das absolut sinnvoll. Oder beispielsweise das Microsoft Snipping Tool, das kennt eigentlich auch jeder. Da gibt es tatsächlich eine interessante Funktion. Ich weiß nicht, ob ihr die kanntet. Und zwar könnt ihr einen Screenshot machen von KI, den Text im Screenshot erkennen lassen, diesen dann extrahieren und für was auch immer nutzen. Damit wird der Text, trotz der Tatsache, dass es sich um einen Screenshot handelt, kopierbar. Aber ihr seht hier eben auch, dass das nur einen kurzen Ausschlag für die NPU gibt. Also so sehr belastet das Ganze die NPU halt nicht. Und hier gibt es noch eine weitere coole Funktion. Wenn ihr ein Video schaut, dann könnt ihr mit der Tastenkombination Steuerung, Windows Taste und Live Captions aktivieren, die tatsächlich auch über die NPU laufen, wenn sie generiert werden. Klar, bei einem YouTube Video kann man auf jeden Fall sagen, dass das auch über YouTube selbst geht, aber praktisch ist das vor allem für Offline Videos in jedem Fall. Und ja, es gibt beispielsweise auch noch Copilot 365. Das ist tatsächlich praktisch, wenn man seine eigenen Dokumente durchsuchen, zusammenfassen und co lassen möchte. Ihr seht aber, dass das weder viel mit der NPU noch viel mit der GPU macht. Da gehe ich tatsächlich sehr stark davon aus, dass das in erster Linie über die Cloud läuft. Okay, aber was bleibt mir da zum Abschluss zu sagen? Ich meine, die Einführung der NPU als zusätzliche KI Recheneinheit innerhalb eines CPU Komplexes ist auf jeden Fall ein sinnvoller Schritt und ihr habt auch gesehen, dass das mit den Microsoft eigenen Anwendungen sehr gut funktioniert. Ich kann mir aber auch vorstellen, dass das künftig mit Sicherheit gut laufen wird, insbesondere für Geräte, die eben nicht so viel Energie benötigen. Denn die eine Seite von KI sind Riesen Datenzentren, für die der Strom, den das eine oder andere Land produziert, nicht mal ausreicht. Die andere Seite der Medaille ist, dass es vielleicht vor allem für sinnvolle Features nicht immer so viel Leistung braucht. Und ich glaube, dass das die Zukunft der meisten Chips ist. Da haben wir auch schon mal in einem Video drüber geredet. Wenn Architekturen nicht immer kleiner werden können, dann müssen wir an anderen Stellschrauben drehen und das heißt möglicherweise Coprozessoren zu implementieren. Ihr seht tatsächlich auch, dass die NPU selbst bei Live Hintergründen und C eigentlich noch nicht wirklich an ihre Grenzen kommt und daher sage ich ganz klar, da geht noch ein bisschen was. Ich würde mir für die Zukunft wünschen, dass das vor allem softwarechnisch dahingehend optimiert wird, dass man auch unabhängig lokale LMs über die NPU laufen lassen kann. Ich werde das Thema auf jeden Fall weiter verfolgen, aber jetzt würde mich mal interessieren, was sagt ihr zu dem Konzept? Übrigens, wie gut KI darin ist, Gaming PCs zu konfigurieren, das habe ich letztens in dem Video gezeigt. Wenn ihr das sehen wollt, dann schaut mal hier rechts in die Ecke, da kommt ihr zum passenden Video. Und wenn euch dieses Video gefallen hat, dann freue ich mich über einen Daumen in nördlicher Richtung. Ich würde sagen, wir hören uns im nächsten Video wieder. Ich bin raus. Co?