Apple veröffentlicht kurioses neues KI-Modell

Auf Hugging Face veröffentlichte Apple jetzt ohne Aufsehen ein neues KI-Modell, was Code in der richtigen Reihenfolge schreiben und mehrere Chunks gleichzeitig verbessern kann.

Normale LLMs generieren Texte von links nach rechts und von oben nach unten.

Was macht Apples KI-Modell?

Das brandneue Apple KI-Modell auf Hugging Face bietet im Ergebnis eine schnellere Codegenerierung mit einer Leistung, die mit führenden Codierungsmodellen aus dem Open Source Bereich konkurrieren kann. Das Modell beherrscht die Konzepte Autoregression, Temperatur und Diffusion.

Autoregression
Klassisch gesehen war ein Großteil der LLMs autoregressiv, was darin resultiert, dass wenn eine Frage gestellt wird, die komplette Frage verarbeitet, der erste Token die Antwort vorhersagen und die gesamte Frage mit dem ersten Token erneut verarbeitet wird. So entsteht Text, wie ihn die meisten Menschen lesen, von links nach rechts und von oben nach unten.

Temperatur
In LLMs gibt es eine Einstellung mit der Bezeichnung Temperatur, die dafür verantwortlich ist, wie zufällig die Ausgabe sein kann. Bei der Prognose des nächsten Tokens weist das Modell Wahrscheinlichkeiten allen möglichen Optionen zu. Eine geringe Temperatur sorgt dafür, dass die Marke wahrscheinlicher gewählt wird, während eine höhere Temperatur mehr Freiheit bedeutet, weniger wahrscheinlich zu wählen.

Diffusion
Als Alternative zu autoregressiven Modellen sind Diffusionsmodelle, die oft von Bildmodellen wie Stable Diffusion eingesetzt werden. Das KI-Modell startet mit einem unscharfen Bild und entfernt interativ das Rauschen, während es die Benutzeranfrage im Hinterkopf behält. Die Anfrage wird so weiter geführt, dass das Bild dem ähnelt, was der Benutzer anforderte.

Open Source Modell

Apples KI-Modell lautet DiffuCode-7B-coGPRO, welches auf einem Papier mit dem Titel „DiffuCoder: Unterstanding and Improving Masked Diffusion Models for Code Generation“aufbaut, was im Juni veröffentlicht wurde.

Das Dokument beschreibt ein Modell, was einen diffusionsorientierten Ansatz zur Codegenerierung verfolgt. Es kann sich durch Anpassen der Temperatur wie ein autoregressives Modell verhalten.

Höhere Temperatur bieten mehr Flexibilität, Token in der korrekten Reihenfolge zu generieren, während niedrigere Temperaturen es stärker an der Links-rechts-Dekodierung halten. Der Konzern erstellte das KI-Modell auf dem Open Source Basismodell Qwen2.5-7B von Alibaba.