Ab dem 25. August stellt das ZDV zwei neue Modelle für den KI-Chat zur Verfügung.
GPT-OSS 120B und Qwen3 235B lösen Nemotron Ultra 253B ab
Das Modell GPT-OSS 120B zeichnet sich durch eine besonders effiziente Nutzung der Rechenressourcen aus und liefert Ergebnisse bei vergleichsweise geringem Energieverbrauch. Es reagiert schnell und zuverlässig, ohne die Server unnötig zu belasten.
GPT-OSS 120B liefert präzise und relevante Antworten auf Fragen, kohärente und gut strukturierte Texte sowie hochqualitative Lösungen für verschiedene Aufgabenstellungen, beispielsweise das Zusammenfassen von Texten, das Beantworten von Wissensfragen oder das Generieren kreativer Inhalte.
Qwen3 235B liefert mit aktiviertem Reasoning noch bessere Ergebnisse für Anwendungen in den Bereichen Wissenschaft, Technik und Softwareentwicklung. Es überzeugt durch fortschrittliche Fähigkeiten bei der Lösung komplexer Probleme, technischer Analyse oder der Architektur von Code. Die Variante ohne Reasoning kann bei der Arbeit mit Texten oder der Implementierung von Code eine wertvolle Alternative sein.
Insgesamt schneiden die Modelle in wichtigen Vergleichskategorien sehr gut ab und bilden die Spitze der frei verfügbaren Modelle. Eine Kernauswahl von acht wichtigen Benchmarks, die beispielsweise die Fähigkeiten zur Lösung mathematischer Aufgaben oder Programmieraufgaben bewerten, finden Sie unter https://artificialanalysis.ai/.
Weiterhin stehen Ihnen folgende Modelle zur Verfügung:
- Gemma3 27B für die Verarbeitung von Text und Bildern
- Qwen3 Coder 30B für schnelles und präzises Coding mit niedriger Komplexität
Vereinheitlichte Limits bei der Verarbeitung großer Textmengen
Die Textmenge, die die Modelle auf einmal verarbeiten können, wurde vereinheitlicht. Für alle Modelle stehen rund 64.000 Token, das sind ca. 50.000 Wörter, zur Verfügung. Token sind kleine Einheiten, in die das Modell Texte zerlegt, um sie zu verstehen. Je mehr Token, desto mehr Informationen kann der Chat gleichzeitig verarbeiten und berücksichtigen.
Beim Arbeiten mit Sprachmodellen gibt es eine Obergrenze, wie viel Text gleichzeitig verarbeiten werden kann. Wenn Sie ein Dokument hochladen, wählt das System automatisch nur die für Ihre Frage wichtigsten Textstellen aus. Diese ausgesuchten Textabschnitte sind so kurz, dass sie immer innerhalb der zulässigen Obergrenze von 64.000 Token liegen.
Die Obergrenze wird relevant, wenn Sie nach dem Hochladen die Option wählen, den ganzen Text des Dokumentes auf einmal an das Modell zu senden. Wenn der gesamte Text über die Obergrenze kommt, wird die Anfrage zurückgewiesen und Sie erhalten eine Fehlermeldung. Ebenso relevant ist die Grenze für diejenigen, die unsere API-Schnittstelle für eigene Anwendungen nutzen, denn hier muss meist die maximale Kontextgröße hinterlegt werden (Ausgabe-Token zählen hier nicht dazu).
Mehr Informationen zu den Modellen und weitere wichtige Hinweise finden Sie auf unserer Webseite:
https://www.zdv.uni-mainz.de/ki-an-der-jgu/
Mehr Neuigkeiten aus dem ZDV → finden Sie hier.
