Ab dem 25. August stellt das ZDV zwei neue Modelle für den KI-Chat zur Verfügung.
GPT-OSS 120B und Qwen3 235B lösen Nemotron Ultra 253B ab
Das Modell GPT-OSS 120B zeichnet sich durch eine besonders effiziente Nutzung der Rechenressourcen aus und liefert Ergebnisse bei vergleichsweise geringem Energieverbrauch. Es reagiert schnell und zuverlässig, ohne die Server unnötig zu belasten.
GPT-OSS 120B liefert Lösungen für verschiedene Aufgabenstellungen, beispielsweise das Zusammenfassen von Texten, das Beantworten von Wissensfragen oder das Generieren kreativer Inhalte.
Qwen3 235B liefert mit aktiviertem Reasoning noch bessere Ergebnisse für Anwendungen in den Bereichen Wissenschaft, Technik und Softwareentwicklung. Es überzeugt durch fortschrittliche Fähigkeiten bei der Lösung komplexer Probleme, technischer Analyse oder der Architektur von Code. Die Variante ohne Reasoning kann bei der Arbeit mit Texten oder der Implementierung von Code eine wertvolle Alternative sein.
Insgesamt schneiden die Modelle in wichtigen Vergleichskategorien sehr gut ab und bilden die Spitze der frei verfügbaren Modelle. Eine Kernauswahl von acht wichtigen Benchmarks, die beispielsweise die Fähigkeiten zur Lösung mathematischer Aufgaben oder Programmieraufgaben bewerten, finden Sie unter https://artificialanalysis.ai/.
Weiterhin stehen Ihnen folgende Modelle zur Verfügung:
- Gemma3 27B für die Verarbeitung von Text und Bildern
- Qwen3 Coder 30B für schnelles und präzises Coding mit niedriger Komplexität
Vereinheitlichte Limits bei der Verarbeitung großer Textmengen
Die Textmenge, die die Modelle auf einmal verarbeiten können, wurde vereinheitlicht. Für alle Modelle stehen rund 64.000 Token, das sind ca. 50.000 Wörter, zur Verfügung. Token sind kleine Einheiten, in die das Modell Texte zerlegt, um sie zu verstehen. Je mehr Token, desto mehr Informationen kann der Chat gleichzeitig verarbeiten und berücksichtigen.
Beim Arbeiten mit Sprachmodellen gibt es eine Obergrenze, wie viel Text gleichzeitig verarbeiten werden kann. Wenn Sie ein Dokument hochladen, wählt das System automatisch nur die für Ihre Frage wichtigsten Textstellen aus. Diese ausgesuchten Textabschnitte sind so kurz, dass sie immer innerhalb der zulässigen Obergrenze von 64.000 Token liegen.
Die Obergrenze wird relevant, wenn Sie nach dem Hochladen die Option wählen, den ganzen Text des Dokumentes auf einmal an das Modell zu senden. Wenn der gesamte Text über die Obergrenze kommt, wird die Anfrage zurückgewiesen und Sie erhalten eine Fehlermeldung. Ebenso relevant ist die Grenze für diejenigen, die unsere API-Schnittstelle für eigene Anwendungen nutzen, denn hier muss meist die maximale Kontextgröße hinterlegt werden (Ausgabe-Token zählen hier nicht dazu).
Neuerungen und Anpassungen der letzten Monate
Wir aktualisieren und optimieren das System kontinuierlich, um Ihnen eine KI-Chat-Plattform auf möglichst hohem Niveau anzubieten. Die folgende Zusammenfassung zeigt Ihnen die wichtigsten nutzerseitigen Änderungen der letzten Monate.
Optimierter Websuchmechanismus: Unsere Suchfunktion wurde überarbeitet, um Ihnen noch schneller relevante Ergebnisse zu liefern und technische Probleme zu vermeiden.
Erweiterte Funktionen
- Embeddings-API: Entwickler können auf unser Embedding-Modell bge-m3 zurückgreifen, um ihre Anwendungen noch besser mit unserem System zu integrieren.
- OCR-Funktion: Auch Text aus gescannten Dokumenten wird nach dem Hochladen extrahiert und dem Sprachmodell zur Verfügung gestellt (kann ggf. 1-2 Minuten dauern).
Erweiterte Sprachfunktionen
- Speech-to-Text/Transkription mit Whisper: Erstellen Sie Transkripte aus Audio- und Videodateien mit höchster Genauigkeit oder sprechen Sie Prompts per Mikrofon ein.
- Text-to-Speech (englisch) mit Kokoro: Lassen Sie englische Texte laut vorlesen.
Benutzeroberfläche & Login:
- Die Benutzeroberfläche wurde verbessert und die Schaltflächen sind schneller auffindbar.
- Der Login findet nun über login.rlp.net statt.
Mehr Informationen zu den Modellen und weitere wichtige Hinweise finden Sie auf unserer Webseite:
https://www.zdv.uni-mainz.de/ki-an-der-jgu/
Mehr Neuigkeiten aus dem ZDV → finden Sie hier.