Tinker API von Thinking Machines: Flexibles Fine-Tuning für Sprachmodelle

Thinking Machines hat Tinker ins Leben gerufen, eine flexible API für das Fine-Tuning von Sprachmodellen mit offenen Gewichten. Diese innovative Lösung abstrahiert die Komplexität der Infrastruktur, unterstützt große MoE-Modelle wie Qwen-235B und bietet eine Low-Level-API sowie ein Open-Source-Tinker-Kochbuch zur Implementierung fortgeschrittener Nachbearbeitungstechniken.

Tinker ermöglicht es Forschern und Entwicklern, mit Modellen zu experimentieren, indem sie die Kontrolle über die Algorithmen und Daten erhalten, während Thinking Machines die Komplexität des verteilten Trainings übernimmt. Tinker fördert die Mission, mehr Menschen zu ermöglichen, Forschung an modernen Modellen zu betreiben und diese an ihre Bedürfnisse anzupassen.

Was ist Tinker?

Tinker ist eine API, die es Nutzern ermöglicht, eine Vielzahl von großen und kleinen offenen Modellen, einschließlich großer Mischmodelle wie Qwen-235B-A22B, zu fine-tunen. Der Wechsel von einem kleinen Modell zu einem großen ist so einfach wie das Ändern eines einzelnen Strings im Python-Code. Dies macht Tinker zu einem äußerst benutzerfreundlichen Werkzeug für Entwickler und Forscher.

Managed Service für einfache Nutzung

Tinker ist ein verwalteter Dienst, der auf internen Clustern und Trainingsinfrastrukturen von Thinking Machines läuft. Das Unternehmen kümmert sich um die Planung, Ressourcenzuteilung und Fehlerrückgewinnung, sodass Nutzer sofort kleine oder große Trainingsläufe starten können, ohne sich um die Verwaltung der Infrastruktur kümmern zu müssen. Dies ist besonders vorteilhaft für Organisationen, die schnell Ergebnisse erzielen möchten, ohne sich mit der technischen Komplexität auseinandersetzen zu müssen.

Effiziente Kostenstruktur

Durch den Einsatz von LoRA (Low-Rank Adaptation) kann Tinker die gleiche Rechenressource zwischen mehreren Trainingsläufen teilen, was die Kosten erheblich senkt. Dies ermöglicht es Nutzern, ihre Ressourcen effizienter zu nutzen und gleichzeitig die Qualität ihrer Modelle zu verbessern.

API-Funktionen und das Tinker-Kochbuch

Die API von Tinker bietet Low-Level-Primitiven wie forward_backward und sample, die zur Darstellung der gängigsten Nachbearbeitungsmethoden verwendet werden können. Um jedoch gute Ergebnisse zu erzielen, müssen viele Details beachtet werden. Aus diesem Grund wird auch eine Open-Source-Bibliothek, das Tinker-Kochbuch, veröffentlicht, das moderne Implementierungen von Nachbearbeitungsmethoden enthält, die auf der Tinker-API basieren.

Erste Anwendungen und Erfolge

Gruppen an renommierten Institutionen wie Princeton, Stanford, Berkeley und Redwood Research haben bereits Tinker verwendet, um verschiedene Projekte durchzuführen:

• Die Princeton Goedel Team trainierte mathematische Theorembeweiser.
• Die Rotskoff Chemistry Group an der Stanford Universität fine-tunte ein Modell, um chemische Denkaufgaben zu lösen.
• Die SkyRL-Gruppe aus Berkeley führte Experimente mit einem benutzerdefinierten asynchronen Off-Policy RL-Trainingsloop durch.
• Redwood Research nutzte Tinker, um Qwen3-32B für schwierige KI-Kontrollaufgaben zu trainieren.

Beta-Phase und zukünftige Entwicklungen

Tinker befindet sich derzeit in einer privaten Beta-Phase für Forscher und Entwickler, die sich auf der Warteliste anmelden können. Der Dienst wird zunächst kostenlos sein, mit einer Einführung nutzungsbasierter Preisgestaltung in den kommenden Wochen. Dies stellt sicher, dass Tinker für eine breite Nutzerbasis zugänglich ist und gleichzeitig die Möglichkeit bietet, die Plattform weiterzuentwickeln.

Wir sind gespannt, was Sie mit Tinker entdecken und erstellen werden!

Quellenliste:

• Quelle: Tinker API von Thinking Machines
• Tinker Toy Computer
• Danny Hillis
• Brian Silverman
• Princeton Goedel Team
• Rotskoff Chemistry Group
• SkyRL Group
• Redwood Research