Updates zu Apples On-Device und Server Foundation Language Models

Apple hat auf der WWDC 2025 neue Funktionen der Apple Intelligence vorgestellt, darunter On-Device Foundation Models, die Entwicklern helfen, KI-Erlebnisse in ihre Apps zu integrieren, während gleichzeitig der Datenschutz gewahrt bleibt.

Einführung in die Apple Intelligence

Am 9. Juni 2025 präsentierte Apple eine neue Generation von Sprachmodellen, die speziell entwickelt wurden, um die Funktionen der Apple Intelligence in den neuesten Softwareversionen zu verbessern. Mit dem neuen Foundation Models Framework erhalten App-Entwickler direkten Zugang zu dem On-Device Foundation Language Model, das im Kern der Apple Intelligence steht.

Architekturen der Modelle

Die entwickelten Modelle, sowohl für On-Device als auch für Server, wurden optimiert, um eine Vielzahl von Leistungs- und Bereitstellungsanforderungen zu erfüllen. Das On-Device Modell ist auf Effizienz optimiert und speziell für Apple Silicon ausgelegt, was eine latenzarme Verarbeitung mit minimalem Ressourcenverbrauch ermöglicht. Das Servermodell hingegen ist darauf ausgelegt, hohe Genauigkeit und Skalierbarkeit für komplexere Aufgaben zu bieten.

Optimierungen und Effizienzsteigerungen

Beide Modelle wurden durch neue Architekturen effizienter gestaltet. Das On-Device Modell wurde in zwei Blöcke mit einem 5:3 Tiefenverhältnis unterteilt, was die Nutzung des KV-Cache-Speichers um 37,5 % reduziert und die Zeit bis zum ersten Token erheblich verbessert. Das Servermodell verwendet ein paralleles Track-Mixture-of-Experts (PT-MoE) Design, das die Synchronisationsüberhead signifikant reduziert und eine effiziente Skalierung ermöglicht.

Training und Datenquellen

Die Modelle wurden mit einer Vielzahl von qualitativ hochwertigen Daten trainiert, einschließlich lizenzierten Inhalten und öffentlich verfügbaren Daten. Apple verwendet keine privaten Benutzerdaten oder Interaktionen für das Training seiner Foundation Models. Stattdessen werden fortschrittliche Web-Crawling-Strategien eingesetzt, um hochwertige Inhalte zu priorisieren.

Text- und Bilddaten

Um die visuellen Fähigkeiten der Apple Intelligence zu verbessern, wurden Bilddaten in den Pre-Training-Prozess integriert. Dies umfasst eine Vielzahl von Bild-Text-Paaren, die aus lizenzierten Daten und öffentlich verfügbaren Inhalten stammen. Apple hat auch ein internes Bildbeschriftungsmodell entwickelt, das qualitativ hochwertige Beschreibungen generiert.

Pre-Training und Post-Training

Das Pre-Training der Modelle wurde in mehreren Phasen durchgeführt, wobei der erste, rechenintensive Schritt sich auf die Textmodalität konzentrierte. Das On-Device Modell wurde mit einem Distillationsverlust trainiert, während das Servermodell von Grund auf auf 14 Billionen Texttokens trainiert wurde.

Verantwortungsvolle KI

Die Apple Intelligence ist von den Kernwerten des Unternehmens geprägt, insbesondere in Bezug auf den Datenschutz. Apple hat Prinzipien für verantwortungsvolle KI entwickelt, die sicherstellen, dass die Tools und Modelle verantwortungsbewusst entwickelt werden. Diese Prinzipien werden in jeder Phase des Entwicklungsprozesses berücksichtigt.

Fazit

Die neuen Sprachmodelle von Apple bieten eine Vielzahl von Funktionen, die in die Softwareplattformen integriert sind und Entwicklern helfen, KI-Funktionen in ihre Apps zu integrieren. Die Modelle sind effizienter und leistungsfähiger, was eine breite Palette von hilfreichen Funktionen ermöglicht.

Quellenliste:

• Quelle: Updates zu Apples On-Device und Server Foundation Language Models
• Private Cloud Compute
• Apple’s Core Values
• Generative AI Human Interface Guidelines