Warum Cohere’s ehemalige AI-Forschungsleiterin gegen das Skalierungsrennen wettert

A growing group of AI researchers are saying that the scaling of large language models may be reaching its limits and that other breakthroughs may be needed to improve AI performance.

Einleitung

Die Diskussion über die Skalierung von großen Sprachmodellen (LLMs) hat in den letzten Jahren an Intensität gewonnen. Während viele Unternehmen Milliarden in den Bau riesiger Datenzentren investieren, um die Leistung ihrer KI-Modelle zu steigern, gibt es eine wachsende Skepsis unter Forschern, dass diese Strategie langfristig nachhaltig ist. Sara Hooker, die ehemalige VP von AI Research bei Cohere, hat mit ihrem neuen Startup Adaption Labs einen alternativen Ansatz gewählt, der sich auf adaptive KI-Modelle konzentriert.

Die Grenzen der Skalierung

Die Idee, dass mehr Rechenleistung zu besseren KI-Modellen führt, ist in der Branche weit verbreitet. Doch immer mehr Forscher warnen davor, dass die Skalierung von LLMs an ihre Grenzen stößt. In einem Interview erklärte Hooker: “Es gibt einen Wendepunkt, an dem es sehr klar ist, dass die Formel des bloßen Skalierens dieser Modelle nicht die Intelligenz hervorgebracht hat, die in der Lage ist, mit der Welt zu interagieren.”

Adaption Labs: Ein neuer Ansatz

Mit Adaption Labs verfolgt Hooker das Ziel, KI-Systeme zu entwickeln, die kontinuierlich lernen und sich an ihre Umgebung anpassen können. Dies steht im Gegensatz zu den derzeit dominierenden Ansätzen, die stark auf die Skalierung von Modellen setzen. Hooker betont, dass das Anpassen der Kern des Lernens ist, und dass aktuelle Methoden wie das Reinforcement Learning (RL) nicht ausreichen, um KI-Modelle in der Praxis zu verbessern.

Die Herausforderungen des Reinforcement Learning

Obwohl RL es KI-Modellen ermöglicht, aus ihren Fehlern zu lernen, geschieht dies oft nicht in Echtzeit, wenn die Systeme bereits im Einsatz sind. Hooker kritisiert, dass viele AI-Labore teure Beratungsdienste anbieten, um Unternehmen bei der Feinabstimmung ihrer Modelle zu helfen, was die Zugänglichkeit und Effizienz der Technologie einschränkt.

Aktuelle Trends in der KI-Forschung

Die Skepsis gegenüber der Skalierung von LLMs wird durch aktuelle Forschungsergebnisse untermauert. Eine Studie des MIT hat gezeigt, dass die größten KI-Modelle bald abnehmende Erträge zeigen könnten. Richard Sutton, ein Turing-Preisträger und als “Vater des Reinforcement Learning” bekannt, äußerte Bedenken, dass LLMs nicht aus realen Erfahrungen lernen können, was ihre langfristige Anwendbarkeit einschränkt.

Die Zukunft der KI

Wenn Hooker und Adaption Labs mit ihrem Ansatz recht haben, könnte dies erhebliche Auswirkungen auf die KI-Branche haben. Milliarden wurden bereits in die Skalierung von LLMs investiert, in der Annahme, dass größere Modelle zu allgemeiner Intelligenz führen werden. Es könnte jedoch sein, dass echtes adaptives Lernen nicht nur leistungsfähiger, sondern auch kostengünstiger ist.

Fazit

Die Diskussion über die Skalierung von KI-Modellen und die Notwendigkeit neuer Ansätze wird in den kommenden Jahren an Bedeutung gewinnen. Die Herausforderungen, die mit der aktuellen Strategie verbunden sind, erfordern innovative Lösungen, die über die bloße Skalierung hinausgehen. Adaption Labs könnte mit seinem Fokus auf adaptive KI-Modelle einen wichtigen Beitrag zu dieser Diskussion leisten.

Quellenliste:

• Quelle: Why Cohere’s ex-AI research lead is betting against the scaling race
• Meta Data Center AI Manhattan
• The AI industry’s scaling obsession is headed for a cliff
• AI scaling laws are showing diminishing returns
• Inside OpenAI’s quest to make AI do anything for you