Kimi-Dev-72B: Ein neuer Maßstab für Open-Source Coding LLMs

Moonshot AI hat mit Kimi-Dev-72B ein neues Open-Source-Modell für Softwareentwicklungsaufgaben vorgestellt, das eine bemerkenswerte Leistung von 60,4 % auf dem SWE-bench Verified erzielt hat. Dies stellt einen neuen Rekord unter den Open-Source-Modellen dar und zeigt das Potenzial von KI in der Softwareentwicklung.

Einführung in Kimi-Dev-72B

Kimi-Dev-72B ist ein leistungsstarkes und offenes Coding-Language Model (LLM), das speziell für die Lösung von Softwareproblemen entwickelt wurde. Es wurde durch großangelegtes Reinforcement Learning optimiert und kann eigenständig reale Repositories in Docker patchen. Dabei erhält es Belohnungen, wenn die gesamte Test-Suite erfolgreich besteht, was sicherstellt, dass die Lösungen korrekt und robust sind und den Standards der realen Entwicklung entsprechen.

Leistungsmerkmale

Die herausragenden Merkmale von Kimi-Dev-72B umfassen:

• Eine Leistung von 60,4 % auf dem SWE-bench Verified, was es zum führenden Open-Source-Modell macht.
• Optimierung durch großangelegtes Reinforcement Learning, das die Qualität der Lösungen verbessert.
• Verfügbarkeit für Download und Einsatz auf Hugging Face und GitHub, was Entwicklern und Forschern die Möglichkeit gibt, die Fähigkeiten des Modells zu erkunden und zur Weiterentwicklung beizutragen.

Technische Details und Nutzung

Das Modell hat eine Größe von 72,7 Milliarden Parametern und verwendet den Tensor-Typ BF16. Um Kimi-Dev-72B in einem Projekt zu verwenden, können Entwickler den folgenden Code verwenden:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "moonshotai/Kimi-Dev-72B"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Gib mir eine kurze Einführung in große Sprachmodelle."
messages = [
    {"role": "system", "content": "Du bist ein hilfreicher Assistent."},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(**model_inputs, max_new_tokens=512)

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

Schlussfolgerung

Kimi-Dev-72B stellt einen bedeutenden Fortschritt im Bereich der Open-Source-Modelle dar und bietet Entwicklern eine leistungsstarke Lösung für Softwareentwicklungsaufgaben. Die Kombination aus hoher Leistung und der Möglichkeit zur Anpassung macht es zu einem wertvollen Werkzeug für die Softwareentwicklung.

Quellenliste:

• Quelle: Introducing Kimi-Dev: A Strong and Open-source Coding LLM for Issue Resolution
• Safetensors
• Kimi-Dev GitHub Repository