Wie jede große Technologiefirma heutzutage hat Meta ihr eigenes Flaggschiff-generative KI-Modell namens Llama. Llama ist unter den großen Modellen einzigartig, da es 'open' ist, was bedeutet, dass Entwickler es herunterladen und nach Belieben verwenden können (mit bestimmten Einschränkungen). Im Gegensatz zu Modellen wie Anthropic's Claude, OpenAI's GPT-4o (das ChatGPT antreibt) und Googles Gemini, auf die nur über APIs zugegriffen werden kann.
Im Interesse der Wahlmöglichkeiten für Entwickler hat Meta auch Partnerschaften mit Anbietern wie AWS, Google Cloud und Microsoft Azure geschlossen, um Cloud-basierte Versionen von Llama verfügbar zu machen. Darüber hinaus hat das Unternehmen Tools veröffentlicht, die darauf ausgelegt sind, es einfacher zu machen, das Modell feinzustellen und anzupassen.
Hier finden Sie alles, was Sie über Llama wissen müssen, von seinen Fähigkeiten und Editionen bis hin zu den Orten, an denen Sie es verwenden können. Wir werden diesen Beitrag aktualisieren, wenn Meta Upgrades veröffentlicht und neue Entwicklerwerkzeuge einführt, um die Nutzung des Modells zu unterstützen.
Was ist Llama?
Llama ist eine Modellfamilie - nicht nur eine:
- Llama 8B
- Llama 70B
- Llama 405B
Die neuesten Versionen sind Llama 3.1 8B, Llama 3.1 70B und Llama 3.1 405B, die im Juli 2024 veröffentlicht wurden. Sie sind auf Webseiten in verschiedenen Sprachen, öffentlichen Codes und Dateien im Web, sowie auf synthetischen Daten (d.h. Daten, die von anderen KI-Modellen generiert wurden) trainiert.
Die Modelle Llama 3.1 8B und Llama 3.1 70B sind kleine, kompakte Modelle, die auf Geräten von Laptops bis Servern laufen sollen. Llama 3.1 405B hingegen ist ein groß angelegtes Modell, das (abgesehen von einigen Modifikationen) Hardware im Rechenzentrum erfordert. Llama 3.1 8B und Llama 3.1 70B sind weniger leistungsfähig als Llama 3.1 405B, aber schneller. Tatsächlich sind sie 'destillierte' Versionen von 405B, optimiert für geringen Speicherplatzbedarf und Latenz.
Alle Llama-Modelle haben 128.000 Tokenkontextfenster. (In der Datenwissenschaft sind Tokens untergeordnete Teile von Rohdaten, wie die Silben 'Fan', 'Tas' und 'Tic' im Wort 'Fantastisch'.) Der Kontext eines Modells oder Kontextfenster bezieht sich auf Eingabedaten (z.B. Text), die das Modell vor der Generierung von Ausgaben (z.B. zusätzlichem Text) berücksichtigt. Ein langer Kontext kann verhindern, dass Modelle den Inhalt neuer Dokumente und Daten 'vergessen' und vom Thema abweichen und falsche Extrapolationen vornehmen.
Diese 128.000 Token entsprechen etwa 100.000 Wörtern oder 300 Seiten, was sich auf die Länge von 'Sturmhöhe', 'Gullivers Reisen' und 'Harry Potter und der Gefangene von Askaban' bezieht.
Was kann Llama?
Wie andere generative KI-Modelle kann Llama eine Vielzahl verschiedener unterstützender Aufgaben ausführen, wie Codierung und Beantwortung grundlegender mathematischer Fragen, sowie das Zusammenfassen von Dokumenten in acht Sprachen (Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai). Die meisten textbasierten Arbeitslasten - denken Sie an die Analyse von Dateien wie PDFs und Tabellen - gehören in seinen Aufgabenbereich; keines der Llama-Modelle kann jedoch Bilder verarbeiten oder generieren, obwohl sich das möglicherweise in naher Zukunft ändern könnte.
Alle aktuellen Llama-Modelle können konfiguriert werden, um Drittanbieter-Apps, Tools und APIs für die Ausführung von Aufgaben zu nutzen. Sie werden von Anfang an darauf trainiert, Brave Search zum Beantworten von Fragen zu aktuellen Ereignissen, die Wolfram Alpha API für mathematische und wissenschaftliche Anfragen und einen Python-Interpreter zur Validierung von Code zu verwenden. Darüber hinaus sagt Meta, dass die Llama 3.1-Modelle bestimmte Tools verwenden können, die sie zuvor nicht gesehen haben (ob sie diese Tools zuverlässig nutzen können, ist jedoch eine andere Frage).
Wo kann ich Llama verwenden?
Wenn Sie einfach mit Llama chatten möchten, ist es Teil des Meta AI-Chatbot-Erlebnisses auf Facebook Messenger, WhatsApp, Instagram, Oculus und Meta.ai.
Entwickler, die mit Llama arbeiten, können das Modell auf den meisten gängigen Cloud-Plattformen herunterladen, verwenden oder feineinstellen. Meta behauptet, über 25 Partner zu haben, die Llama hosten, darunter Nvidia, Databricks, Groq, Dell und Snowflake.
Einige dieser Partner haben zusätzliche Tools und Dienste auf der Grundlage von Llama entwickelt, darunter Tools, die es den Modellen ermöglichen, auf proprietäre Daten zu verweisen und ihnen zu ermöglichen, mit geringeren Latenzen zu laufen.
Meta schlägt vor, seine kleineren Modelle, Llama 8B und Llama 70B, für Anwendungen im Allgemeinen wie die Unterstützung von Chatbots und die Generierung von Code zu verwenden. Llama 405B sollte laut Unternehmen für Modelldestillation - den Vorgang des Übertragens von Wissen von einem großen Modell auf ein kleineres, effizienteres Modell - und die Generierung synthetischer Daten zum Training (oder zur Feinabstimmung) alternativer Modelle vorbehalten sein.
Wichtig ist, dass die Llama-Lizenz festlegt, wie Entwickler das Modell bereitstellen können: App-Entwickler mit mehr als 700 Millionen monatlichen Nutzern müssen eine spezielle Lizenz von Meta anfordern, die das Unternehmen nach eigenem Ermessen gewährt.
Welche Tools bietet Meta für Llama?
Neben Llama bietet Meta Tools, die darauf abzielen, das Modell 'sicherer' zu machen:
- Llama Guard, ein Moderationsrahmen
- Prompt Guard, ein Tool zum Schutz vor Prompt-Injektionsangriffen
- CyberSecEval, eine Suite zur Bewertung von Cybersicherheitsrisiken
Llama Guard versucht, potenziell problematischen Inhalt entweder, der einem Llama-Modell zugeführt wird oder von ihm erzeugt wird, wie Inhalt, der sich auf kriminelle Aktivitäten, Kindesausbeutung, Urheberrechtsverletzungen, Hass, Selbstverletzung und sexuellen Missbrauch bezieht, zu erkennen. Entwickler können die Kategorien blockierter Inhalte anpassen und die Blöcke auf alle Sprachen anwenden, die Llama von Anfang an unterstützt.
Wie Llama Guard kann Prompt Guard Text blockieren, der für Llama bestimmt ist, aber nur Text, der darauf abzielt, das Modell 'anzugreifen' und es zu unerwünschtem Verhalten zu bringen. Meta behauptet, dass Llama Guard sich gegen explizit bösartige Impulse verteidigen kann (d.h. Jailbreaks, die versuchen, die eingebauten Sicherheitsfilter von Llama zu umgehen) sowie gegen Impulse, die 'injiziert Inputs' enthalten.
Was CyberSecEval betrifft, handelt es sich weniger um ein Tool als vielmehr um eine Sammlung von Benchmarks zur Messung der Modellsicherheit. CyberSecEval kann das Risiko bewerten, das ein Llama-Modell (zumindest nach Metas Kriterien) für App-Entwickler und Endbenutzer in Bereichen wie 'automatisierte soziale Manipulation' und 'Skalierung von offensiven Cyberoperationen' darstellt.
Einschränkungen von Llama
Llama hat wie alle generativen KI-Modelle bestimmte Risiken und Einschränkungen.
Beispielsweise ist unklar, ob Meta Llama auf urheberrechtlich geschützten Inhalten trainiert hat. Wenn dies der Fall ist, könnten Benutzer haftbar gemacht werden, wenn sie unwissentlich einen urheberrechtlich geschützten Ausschnitt verwenden, den das Modell wiedergegeben hat.
Laut einem aktuellen Bericht von Reuters hat Meta AI-Training trotz der Warnungen seiner eigenen Anwälte auf urheberrechtlich geschützten E-Books durchgeführt. Das Unternehmen trainiert seine KI kontroverserweise auf Instagram- und Facebook-Beiträge, Fotos und Bildunterschriften und erschwert es den Benutzern, sich abzumelden. Darüber hinaus ist Meta zusammen mit OpenAI Gegenstand einer laufenden Klage von Autoren, darunter die Komikerin Sarah Silverman, wegen des angeblich unautorisierten Einsatzes urheberrechtlich geschützter Daten für das Modelltraining.
Programmierung ist ein weiterer Bereich, in dem es ratsam ist, beim Einsatz von Llama vorsichtig zu sein. Das liegt daran, dass Llama - wie seine generativen KI-Gegenstücke - fehlerhaften oder unsicheren Code produzieren kann.
Wie immer ist es am besten, einen menschlichen Experten den von KI generierten Code überprüfen zu lassen, bevor er in einen Dienst oder eine Software integriert wird.
