Ich glaube da habe ich mich missverständlich ausgedrückt. Von Llama 2.0 existieren seitens META je zwei Modelle. Das gewöhnliche 7b, 13b und 70b und die chat Variante in 7b, 13b, 70b (die chat variante ist auf chats feinabgestimmt). Dazu kommt dass Llama wie MPG und Falcon Open Source ist und frei zur Verfügung stehen. Das führt dazu, dass diverse Nutzer und Unternehmen ihre eigenen Modelle fein abgestimmt haben, weshalb auf Hugging Face bsw. Story-Writer, Codier, weitere Chat, ect. Versionen verfügbar sind.

Ein MoE Modell ist, wenn ich das richtig im Kopf habe ein Modell, das von Haus aus auf verschiedene Szenarien (Experts) abgestimmt ist, die zusammen geliefert werden. Man kann mehrere oder alle Experts gleichzeitig laden und nutzen, wenn ich mich nicht täusche.

Im Prinzip hat die Community und die Wirtschaft die Feinabstimmung zu den verschiedenen Experts bei den genannten Open Source Modellen übernommen. Nur das diese nicht als Paket kommen sondern einzeln geladen (und verwendet) werden müssen. Natürlich schwankt auch die Qualität abhängig von der Quelle.

Ich meine allerdings, dass es speziell von MPT ein MoE Modell gäbe, sicher bin ich mir da gerade nicht.

Kann natürlich gut sein, dass ich gerade völlig falsch damit liege was MoEs sind. Habe mich noch nicht allzu ausgiebig mit solchen beschäftigt.

Naja. LLMs machen nichts anderes als das wahrscheinlichste nächste Wort vorherzusagen.

Genauer gesagt bricht das Modell die Eingabe in sogenannte Tokens auf (das können einzelne Wörter sein, Teile von Wörtern oder sogar ganze Wortfolgen, je nach Modell) und ordnet jedem Token einem nunerischen Vektor zu. Diese Vektoren werden dann analysiert und mithilfe des Algorithmus werden im besten Fall Muster erkannt. Das Modell macht dann im Grunde nichts weiter als die erkannten Muster fortzusetzen.

Letztendlich ist die Antwort eines LLMs nichts weiter als eine statistische Wahrscheinlichkeitsberechnung, wobei die Daten für die Statistik aus den Trainingsdaten stammen.

Sofern diese Trainingsdaten dem Modell also beibringen faul zu sein, ist es das Modell auch.

Interessanter ist hier schon die Überlegung was am Training bei ChatGPT nicht stimmt.

Grundsätzlich gibt es verschiedene Arten des Trainings:

Zuerst das Pre-Training: Dabei wird dem Modell anhand riesiger Datenmengen von Texten eine Grundlage gegeben, um die Grundlagen der Sprache zu lernen

Dann die Fine-Tuning: Hierbei spezifischere Daten genutzt, um das Modell für einen oder mehrere bestimmte Zwecke zu trainieren.

Und schließlich eventuell das Reinforcement Learning: Dabei werdem dem Modell weitere neue Daten gegeben und die Antworten analysiert. Wenn Fehler gefunden werden, werden die Korrekturen ebenfalls zum Training eingesetzt.

Ich vermute (vorsicht hier kann ich nur Mutmaßen), dass ein großer Teil der aktuellen Trainingsdaten von ChatGPT derzeit aus von den Nutzern als schlecht bewertete Konversationen stammt. Andere Daten werden vermutlich von OpenAI spezifisch ausgewählt, um unerwünschtes Verhalten allgemein zu korrigieren (bsw. unmoralische Ratschläge, sexuelle Sprache ect. oder bestimmte Fähigkeiten zu stärken.

Das kritische am trainieren nach dem Pre-Training ist, dass sich nicht nur der Teil des Modells ändert, auf den man es abgesehen hat, sondern die statistische Grundlage insgesamt verändert wird. Ich gehe davon aus, dass das insbesondere auf korrigierte Beispiele zutrifft, da diese ja bewusst dem vom Modell erwarteten klar widersprechen.

Wenn man also einem Modell beibringen will, dass es im Chat keine erotischen Bemerkungen machen soll, wirkt sich das womöglich auch auf Fragen zur Anatomie aus (weil dort eben auch Begriffe verwendet werden, die in anderem Kontext anstößig sind oder zumindest mit solchen Wörtern assoziiert werden (Synonyme). Und zu einer unerwünschten Aussage gehören ja nicht nur spezifische Wörter, sondern auch Satzbausteine (die anders zusammengesetzt völlig unkritisch sind), Grammatik, usw… Das Modell weiß nicht wo der Fehler liegt. Es analysiert die angeblich falsche und die angeblich richtige Antwort, erkennt Muster und vergleicht diese miteinander. Dabei kann es auch Muster in der falschen Antwort erkennen, die nichts mit dem Grund zu tun haben, wieso es falsch ist.

Dazu kommt, dass die Bewertung von Nutzern eine Vorauswahl der Daten darstellt. Ich gehe davon aus, dass die Daten, die für das letztendliche Training genutzt werden zumindest rudimentär gegengeprüft werden, aber OpenAI wird kaum die Manpower haben, um alle Konversationen zu prüfen und sich nicht auf Bewertungen der Nutzer zu verlassen. Jetzt ändert sich aber das Bewertungsverhalten mit den Erwartungen und hängt von der Subjektiven Wahrnehmung der Nutzer ab. Die Qualität der Vorauswahl varriert also mit der öffentlichen Wahrnehmung von KI und dem Nutzerstamm. Es kann also gut sein, dass die Schwerpunkte im Training dadurch von den tatsächlichen Problemen abweicht und sich ü erdies noch ändert.

Kurz gesagt. Es ist relativ schwierig das Modell von bestimmten unerwünschten Aussagen abzubringen ohne die Qualität aller Antworten zu beeinflussen. Dasselbe kann natürlich auch passieren, wenn man versucht eine bestimmte Fähigkeit des Modells zu verbessern (z.B. zum codieren). Man kann eben nicht nur an einer Schraube drehen, sondern dreht immer an hunderten.

Eine Lösung für dieses Problem besteht bsw. in spezialisierten Modellen. Bsw. eine gemeinsamme Grundlage und dann Fine-Tuning auf Codierungs-Modell, Texterstellungsmodell, moralisch einwandfreies Chat Modell, ect… Das machen viele der kleineren Modelle (wie Llama, MPT, Falcon, ect.). In der Theorie lässt sich diese Spezialisierung auch weiter aufspalten.

ChatGPT versucht da eben eine Art eierlegende Wollmilchsau zu sein. Das bringt immer auch Nachteile mit sich.

Vorsicht! Vermutlich lachen mich die, die wirklich Ahnung haben, gerade aus. Ich bin kein Fachmann. Das ist nur mein (Halb-)Wissensstand.

Edit: Nur nochmal zur Klarstellung. Das ist absolut vereinfacht. Viele Aspekte von LLMs sind hier nur angeschnitten oder gar nicht berücksichtigt.

Even if the are more efficient, they earned the regarding profit for a small number of people, who has to much. For the society it is a loose loose. The services become more expensive and it lead to a redistribution of wealth from poor to rich, whitch is even worse for the society and the economy.

Naja. Es gibt auch andere Extremwetter-Ereignisse, die ich anerkennen würde (Tornados zum Beispiel). Dazu zählen auch extreme Temperaturen in beide Richtungen (gerade bei Hitze - von mir aus, kann jeder der will auch nackt Sport treiben, aber irgendwann kann man einfach nicht mehr mehr ausziehen).

Ob wir bei -15°C von solchen extremen Temperaturen reden können, ist eine andere Frage.

Von mir aus können wir uns darauf einigen, dass die ernsthafte Gleichsetzung von Scholz und Hitler Mist ist. Es gibt das Element der Überspitzung in der Satire, die bewusst mit einem solchen sehr ungleichen Vergleich spielt, aber da wird es sehr sehr grau im Bereich zwischen Anstand und Satire.

Das geb ich dir.

Aber im Ernst. Scholz Aussage verdient die Differenzierung, die du ihr andichtest, nicht. Das ist simpler (Rechts-)Populismus. Mal ganz abgesehen von der Diskussion welche Abschiebung nun gerechtfertigt oder nicht ist (da ist man dann sehr sehr schnell im Graubereich zwischen Anstatt und Menschenverachtung), er stellt damit illegale Migration als schlicht DAS Problem unserer Gesellschaft dar. Das ist schlich Unsinn und ein rechtes Narrativ. Die Faktenlage zeigt nichts, was diese Empörung verdient. Da auf das Framing der Nazis einzugehen, mag Scholz noch nicht unbedingt zu einem solchen machen, aber es verdient sehr sehr starke Kritik und ja, auch den ein oder anderen stsrk überspitzten Vergleich.

Am Herzinfarkt sterben doch viel mehr menschen jedes Jahr. Oder was meinst du?

Du bringst dann vermutlich auch nicht das Argument, um zu erklären, wieso die Grünen alles zerstören.

Erst mal das Handy raus holen und ein Foto machen.

Ich meine nicht unbedingt. Es gibt glaube ich gesonderte Umstände. An der Stelle vermutlich nicht gegeben.

Die C-Nophobe Diarrhö Union und die C-Nophobe Scheiße Union.

Klar gab es eine Brandmauer. Eine die schnell brennt.

Ein hervorragendes beispiel warum Satzzeichen entscheidend sind.

Ich nehme an, du wuchst nicht nach solchen Inhalten oder bietest dem Algorithmus sonst irgendwelche Hinweise, dass du sowas sehen können wolltest?

Zeigt nur mal wieder wie absolut gesellschaftsschädigend soziale Medien sind, die kontroverse Themen, wie vor allem Rechtspopulismus, in den Vordergrund stellen, weil sie Aufmerksamkeit und damit Profit erzeugen. Verachtenswert.

Exakt meine Rede. Es ist wie bei den “besorgten Bürgern”. Man konzentriert sich auf die Täter und wie schwer es die doch haben und vergisst dabei die Opfer.

Sorry, aber ich halte in Anbetracht einer womöglich offenen rechtsradikalen Gesinnung in der Schulzeit und dem Umgang mit den Vorwürfen den Medienrummel für vollkommen angebracht. So ein Flugblatt verfasst man nicht und legt diese Gesinnungen dann ohne ausführlichen Wandel und vermutlich auch nicht ohne Hilfe ab. Und wenn die ernsthafte Chance (es sind ja nicht nur kreativ konstruierte Hirngespinste) besteht, dass jemand in so einer Position so tickt, dann muss das mindestens einen solchen Skandal auslösen, vor allem wenn der Umgang damit so ist, wie er ist.

Yes, but one side makes jokes on them, cause there believe in a obviously misanthropic view of live, that will harm themselves, and cause there believe in a imaginary friend, who says them they should prefer an really old book full of contradictions instead of science, and …

The other side is far away from perfect and not always right, but this is not on the same level.

Both side aren’t the same.

Das sind Demonstranten. Meinetwegen sind ihre Methoden unbeliebt und in mancherlei hinsicht sogar rechtlich fragwürdig, aber sie setzen sich auf Straßen und jagen dieselben nicht in die Luft. Das kann man immer noch kritisieren, wer darauf allerdings mit Hass und teilweise sogar mit Gewalt reagiert, ist das einzige Problem der Gesellschaft in der ganzen Sache. Egal ob es 20%, 40% oder deine (ziemlich sicher unsinnigen) 90% sind, die sich davon gestört fühlen.

Von mir aus kannst du gerne diese Art der Demonstration nicht gut heißen, das ist dein gutes Recht, aber als Konsequenz daraus den Hass, der gegen diese Leute geschürt wird, dadurch zu rechtfertigen, geht gar nicht.

Das ist ja gerade der Witz. Die setzen sich wo hin, wo sie nicht sitzen sollen. Ja, das verstößt womöglich gegen die STVO, aber Terrorismus, ernsthaft? Ich stell mich ja auch nicht hin und behaupte alle Falschparker wären Terroristen oder jeder der keine Rettungsgasse hinbekommt (was imho mehr schaden anrichten dürfte). Diese Klimaaktivisten sind soweit vom Terrorismus entfernt, wie die Bild von Seriösität.

Ui. Bekommen wir unseren eigenen Bigfoot?