Ich würde vor allem behaupten, dass niemand kompetent damit ist. Selbst die krassesten Forscher können dir nicht erklären warum genau so ein Modell eine gewisse Entscheidung fällt, oder wie man das wirklich abtrainieren kann. Am Ende wendet man einfach irgendeine Maßnahme auf die Trainingsdaten oder -parameter an und misst dann, ob es besser oder schlechter geworden ist.
Ja, aber das ist dennoch wissenschaftlich. Man nennt das Empirie.
Das Problem, dass Modelle unvorhersehbare Ergebnisse liefern, liegt nicht an mangelndem Determinismus (LLMs sind wider Vorstellung einiger deterministisch), sondern an der Komplexität respektive der Größenordnung der Parametrisierung, die die Grenzen der Berechenbarkeit mit konventionellen Mitteln sprengt.
Modelle entscheiden nichts, sie produzieren einfach eine Abfolge von Tokens basierend auf statistischen Metriken, welche über Training/Feintuning angepasst werden.
Abtrainieren ist ein weiter Begriff. Auf jeden Fall lassen sich Ergebnisse potentiell unterdrücken oder stimulieren. Man muss halt verstehen, dass es hier um Stochastik geht, nichts ist absolut berechenbar, sondern nur mit einer bestimmten Wahrscheinlichkeit prädizierbar und das ganze bleibt somit eine empirische, aber eben keine exakte Methode. Das heißt aber nicht, dass man darüber keine Theorie bilden kann.
Was du da ansprichst, nennt sich A-B Testing. Das ist so ein typisches Ding, was man in empirischen Wissenschaften macht. Zum Beispiel auch in der Medizin, wo man Medikation ändert, um zu sehen, wie der Körper darauf reagiert. Aber das macht es nicht zur Quacksalberei.
Was ich damit sagen will: Wissenschaftliche Kompetenz bedeutet hier nicht ultimatives Wissen über die produzierten Ergebnisse, sondern über den theoretischen Hintergrund. Insofern möchte ich dir da widersprechen, es gibt jede Menge kompetenter Menschen und das sind bei weitem nicht alles Professoren.
Hmm, fairer Einwand, aber wenn ich es sehr genau nehme, dann würde ich z.B. eine Person, die an schwarzen Löchern forscht als “kompetent” bezeichnen, weil die Person in Astrophysik und Co. kompetent ist. Ich würde sie aber nicht unbedingt als “kompetent damit” bezeichnen, also was die schwarzen Löcher selbst angeht.
Bzw. die Definition von DWDS ist: fachkundig, erfahren, den Anforderungen gerecht werdend
Fachkundig sind die Leute. Erfahren zu einem gewissen Grad. Aber “den Anforderungen gerecht werdend” ist für mich definitiv ein Knackpunkt, also insbesondere wenn auch von “kompetent genug” gesprochen wird.
Also ja, keine Ahnung, vielleicht sollte meine Aussage etwas differenzierter sein. Wenn’s darum geht irgendwelche Flavor-Texte oder -Bilder zu generieren, dann sind die Leute definitiv kompetent genug mit LLMs, weil da nicht viel schief gehen kann.
Leider wollen, meiner Erfahrung nach, sehr viele Unternehmen am liebsten die LLMs auch über teilweise kritische Themen entscheiden lassen, wo die Experten selbst niemals zustimmen würden, dass sie dafür kompetent oder die LLMs geeignet sind.
Ich verstehe, dann geht’s dir um die Kompetenz der Anwendung. Ja, das ist schon so, aber das würde ich mal in die allgemeine Problematik der inkompetenten Anwendung von Computersystemen stecken wollen. Da haben wir seit jeher das Dilemma, dass komplexe Systeme irgendwie bunt und vermeintlich einfach gestaltet werden, damit eben jeder Wald- und Wiesennutzer sie verwenden kann. Das wiederum gipfelt irgendwann in verantwortungsloser Anwendung, weil die Leute eben nicht wirklich verstehen, was sie da eigentlich tun. Im Grunde ist das Information Hiding, aber eben auf Anwendungsebene anstatt auf Seite des Menschen.
Ein anschauliches Beispiel ist es, wenn Politiker über sowas reden. In dem Moment, wo die Fremdscham aufkommt, zeigt sich eigentlich dieses Kompetenzgefälle.
Ich würde vor allem behaupten, dass niemand kompetent damit ist. Selbst die krassesten Forscher können dir nicht erklären warum genau so ein Modell eine gewisse Entscheidung fällt, oder wie man das wirklich abtrainieren kann. Am Ende wendet man einfach irgendeine Maßnahme auf die Trainingsdaten oder -parameter an und misst dann, ob es besser oder schlechter geworden ist.
Ja, aber das ist dennoch wissenschaftlich. Man nennt das Empirie.
Das Problem, dass Modelle unvorhersehbare Ergebnisse liefern, liegt nicht an mangelndem Determinismus (LLMs sind wider Vorstellung einiger deterministisch), sondern an der Komplexität respektive der Größenordnung der Parametrisierung, die die Grenzen der Berechenbarkeit mit konventionellen Mitteln sprengt.
Modelle entscheiden nichts, sie produzieren einfach eine Abfolge von Tokens basierend auf statistischen Metriken, welche über Training/Feintuning angepasst werden.
Abtrainieren ist ein weiter Begriff. Auf jeden Fall lassen sich Ergebnisse potentiell unterdrücken oder stimulieren. Man muss halt verstehen, dass es hier um Stochastik geht, nichts ist absolut berechenbar, sondern nur mit einer bestimmten Wahrscheinlichkeit prädizierbar und das ganze bleibt somit eine empirische, aber eben keine exakte Methode. Das heißt aber nicht, dass man darüber keine Theorie bilden kann.
Was du da ansprichst, nennt sich A-B Testing. Das ist so ein typisches Ding, was man in empirischen Wissenschaften macht. Zum Beispiel auch in der Medizin, wo man Medikation ändert, um zu sehen, wie der Körper darauf reagiert. Aber das macht es nicht zur Quacksalberei.
Was ich damit sagen will: Wissenschaftliche Kompetenz bedeutet hier nicht ultimatives Wissen über die produzierten Ergebnisse, sondern über den theoretischen Hintergrund. Insofern möchte ich dir da widersprechen, es gibt jede Menge kompetenter Menschen und das sind bei weitem nicht alles Professoren.
Hmm, fairer Einwand, aber wenn ich es sehr genau nehme, dann würde ich z.B. eine Person, die an schwarzen Löchern forscht als “kompetent” bezeichnen, weil die Person in Astrophysik und Co. kompetent ist. Ich würde sie aber nicht unbedingt als “kompetent damit” bezeichnen, also was die schwarzen Löcher selbst angeht.
Bzw. die Definition von DWDS ist: fachkundig, erfahren, den Anforderungen gerecht werdend
Fachkundig sind die Leute. Erfahren zu einem gewissen Grad. Aber “den Anforderungen gerecht werdend” ist für mich definitiv ein Knackpunkt, also insbesondere wenn auch von “kompetent genug” gesprochen wird.
Also ja, keine Ahnung, vielleicht sollte meine Aussage etwas differenzierter sein. Wenn’s darum geht irgendwelche Flavor-Texte oder -Bilder zu generieren, dann sind die Leute definitiv kompetent genug mit LLMs, weil da nicht viel schief gehen kann.
Leider wollen, meiner Erfahrung nach, sehr viele Unternehmen am liebsten die LLMs auch über teilweise kritische Themen entscheiden lassen, wo die Experten selbst niemals zustimmen würden, dass sie dafür kompetent oder die LLMs geeignet sind.
Ich verstehe, dann geht’s dir um die Kompetenz der Anwendung. Ja, das ist schon so, aber das würde ich mal in die allgemeine Problematik der inkompetenten Anwendung von Computersystemen stecken wollen. Da haben wir seit jeher das Dilemma, dass komplexe Systeme irgendwie bunt und vermeintlich einfach gestaltet werden, damit eben jeder Wald- und Wiesennutzer sie verwenden kann. Das wiederum gipfelt irgendwann in verantwortungsloser Anwendung, weil die Leute eben nicht wirklich verstehen, was sie da eigentlich tun. Im Grunde ist das Information Hiding, aber eben auf Anwendungsebene anstatt auf Seite des Menschen.
Ein anschauliches Beispiel ist es, wenn Politiker über sowas reden. In dem Moment, wo die Fremdscham aufkommt, zeigt sich eigentlich dieses Kompetenzgefälle.