Ich glaube da habe ich mich missverständlich ausgedrückt. Von Llama 2.0 existieren seitens META je zwei Modelle. Das gewöhnliche 7b, 13b und 70b und die chat Variante in 7b, 13b, 70b (die chat variante ist auf chats feinabgestimmt). Dazu kommt dass Llama wie MPG und Falcon Open Source ist und frei zur Verfügung stehen. Das führt dazu, dass diverse Nutzer und Unternehmen ihre eigenen Modelle fein abgestimmt haben, weshalb auf Hugging Face bsw. Story-Writer, Codier, weitere Chat, ect. Versionen verfügbar sind.

Ein MoE Modell ist, wenn ich das richtig im Kopf habe ein Modell, das von Haus aus auf verschiedene Szenarien (Experts) abgestimmt ist, die zusammen geliefert werden. Man kann mehrere oder alle Experts gleichzeitig laden und nutzen, wenn ich mich nicht täusche.

Im Prinzip hat die Community und die Wirtschaft die Feinabstimmung zu den verschiedenen Experts bei den genannten Open Source Modellen übernommen. Nur das diese nicht als Paket kommen sondern einzeln geladen (und verwendet) werden müssen. Natürlich schwankt auch die Qualität abhängig von der Quelle.

Ich meine allerdings, dass es speziell von MPT ein MoE Modell gäbe, sicher bin ich mir da gerade nicht.

Kann natürlich gut sein, dass ich gerade völlig falsch damit liege was MoEs sind. Habe mich noch nicht allzu ausgiebig mit solchen beschäftigt.

Naja. LLMs machen nichts anderes als das wahrscheinlichste nächste Wort vorherzusagen.

Genauer gesagt bricht das Modell die Eingabe in sogenannte Tokens auf (das können einzelne Wörter sein, Teile von Wörtern oder sogar ganze Wortfolgen, je nach Modell) und ordnet jedem Token einem nunerischen Vektor zu. Diese Vektoren werden dann analysiert und mithilfe des Algorithmus werden im besten Fall Muster erkannt. Das Modell macht dann im Grunde nichts weiter als die erkannten Muster fortzusetzen.

Letztendlich ist die Antwort eines LLMs nichts weiter als eine statistische Wahrscheinlichkeitsberechnung, wobei die Daten für die Statistik aus den Trainingsdaten stammen.

Sofern diese Trainingsdaten dem Modell also beibringen faul zu sein, ist es das Modell auch.

Interessanter ist hier schon die Überlegung was am Training bei ChatGPT nicht stimmt.

Grundsätzlich gibt es verschiedene Arten des Trainings:

Zuerst das Pre-Training: Dabei wird dem Modell anhand riesiger Datenmengen von Texten eine Grundlage gegeben, um die Grundlagen der Sprache zu lernen

Dann die Fine-Tuning: Hierbei spezifischere Daten genutzt, um das Modell für einen oder mehrere bestimmte Zwecke zu trainieren.

Und schließlich eventuell das Reinforcement Learning: Dabei werdem dem Modell weitere neue Daten gegeben und die Antworten analysiert. Wenn Fehler gefunden werden, werden die Korrekturen ebenfalls zum Training eingesetzt.

Ich vermute (vorsicht hier kann ich nur Mutmaßen), dass ein großer Teil der aktuellen Trainingsdaten von ChatGPT derzeit aus von den Nutzern als schlecht bewertete Konversationen stammt. Andere Daten werden vermutlich von OpenAI spezifisch ausgewählt, um unerwünschtes Verhalten allgemein zu korrigieren (bsw. unmoralische Ratschläge, sexuelle Sprache ect. oder bestimmte Fähigkeiten zu stärken.

Das kritische am trainieren nach dem Pre-Training ist, dass sich nicht nur der Teil des Modells ändert, auf den man es abgesehen hat, sondern die statistische Grundlage insgesamt verändert wird. Ich gehe davon aus, dass das insbesondere auf korrigierte Beispiele zutrifft, da diese ja bewusst dem vom Modell erwarteten klar widersprechen.

Wenn man also einem Modell beibringen will, dass es im Chat keine erotischen Bemerkungen machen soll, wirkt sich das womöglich auch auf Fragen zur Anatomie aus (weil dort eben auch Begriffe verwendet werden, die in anderem Kontext anstößig sind oder zumindest mit solchen Wörtern assoziiert werden (Synonyme). Und zu einer unerwünschten Aussage gehören ja nicht nur spezifische Wörter, sondern auch Satzbausteine (die anders zusammengesetzt völlig unkritisch sind), Grammatik, usw… Das Modell weiß nicht wo der Fehler liegt. Es analysiert die angeblich falsche und die angeblich richtige Antwort, erkennt Muster und vergleicht diese miteinander. Dabei kann es auch Muster in der falschen Antwort erkennen, die nichts mit dem Grund zu tun haben, wieso es falsch ist.

Dazu kommt, dass die Bewertung von Nutzern eine Vorauswahl der Daten darstellt. Ich gehe davon aus, dass die Daten, die für das letztendliche Training genutzt werden zumindest rudimentär gegengeprüft werden, aber OpenAI wird kaum die Manpower haben, um alle Konversationen zu prüfen und sich nicht auf Bewertungen der Nutzer zu verlassen. Jetzt ändert sich aber das Bewertungsverhalten mit den Erwartungen und hängt von der Subjektiven Wahrnehmung der Nutzer ab. Die Qualität der Vorauswahl varriert also mit der öffentlichen Wahrnehmung von KI und dem Nutzerstamm. Es kann also gut sein, dass die Schwerpunkte im Training dadurch von den tatsächlichen Problemen abweicht und sich ü erdies noch ändert.

Kurz gesagt. Es ist relativ schwierig das Modell von bestimmten unerwünschten Aussagen abzubringen ohne die Qualität aller Antworten zu beeinflussen. Dasselbe kann natürlich auch passieren, wenn man versucht eine bestimmte Fähigkeit des Modells zu verbessern (z.B. zum codieren). Man kann eben nicht nur an einer Schraube drehen, sondern dreht immer an hunderten.

Eine Lösung für dieses Problem besteht bsw. in spezialisierten Modellen. Bsw. eine gemeinsamme Grundlage und dann Fine-Tuning auf Codierungs-Modell, Texterstellungsmodell, moralisch einwandfreies Chat Modell, ect… Das machen viele der kleineren Modelle (wie Llama, MPT, Falcon, ect.). In der Theorie lässt sich diese Spezialisierung auch weiter aufspalten.

ChatGPT versucht da eben eine Art eierlegende Wollmilchsau zu sein. Das bringt immer auch Nachteile mit sich.

Vorsicht! Vermutlich lachen mich die, die wirklich Ahnung haben, gerade aus. Ich bin kein Fachmann. Das ist nur mein (Halb-)Wissensstand.

Edit: Nur nochmal zur Klarstellung. Das ist absolut vereinfacht. Viele Aspekte von LLMs sind hier nur angeschnitten oder gar nicht berücksichtigt.

Da ist aber dann gerade die Kombination aus Wind und Solar interessant. Wind produziert im Winter tatsächlich mehr, sodass sich bei Kombinationen 50:50 beides statistisch in etwas aufhebt (das Problem im Winter ist eher der gesteigerte Energiebedarf durch heizen).

Gerade dann ist eine Stromtrasse zwischen eher Windkraftstarken Ländern zu eher Solarkraftstarken Ländern wichtig um diese Linie noch weiter zu glätten.

Ohne Frage. Da bin ich völlig bei dir. Wollte nur darauf hinweisen, dass der europäische Strommarkt zumindest bei Erneuerbaren nicht per se etwas schlechtes ist.

Was die Propagandawirkung anbelangt, bin ich voll bei dir.

Sehr interessant und durchaus plausibel, nur eine kleinere Anmerkung.

Ein europaweites Stromnetz, funktioniert gerade mit erneuerbaren super. Die Bedingungen unterscheiden sich vielleicht nicht zwischen Belgien und den Niederlanden allzu spürbar, aber zwischen Belgien und Italien (bsw.) sehr wohl. Ja, Atomkraftwerke produzieren immer überall gleich viel Energie. Diese angebliche Stärke ist tatsächlich eine ihrer Schwächen. Bei Erneuerbaren ist es sehr wohl ortsabhängig, was ein großer Vorteil ist.

Statstisch gesehen reduziert sich das Risiko einer kompletten Flaute (kein Wind, keine Sonne) natürlich umso größer der Bereich ist, den man betrachtet. Das bedeutet mit einer vernünftigen Verteilung und einem europaweiten Stromnetz, sind Erneuerbare praktisch grundlastfähig (eigentlich trifft das auch schon deutschlandweit zu, aber größer ist in diesem Fall tatsächlich noch besser).

Also auch wenn Frankreich den europäischen Strommarkt tatsächlich genutzt hat, um die eigenen Schwächen im Ausbau zu kaschieren, so ist dasselbe Konzept, wenn es um erneuerbare geht, tatsächlich so gewollt.

Of cause you’re right. I tried to take it with humor. As I said. A little bit off topic.

A little bit offside.

Today I tried to host a large language model locally on my windows PC. It worked surprisingly successfull (I’m unsing LMStudio, it’s really easy, it even download the models for you). The most models i tried out worked really good (of cause it isn’t gpt-4 but much better than I thought), but in the end I discuss 30 minutes with one of the models, that it runs local and can’t do the work in the background at a server that is always online. It tried to suggest me, that I should trust it, and it would generate a Dropbox when it is finish.

Of cause this is probably caused by the adaption of the model from a model that is doing a similiar service (I guess), but it was a funny conversation.

And if I want a infinite repetition of a single work, only my PC-Hardware will prevent me from that and no dumb service agreement.

Even if the are more efficient, they earned the regarding profit for a small number of people, who has to much. For the society it is a loose loose. The services become more expensive and it lead to a redistribution of wealth from poor to rich, whitch is even worse for the society and the economy.

Perhaps they are afraid of sitting next to someone from Sweden who eats Surströming.

Maybe you prefer to block a second seat, when you sit on a two person bank. ^^

Und Deutwchland unter eine weit rechte AFD Regierung. Ich weiß, dass LePen noch mal deutlich näher dran an der Regierung ist als die AFD, aber sowohl der LePen, als auch der AFD will ich eigentlich keine Handhabe über Atomwaffen geben.

Vermutlich schon. Es wird dadurch tendenziell Wertschöpfung an Zulieferer (Batteriehersteller etc.) ausgelagert und die bekommen dann auch ein größeres Stück vom Gewinn.

Ich denke ehrlich gesagt, dass das Gegenteil der Fall ist. Einer der hervorstechendsten Unterschiede zwischen E-Auto und Verbrenner ist die Differenz der verbauten Teile. Für einen Verbrenner sind wesentlich mehr notwendig, was sich auch in der Zahl der Zulieferer niederschlägt. Tatsächlich dürfte der Trend zu E-Autos für die Zuliefererbranche deutlich verherrender sein, als für die großen Autokonzerne (mit Ausnahme der Unternehmen, die ein paar Jahre vorgedacht und sich bereits auf das kommende eingestellt haben, aber hier sind wir wieder beim selben Thema).

Zugegeben, die geringere Quantität an Zulieferern ändert wenig daran, dass die Batterie im Augenblick einen deutlich größeren Anteil am Wert eines Autos hat, als sagen wir ein übliches 6-Gang Getriebe. Trotzdem bezweifle ich, dass die Autohersteller hier mehr an externe Zulieferer abdrücken müssen, als zuvor. Zumindest nicht langfristig. Derzeit stehen sie womöglich wieder vor dem Problem, dass sie nicht rechtzeitig in die zugehörige Industrie investiert haben und kurzfristig Verträge schließen müssen. Langfristig gehe ich allerdings davon aus, dass sie diesbezüglich massiv kosten einsparen können, insbesondere wenn sie die Betteriefertigung selbst übernehmen (was bei einigen großen Autoherstellern bereits der Fall ist und bei anderen wie VW zumindest im Aufbau).

So oder so. Ein E-Auto ist im Kern deutlich weniger Komplex als ein Verbrenner. Der derzeitige Flaschenhals für den Preis (die Akkuproduktion), war lange Zeit vor allem ein materialwissenschaftliches Problem, ist jetzt bor allem ein Skalierungsproblem und wird künftig durch erwartbare Evolution in der Materialwissenschaft deutlich sinken. Das hat zur Folge, dass Autos bauen langfristig ein gutes Stück günstiger wird (auch wenn ich davon überzeugt bin, dass ein möglicher Preisverfall zumindest teilweise durch noch teurere Zubehörverkäufe und Co abgebremst wird). Für die Autohersteller bedeutet das mehr Marge oder mehr Absatz. So oder so gut für die Branche.

Wenn VW jetzt Arbeiter entlassen muss, statt zu expandieren, dann zeigt das nur die Inkompetenz des Managements. Wenn man ein paar Jahre mehr vorplant, hätte man diese Entwicklungen voraussehen können und die Kosten für die Wende wären erheblich geringer gewesen. Diese Inkompetenz müssen jetzt die Arbeitnehmer und realistisch gesprochen der Staat und damit die Bürger tragen.

Dem Betriebsrat kann man wie ich bereits sagte vorwerfen, dass er ebenfalls nicht zu einer sinnvollen Ausrichtung des Unternehmens gedrängt hat. Sie haben sicherlich ihren Teil dazu beigetragen, dass der Konzern notwendige Investitionen nicht rechtzeitig getätigt haben. Das sie jedoch vernünftige Verträge und Arbeitnehmerrechte für die Arbeitnehmer herausgeschlagen haben, hat mit dem Problem nichts zu tun.

Im Kern bleibt ein inkompetentes Management, die die aktuelle Krise nutzen um ihrem üblichen Framing gegen Arbeitnehmerrechte Gewicht zu verleihen. Was natürlich auch bequemer ist, denn wenn man tatsächliche Fehler des Betriebsrates anspricht, dann klaffen da eben die eigenen deutlich größeren.

Sicherlich ist die Sache nicht schwarz und weiß. Aber das Framing des Management, es liege an Arbeitnehmerrechten, ist böswillig falsch.

Dem Betriebsrat kann man vorwerfen, dass sie keinen Druck gemacht haben, das Unternehmen zukunftsicher aufustellen. Ja, durch E-Autos fallen in der Theorie erstmal Jobs weg. Gleichzeitig verdient man mit E-Autos ja nicht plötzlich weniger Geld und könne deshalb weniger in die Belegschaft investieren. Hätte VW die Wende früh genug begonnen, hätte man eine vernünftige Strategie ausarbeiten können, die das berücksichtigt. Umschulungen für junge Mitarbeiter (eventuell Expansion um wegfallende Stellen auszugleichen) und eine im Verhältnis schrumpfende Belegschaft wegen Ruhestand statt Kündigung.

Was ich damit sagen will. Der Konzern hats verbockt und dazu hat vermutlich auch der Betriebsrat einen Teil beigetragen. Das Management benennt jetzt aber unsinnige Feinbilder von Arbeitgebern, wie faire Bezahlung und Schutz gegen unwillkürliche Kübdigungen, ect., die das Problem nicht verursacht haben, anstatt die Sache ernsthaft aufzuarbeiten.

Es gibt seriöse und geschmackvolle Aktphotografie. Das hier fällt eher nicht darunter.

Hay is for horses.

Oh Upps. Hab allhemein Feddit.de durchsucht und nicht nach Communities gefiltert. Danke für den Hinweis.

Mit dem österreichischen Steuerrecht kenne ich mich nicht so gut aus, jedoch glaube ich dir sofort, dass sich vieles, das ich aus Deutschland kenne, diesbezüglich auf Österreich übertragen lässt. Falls dir ein größerer Unterschied einfällt, wäre das interessant zu hören.

KIs können sowas inzwischen echt gut.

Die Steuerlast ist für Gering- und Mittelverdiener zu hoch. Das ist richtig. Gleichzeitig liegt Deutschland gemessen am BIP bei Abgaben und Steuern insgesamt unter dem Westeuropäischen Durchschnitt (deutlich unter Frankreich, Skandinavien, ect.).

Das Problem ist, dass aufgrund gewaltiger Steuerschlupflöcher, welche vor allem Vermögenden und großen Unternehmen zugute kommen, die zurückhaltende Besteuerung von superreichen, die komplett fehlende Besteuerung von Vermögen, die pauschale Besteuerung von Kapitalerträgen (Funfact, die ursprüngliche Besteuerung und Alternative zur Pauschalertragssteuer würde Kleinanleger entlasten), ect. unfassbare Mengen an Geld fehlen, die auch durch die hohen Steuersätze auf Einkommen nicht ausgeglichen werden können.

Insgesamt hat Deutschland keinen besonders hohen Staatshaushalt gemessen an dem Wohlstand, den es in Deutschland gibt. Es ist kein Wunder, dass Deutschland eines der beliebtesten Länder bei Milliardären ist (Platz 4).

Eines der Probleme ist, dass die Parteien, die lauthals mit Steuersenkungen werben, dafür viele Pluspunkte bei denen sammeln, die tatsächlich recht hohe Steuern zahlen, die Steuersenkungen, die dann allerdings von diesen Parteien durchgeführt sind, vor allem wieder superreiche Begünstigen.

Press X for doubt.

Würden sie sicher gerne. Jedoch bezweifle ich, dass sie das dürften.

Wie immer eine Frage der Fragenstellung und derer, die diese gestellt bekommen.

Die Mehrheit aller Fußgänger sind auch Autofahrer. Inwiefern man das trennen kann, weiß ich nicht.