• 0 Posts
  • 11 Comments
Joined 1 year ago
cake
Cake day: June 24th, 2024

help-circle
rss
  • Das ist richtig. KI ist ein eher ein Sammelbegriff und nicht klar definierbar.

    Hier hatte ich LLMs gemeint.

    “Verstehen” ist auch mehr als Metapher gemeint, da ich größere Vorkenntnisse über die Technologie in der Comunnity hier erwartet hatte. Ich hätte näher ausführen sollen was damit genau gemeint ist.

    Der “context” ist ein temporärer Bereich der bei jedem Chat mit einer LLM neu kreiert wird. Darin denkt/arbeitet/schreibt/generiert das Modell und kann theoretisch gesehen so groß sein wie es die Hardware erlaubt. Also in den hunderte Millionen token. Das nützt aber nichts wenn das Modell nur noch Buchstabensalat generiert wenn die trainierte Länge überschritten wurde.

    Wichtig zu meinem Kommentar ist hier, egal wie lang die beworbene Länge context ist, (bei den meisten 128k-200k und Google 1m), die tatsächliche Länge womit das Modell arbeiten kann ist meist drastisch kürzer.

    Ja, das Modell kann bis zum Ende des context sinnvoll klingende Sätzen schreiben ohne komplett zu kollabieren, das bedeutet jedoch nicht das das geschriebene tatsächlich Sinn ergibt.

    Mein “Verstehen” bezieht sich darauf, wieviel context das Modell nutzen kann und trotzdem mit Sinn antworten kann. Wird ihm also ein langer Artikel oder eine große Studie eingespeist, sollte es keine Details vergessen oder übersehen.

    Wird z.B. ein 200k Modell randvoll mit einer Codebase gestopft, ist es quasi garantiert das es Funktionen im 60-200k Bereich vergisst. Es kann wahrscheinlich nicht mal annähernd wiedergeben was gegen Ende des context überhaupt steht.

    Das meine ich mit Verstehen, weil das Modell zwar theoretisch die Informationen im context hat, damit aber nichts anfangen kann.


  • “KI wird auf Junior-Level bleiben,”

    Ganz schön kühne These.

    Die Fähigkeiten der KI Modelle, vor allem in der Programmierung, sind seit 2022 stetig gestiegen und es gibt keine Anzeichen das es irgendwie stagnieren würde. Klar wird es limits geben, die sind jedoch noch nicht mal klar definierbar.

    Vor einem Jahr hatte keine KI mehr als 60k token context wirklich verstanden, heute können Modelle 100k oder in Googles Fall bis zu 400k gut verstehen.

    Um umfangreiche Codebases größerer Unternehmen zu laden werden bis zu zwei Millionen token context benötigt.

    Wenn das möglich ist, wird die KI nicht mehr wie ein Junior arbeiten.

    Halluzination sind ein wirkliches Limit der Technologie, sind jedoch durch die noch relativ neuen “Denk Fähigkeiten” und tools wie RAG stark reduzierbar.

    Klar, eine LLM wird nie AGI, aber mehr als Junior alle mal.

    Ich persönlich denke das LLMs zusammen mit verschiedenen Frameworks und tools gut genug werden können um die nächste Architektur zu entwickeln die tatsächlich zu AGI führen kann.

    Dem Problem mit den fehlenden Senior Entwicklern Stimme ich im Prinzip zu. Jedoch denke ich das die Seniors in einem Jahrzehnt oder so nur noch KIs managen und schauen das die unterschiedlichen Coding Agents das machen was sie sollen. Daher werden in Zukunft auch viel weniger gebraucht.


  • Falls jemand die Satire nicht gelesen hat, hier kurzes PSA.

    Wilde Tiere die sich freiwillig den Menschen nähern, sollten mit Vorsicht behandelt werden.

    Selbst Tiere die sich unglücklicherweise in von Menschen bewohnten Gebieten aufhalten und diese aktiv aufsuchen, wie Füchse oder Bären die Müll durchstöbern, fliehen meistens sobald sich ein Mensch nähert.

    Dieser Instinkt wird im Prinzip nur aus zwei Gründen ignoriert. Das Tier wurde von Menschen aufgezogen oder das Tier ist Krank.

    Und auf Krankheit möchte ich hier aufmerksam machen. Wenn ein Tier mit Tollwut infiziert ist, verliert es große Teile seiner Überlebensinstinkte. Das führt dann dazu, dass es nicht mehr vom Menschen wegrennt und sich diesen fast hilfesuchend nähert. Das ist natürlich gefährlich da das kranke Tier sich unberechenbar und erratisch Verhalten kann. Tollwut wird primär durch Bisse übertragen, sollte der Speichel des Tieres jedoch mit einer Wunde in Kontakt kommen kann die auch schon zur Infektion führen.

    Daher immer Vorsicht walten lassen wenn sich ein Tier nicht so verhält wie es sollte.

    Ach ja, falls jemand Rehkitze in Feld/Wiese/Gebüsch/etc findet, nicht anfassen! Sollte es am nächsten Tag immer noch dort sein dann vlt jemand benachrichtigen. Ist es aus irgendeinem Grund nötig das Tier zu bewegen weil es in akuter Gefahr steckt, dann nicht direkt anfassen oder in getragene Kleidung wickeln weil der Geruch zu Ablehnung von der Mutter führen kann.

    Thema Geruch, das Vogelbabys die aus dem Nest fallen dann nach wieder reinlegen wegen Geruch abgelehnt werden ist ein Mythos. Vögel haben einen sehr schwach ausgeprägten Geruchssinn. Sollten sie jedoch mitbekommen das jemand an ihrem Nest war, geben sie dieses komplett auf. Im Prinzip also schauen das man nicht “erwischt” wird, sonst gefährdet man die restliche Brut. Also nicht ewig über dem Nest aufhalten und der gefallene Vogel wird später wie alle anderen behandelt wenn die Mutter zurückkehrt.




  • The problem with nightshade or similar tools is, that if you leave the changes it makes at too weak a setting, then it can be pretty easily removed. For example GAN upscalers that pre date modern “AI”, were pretty much built to remove noise or foreign patterns. And if you make the changes strong enough that they can’t be removed by these models (because so much information was lost), then the image looks like shit. Its really difficult to strike a balance here.


  • The only clip I remember of him, was how he reiterated his statement that anyone watching loli is a PDF file. That seems to be the complete opposite of your statement. Are you one of those conservatives that just hates gay people and invents shit like this? I heard that the right wing people in america like to try and associate gay people with PDF file stuff.