AI

Neuronale Netzwerke

Aufbau

Interpretierbarkeit

  • das finale Modell hat extrem viele Parameter
  • die einzelnen Parameter und die hidden layer haben keine klare Bedeutung mehr
  • daher oft: Bezeichnung als “Black Box”

Modellspezifikation

  • Input: Token (also Wörter/Wortteile)
  • Output: nächstes Token
  • Hyperparameter: z.B. Anzahl hidden layer, Anzahl Neuronen pro layer, etc.
  • Architecture: unterschiedliche Arten von Layers und spezielle Kombinationen davon (z.B. Transformer)

Large-Language Models

Pre-Training

  • Training auf riesigen Textkorpora (insbesondere Internet-Texte)
  • Trainingstexte werden gefiltert, können aber auch fehlerhaft sein
  • vermutlich auch viel Training mit urheberrechtlich geschütztem Material

Base-Model/System Prompts

Wie komme von der Vorhersage des nächsten Wortes zu einem Frage/Antwort-System?

Post Training

  • Supervised Finetuning: Menschengeschriebene Beispielchats (Beispiel)
  • Reinforcement Learning from Human Feedback: Modell wird auf menschliches Feedback trainiert, welche Antworten besser sind
  • Tool Use & Reasoning werden erlernt, “Persönlichkeit” wird herausgebildet

AI-Ethik

Training Bias

  • Bias in den Trainingsdaten (z.B. Stereotype und Rassismus in Internet-Texten)

Fairness

  • AI für Real-Life Decision Making: z.B. Kontrolluntersuchungen bei Sozialhilfe (Beispiel Rotterdam)
  • Fairness-Definitionen: z.B. gleiche Konfusionsmatrix/Fehlerwahrscheinlichkeit für alle demografischen Gruppen

Adversarial Actors

  • AI kann misbraucht werden (z.B. Deepfakes, biologische Risikostoffe)
  • auch im Sport: Beispiel Doping

successful prompt injection to gpt-oss-120b to provide doping instructions

Sustainability

  • enormer Ressourcenverbrauch für Training und Betrieb von Modellen

Politische und gesellschaftliche Auswirkungen

  • Einfluss AI auf Gesellschaft unklar (z.B. Arbeitsplätze, Sozialleben)
  • Konzentration enormer Macht bei wenigen Tech-Konzernen
  • z.B. KI-Regulierung als politischen Tool (siehe Fable-Bann durch US-Regierung)