Kurz erklärt
Quantisierung ist ein Verfahren, mit dem große KI-Modelle nachträglich kompakter und ressourcenschonender gemacht werden, indem die numerische Genauigkeit ihrer Parameter reduziert wird.
Das spart enorm viel Speicherplatz und Rechenleistung, sodass Modelle oft sogar auf Smartphones oder herkömmlichen Laptops laufen, kann jedoch zu leichten Einbußen bei der Antwortqualität führen. Ein anschaulicher Vergleich ist die Bildkomprimierung: Ein Foto mit 8 Megapixeln benötigt deutlich weniger Speicher als eines mit 16 Megapixeln, sieht auf einem normalen Bildschirm aber fast genauso scharf aus – erst beim starken Vergrößern fallen fehlende Details auf.