Quantimetrische Bildverarbeitung - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:21

(Die obige Abbildung zeigt den Vergleich der bestehenden Bildverarbeitungsmethode mit der quantimetrischen Bildverarbeitung. Beachten Sie das verbesserte Ergebnis. Das Bild oben rechts zeigt seltsame Artefakte, die von der falschen Annahme herrühren, dass Bilder etwas wie Licht messen. Das Bild unten rechts zeigt ein besseres Ergebnis, wenn Sie dasselbe tun quantimetrisch.)

In diesem Instructable erfahren Sie, wie Sie die Leistung vorhandener Bildgebungs- oder Bilderfassungssysteme mit einem sehr einfachen Konzept erheblich verbessern können: Quantimetrische Bilderfassung

Quantimetrische Bildverarbeitung verbessert die folgenden Punkte erheblich:

• Vorhandene Bildverarbeitung wie Bildentschärfen;
• Maschinelles Lernen, Computer Vision und Mustererkennung;
• Tragbare Gesichtserkennung (siehe https://wearcam.org/vmp.pdf), KI- und HI-basiertes Sehen usw.

Die Grundidee besteht darin, die Bilder quantimetrisch vor- und nachzubearbeiten, wie folgt:

1. Erweitern Sie den Dynamikbereich des Bildes oder der Bilder;
2. Verarbeiten Sie das Bild oder die Bilder wie gewohnt;
3. Komprimieren Sie den Dynamikbereich des Bildes oder der Bilder (d. h. machen Sie Schritt 1 rückgängig).

In früheren Instructables habe ich einige Aspekte der HDR-Erfassung (High Dynamic Range) und der quantometrischen Erfassung gelehrt, z. Linearität, Überlagerung usw..

Lassen Sie uns dieses Wissen nun nutzen.

Nehmen Sie einen beliebigen vorhandenen Prozess, den Sie verwenden möchten. Das Beispiel, das ich zeigen werde, ist das Entschärfen von Bildern, aber Sie können es auch für fast alles andere verwenden.

Schritt 1: Erweitern Sie den Dynamikbereich Ihres Bildes oder Ihrer Bilder

(Abbildungen aus "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, November 2001)

Der erste Schritt besteht darin, den Dynamikbereich des Eingabebilds zu erweitern.

Idealerweise sollten Sie zuerst die Reaktionsfunktion der Kamera, f, bestimmen und dann die umgekehrte Reaktion, f invers, auf das Bild anwenden.

Typische Kameras komprimieren den Dynamikbereich, daher möchten wir normalerweise eine expansive Funktion anwenden.

Wenn Sie die Antwortfunktion nicht kennen, versuchen Sie zunächst etwas Einfaches wie das Laden des Bildes in ein Bildarray, das Umwandeln der Variablen in einen Datentyp wie (float) oder (double) und das Erhöhen jedes Pixelwerts auf einen Exponenten, wie zum Beispiel das Quadrieren jedes Pixelwerts.

Begründung:

Warum machen wir das?

Die Antwort ist, dass die meisten Kameras ihren Dynamikumfang komprimieren. Der Grund dafür ist, dass die meisten Anzeigemedien den dynamischen Bereich erweitern. Dies ist ganz zufällig: Die Lichtmenge, die von einem Fernsehbildschirm mit Kathodenstrahlröhre emittiert wird, ist ungefähr gleich der auf den Exponenten von 2,22 angehobenen Spannung, so dass, wenn der Videospannungseingang ungefähr die Hälfte beträgt, die emittierte Lichtmenge viel ist weniger als die Hälfte.

Fotografische Medien sind auch dynamisch weitreichend. Beispielsweise emittiert eine fotografische "neutrale" Graukarte 18 % des einfallenden Lichts (nicht 50 % des einfallenden Lichts). So viel Licht (18 %) wird als in der Mitte der Antwort betrachtet. Wie Sie sehen können, verhalten sich Anzeigemedien, wenn wir uns einen Graphen der Ausgabe als Funktion der Eingabe ansehen, so, als ob sie ideale lineare Anzeigen wären, die einen Dynamikbereichs-Expander vor der idealen linearen Reaktion enthalten.

In der oberen Abbildung oben sehen Sie die Anzeige mit einer gestrichelten Linie eingerahmt, und dies entspricht einem Expander vor der idealen linearen Anzeige.

Da Displays von Natur aus expansiv sind, müssen Kameras komprimierend ausgelegt werden, damit die Bilder auf den vorhandenen Displays gut aussehen.

In den alten Tagen, als es Tausende von Bildschirmen von Fernsehempfängern und nur ein oder zwei Sendestationen (zB nur eine oder zwei Fernsehkameras) gab, war es einfacher, eine komprimierende Nichtlinearität in die Kamera zu legen, als alle Fernsehgeräte abzurufen und Setzen Sie einen in jeden Fernsehempfänger ein.

Dies half zufällig auch bei der Geräuschreduzierung. Im Audio nennen wir das "Dolby" ("companding") und vergeben ein Patent dafür. Im Video ist es völlig zufällig passiert. Stockham schlug vor, dass wir den Logarithmus von Bildern nehmen sollten, bevor wir sie verarbeiten, und dann den Antilog. Was ihm nicht bewusst war, ist, dass dies bei den meisten Kameras und Displays bereits ganz zufällig geschieht. Stattdessen schlug ich vor, genau das Gegenteil von dem zu tun, was Stockham vorgeschlagen hatte. (Siehe "Intelligente Bildverarbeitung", John Wiley and Sons Interscience Series, Seite 109-111.)

Im unteren Bild sehen Sie die vorgeschlagene antihomomorphe (quantimetrische) Bildverarbeitung, bei der wir den Schritt der Expansion und Kompression des Dynamikbereichs hinzugefügt haben.

Schritt 2: Verarbeiten Sie die Bilder oder führen Sie Computer Vision, maschinelles Lernen oder Ähnliches durch

Der zweite Schritt nach der Erweiterung des Dynamikbereichs besteht darin, die Bilder zu verarbeiten.

In meinem Fall habe ich einfach eine Entfaltung des Bildes durchgeführt, mit der Unschärfefunktion, also Bildentschärfen, wie es im Stand der Technik allgemein bekannt ist.

Es gibt zwei große Kategorien der quantimetrischen Bilderfassung:

• Menschen helfen zu sehen;
• Maschinen beim Sehen helfen.

Wenn wir versuchen, den Leuten beim Sehen zu helfen (das ist das Beispiel, das ich hier zeige), sind wir noch nicht fertig: Wir müssen das verarbeitete Ergebnis zurück in den Imagespace bringen.

Wenn wir Maschinen beim Sehen helfen (z. B. Gesichtserkennung), sind wir jetzt fertig (Sie müssen nicht mit Schritt 3 fortfahren).

Schritt 3: Rekomprimieren Sie den Dynamikbereich des Ergebnisses

Wenn wir im erweiterten Dynamikbereich arbeiten, spricht man von "Lightspace" (quantimetrischem Bildraum).

Am Ende von Schritt 2 befinden wir uns im Lightspace und müssen zum Imagespace zurückkehren.

In diesem Schritt 3 geht es also darum, zum Imagespace zurückzukehren.

Um Schritt 3 auszuführen, komprimieren Sie einfach den Dynamikbereich der Ausgabe von Schritt 2.

Wenn Sie die Reaktionsfunktion der Kamera kennen, wenden Sie sie einfach an, um das Ergebnis f(p(q)) zu erhalten.

Wenn Sie die Reaktionsfunktion der Kamera nicht kennen, raten Sie einfach.

Wenn Sie die Bildpixel in Schritt 1 quadriert haben, ist es jetzt an der Zeit, die Quadratwurzel jedes Bildpixels zu ziehen, um zu Ihrer Schätzung bezüglich des Bildraums zurückzukehren.

Schritt 4: Vielleicht möchten Sie einige andere Variationen ausprobieren

Das Entschärfen ist nur eines von vielen möglichen Beispielen. Betrachten Sie zum Beispiel die Kombination von Mehrfachbelichtungen.

Machen Sie zwei beliebige Bilder, wie die beiden, die ich oben habe. Eine wurde tagsüber genommen, die andere nachts.

Kombinieren Sie sie zu einem dämmerungsähnlichen Bild.

Wenn Sie nur den Durchschnitt zusammenfassen, sieht es wie Müll aus. Versuchen Sie es selbst!

Aber wenn Sie zuerst den Dynamikumfang jedes Bildes erweitern, dann hinzufügen und dann den Dynamikumfang der Summe komprimieren, sieht es großartig aus.

Vergleichen Sie die Bildbearbeitung (Hinzufügen der Bilder) mit der quantimetrischen Bildbearbeitung (Erweitern, Hinzufügen und dann Komprimieren).

Sie können meinen Code und weiteres Beispielmaterial hier herunterladen:

Schritt 5: Weiter gehen: Versuchen Sie es jetzt mit HDR-Bild-Composites

(Bild oben: HDR-Schweißhelm verwendet quantimetrische Bildverarbeitung für Augmented-Reality-Overlays. Siehe Slashgear 2012, 12. September)

Zusammenfassend:

Nehmen Sie ein Bild auf und führen Sie die folgenden Schritte aus:

1. Erweitern Sie den Dynamikbereich des Bildes;
2. das Bild verarbeiten;
3. komprimieren Sie den Dynamikbereich des Ergebnisses.

Und wenn Sie ein noch besseres Ergebnis erzielen möchten, versuchen Sie Folgendes:

Erfassen mehrerer unterschiedlich belichteter Bilder;

1. Erweitern Sie den Dynamikbereich in den Lichtraum, wie in meinem vorherigen Instructable auf HDR;
2. Verarbeiten des resultierenden quantimetrischen Bildes q im Lichtraum;
3. Komprimieren Sie den Dynamikbereich durch Tonemapping.

Viel Spaß und bitte klicken Sie auf "Ich habe es geschafft" und posten Sie Ihre Ergebnisse. Ich werde gerne Kommentare abgeben oder konstruktive Hilfe leisten.