AMD stelt stilletjes een kostbare beeldprocessor voor FPGA’s open source beschikbaar

In tegenstelling tot wat sommigen wellicht denken, leggen beeldsensoren van camera’s niet op zichzelf kant-en-klare kleurenfoto’s vast. Zij registreren ruwe pixelrasters achter een kleurenmozaïekpatroon. Om een bruikbaar beeld te verkrijgen, vertrouwen fabrikanten doorgaans op eigen, kostbare beeldsignaalprocessors (ISP’s) om ruwe sensorgegevens via versleutelde code om te zetten in gestructureerde video. Net als eigen ISP’s verwerkt Mini-ISP de volledige conversieprocedure binnen programmeerbare logica, maar het is open source en kan worden ingezien. Het voert zwartniveaukalibratie uit, Bayer-demosaicing om volledige RGB-kleuren te reconstrueren, witbalans en globale toonmapping om natuurlijke kleuren weer te geven op aangesloten beeldschermen. Hoewel de ingenieurs van AMD de code aanvankelijk stilletjes beschikbaar stelden, hebben recente updates het Mini-ISP-project omgevormd tot een pakket dat klaar is voor praktische hardwareontwerpen.

Het project onderscheidt zich tevens door de overdaad aan functies, die gebruikelijk is bij commerciële IP, te vermijden om de prestaties van de beeldverwerking te verbeteren. ISP-kernen van derden verbruiken doorgaans duizenden FPGA-logische poorten (LUT’s) en DSP-slices om zware ruimtelijke afvlakkingsfilters uit te voeren. Mini-ISP laat zware ruisonderdrukking en nabewerking volledig achterwege. Door zich te concentreren op essentiële kleurcorrectie en pixelreconstructie verwerkt de kern 1, 2 of 4 pixels per klokcyclus bij snelheden tot 500 MHz. Deze lichtgewicht architectuur levert een doorvoersnelheid van maximaal 2 gigapixels per seconde met een pijplijnlatentie van minder dan een milliseconde.

Voor bouwers van robotica, ontwerpers van drones en onderzoekers op het gebied van embedded vision biedt deze stille lancering van AMD een waardevol hulpmiddel voor beeldverwerking. Het stelt ontwikkelaars die kosteneffectieve Spartan UltraScale+ of Artix FPGA’s inzetten in staat om op maat gemaakte camerapijplijnen te bouwen zonder hoge licentiekosten aan leveranciers te hoeven betalen.