Exclusief: Geekbench oprichter reageert op Pixel 8 benchmark blokkeren controverse

Notebookcheck bracht onlangs het verhaal naar buiten dat Google blijkbaar heeft geblokkeerd schrijvers heeft geblokkeerd die hun nieuwe Pixel 8 en Pixel 8 Pro apparaten tijdens de embargoperiode niet gemakkelijk populaire benchmark-apps zoals Geekbench 6 en 3D Mark konden installeren. Het was een zeer ongebruikelijke zet en riep vragen op over de beweegredenen van Google om dit te doen. Google heeft over de mogelijkheden van de Tensor G3 chip in het hart van de nieuwste Pixels, met name de AI-prestaties. Omdat ze de app echter niet konden installeren, konden veel recensenten de beweringen van Google niet testen door de benchmarks uit te voeren, zoals gebruikelijk is bij de meeste recensies omdat dit een objectieve en gestandaardiseerde manier is om de chipprestaties te beoordelen.

Een van de belangrijkste benchmarks die door recensenten wordt gebruikt, is Geekbench. Het is een populair cross-platform benchmarking hulpprogramma dat voornamelijk wordt gebruikt om CPU-prestaties te beoordelen, hoewel het ook een GPU compute suite heeft. De test beoordeelt zowel de single-core prestaties van een chip als de multi-core prestaties, en het is ook een "cross-platform" test. Dit betekent dat de resultaten vergeleken kunnen worden op verschillende apparaten, zoals mobiele telefoons en laptops, besturingssystemen zoals Android en Windows, en op chips van bijvoorbeeld Apple, Intel, Qualcomm, Google, Samsung, MediaTek en AMD.

Toen Geekbench onlangs werd bijgewerkt naar versie 6, voegde het de mogelijkheid toe om nieuwe toepassingsgebieden te testen, waaronder AR-prestaties, en legde het ook meer nadruk op machine learning, dat het AI-potentieel van een chip aandrijft. Het wordt ook gebruikt en goedgekeurd door bedrijven als Samsung, Microsoft, AMD, Dell, HP, LG en MediaTek. U zou dus kunnen denken dat gezien de manier waarop Google de AI-prestaties van zijn Tensor-chipsets aanprijst, dit een benchmark zou zijn die Google graag op hun Pixel 8 en Pixel 8 Pro zou installeren. Er waren reviewers met de vereiste kennis om de Play Store-blokkade van Google te omzeilen door simpelweg het app-pakket voor Geekbench 6 te downloaden en het handmatig te installeren via een proces dat bekend staat als side-loading.

De resultaten die Geekbench 6 produceerde met de Tensor G3 waren niet flatteus - zowel tijdens de embargoperiode als daarna. Sommige Pixel fans hebben theorieën gepost dat er een compatibiliteitsprobleem was met de benchmarks en Android 14, en dat Google niet opzettelijk de eenvoudige installatie ervan had geblokkeerd. Dit verklaart echter niet waarom de apps sideloaded konden worden en met succes konden worden uitgevoerd, of waarom de resultaten pre- en na blokkering niet van elkaar verschilden. We hebben Google om commentaar gevraagd, maar op het moment van schrijven nog niets gehoord. We hebben ook contact opgenomen met Primate Labs, de makers van Geekbench 6, die ons een antwoord konden geven.

Bij het contact met Primate Labs vroegen we of zij op de hoogte waren van compatibiliteitsproblemen waardoor Geekbench 6 niet geïnstalleerd kon worden op de Pixel 8 en Pixel 8 Pro tijdens de embargoperiode voor de recensie. John Poole, maker van de originele versie van Geekbench en oprichter van het bedrijf, gaf Notebookcheck dit antwoord:

We weten niet waarom Geekbench 6 niet beschikbaar was op Pixel 8-apparaten (hoewel we vermoeden dat het iets te maken had met embargo's). We zijn ons niet bewust van compatibiliteitsproblemen met Geekbench 6 op de Pixel 8 of Pixel 8 Pro.

Naar aanleiding van onze berichtgeving over dit probleem heeft Arun Maini, een YouTuber die beter bekend is onder zijn handle @Mrwhosetheboss onthuld dat belangrijke nieuwe AI-functies die generatieve AI-technieken bevatten, zoals Magic Editor, AI Wallpaper en Best Take, een permanente internetverbinding nodig hebben om te functioneren zoals geadverteerd. Tijdens de lanceringspresentatie van Google werd geïmpliceerd dat deze functies werden verwerkt door de Tensor G3-chip. Dit bericht werd versterkt op de officiële Google Blog, waarin de deugden van de chip werden geprezen en deze als "AI-first" werd gepositioneerd.

In de blogbeweert Google VP of Product Management het volgende:

Ons werk met Tensor is nooit gegaan over snelheden en feeds, of traditionele prestatiecijfers. Het gaat om het vooruit duwen van de mobiele computerervaring. En in onze nieuwe Tensor G3 chip is elk belangrijk subsysteem geüpgraded, wat de weg vrijmaakt voor on-device generatieve AI. De chip bevat de nieuwste generatie ARM CPU's, een verbeterde GPU, nieuwe ISP en Imaging DSP en onze next-gen TPU, die speciaal is ontworpen om de AI-modellen van Google uit te voeren.

We hebben de beweringen van Maini getest over de noodzaak van een permanente internetverbinding om sommige van deze nieuwe generatieve AI-functies te laten werken. Ondanks Google's beweringen over het vermogen van de Tensor G3 om on-device generatieve AI aan te sturen, is Google in feite bezig met het overhevelen van de verwerkingseisen voor deze functies naar de cloud voor verwerking door zijn veel krachtigere servers - zelfs als een deel van de verwerking in eerste instantie op het apparaat wordt gedaan. Gezien de relatief slechte prestaties van de Google Tensor G3 in benchmarks zoals Geekbench 6, is het echter duidelijk waarom Google zijn toevlucht heeft moeten nemen tot het overhevelen van de verwerking.

Zoals chipontwerper Arm op zijn website uitlegt (in gedachten houdend dat de Tensor G3 gebruik maakt van door Arm ontworpen CPU-kernen), is de hele architectuur ontworpen met AI-prestaties in het achterhoofd, en worden algoritmen voor machinaal leren op de hele chip uitgevoerd. Dit betekent dat als een chip niet goed presteert in CPU- en GPU-benchmarks, het hoogst onwaarschijnlijk is dat deze sterke AI-prestaties zal laten zien. Dit komt omdat taken op het gebied van machinaal leren worden uitgevoerd door de CPU en GPU in combinatie met de AI-accelerator aan boord van de SoC die bekend staat als de Neural Processing Unit (NPU) -- of, zoals Google het noemt, de Tensor Processing Unit (TPU). U zult vaak op forums en chats lezen dat "benchmarks er niet toe doen", het gaat erom hoe het apparaat "in de echte wereld" presteert. En tot op zekere hoogte zit er waarheid in dat standpunt - benchmarks zijn slechts een deel van de totale vergelijking.

Er is echter geen ontkomen aan dat ruwe rekenkracht ook een noodzaak is voor een apparaat dat wordt gepromoot als AI-first. Voor generatieve AI is duidelijk meer rekenkracht nodig dan de Tensor G3 kan leveren, ondanks de beweringen van Google dat dit niet zo is - anders zou er geen permanente internetverbinding nodig zijn en zouden deze taken niet naar de cloud moeten worden gestuurd voor verwerking voordat het resultaat naar het apparaat van de gebruiker wordt teruggestuurd. Het zou aan boord worden verwerkt. Het lijkt erop dat de AI-gestuurde softwarealgoritmen van Google hun limiet hebben bereikt met het vermogen van de Tensor G3 om ze lokaal af te handelen, en het verhaal van Google over de onbelangrijkheid van "traditionele prestatiecijfers" is vastgelopen.

Update: Artikel bijgewerkt met screenshots van Google's Pixel 8 Pro productpagina met screenshots van Google waarin geavanceerde nieuwe AI-functies worden beschreven, waaronder de generatieve AI-functies die in het artikel worden genoemd. Er is ook een screenshot opgenomen van de voetnoot met kleine lettertjes '7' die de vereisten en beperkingen uitlegt. Merk op dat Google niet vermeldt dat er een permanente internetverbinding nodig is om de functies te laten werken, of dat de inhoud moet worden overgebracht naar de servers van Google in de cloud voor AI-verwerking.

Koop de Google Pixel 8 Pro bij Amazon vanaf $999.