Google AI Edge Foresight: Offline AI voor vergadernotities op de Mac

AI die lokaal draait en alle gegevens op het apparaat houdt, zou de belofte van Apple moeten zijn. Nu heeft Google een Mac-app uitgebracht die op diezelfde belofte is gebaseerd. Google AI Edge Foresight is een experimentele vergaderassistent die volledig op het apparaat draait. De app neemt microfoongeluid en systeemaudio op, waardoor hij met elk vergaderplatform kan werken, desgewenst zelfs zonder internetverbinding.

Hoe werkt dat in de praktijk? Tijdens een vergadering noteren gebruikers korte opsommingstekens, die Foresight met behulp van het doorlopende transcript uitwerkt tot gedetailleerde notities. De app herkent ook vragen die tijdens de vergadering worden gesteld en geeft relevante antwoorden door met natuurlijke taal te zoeken in een persoonlijke kennisbank met documenten, afbeeldingen, transcripten en notities. Volgens Google worden alle transcripten en audio op het apparaat verwerkt, zonder dat een cloudabonnement nodig is.

Aangedreven door EmbeddingGemma 2

Foresight combineert het nieuwe EmbeddingGemma 2-model van Google DeepMind met het taalmodel Gemma 4. Embeddingmodellen genereren geen tekst. In plaats daarvan zetten ze inhoud om in numerieke vectoren, zodat vergelijkbaar materiaal kan worden teruggevonden. De tweede generatie plaatst tekst, code, afbeeldingen, videoframes en audio in dezelfde vectorruimte. Daardoor kan een zoekterm een specifiek moment in een opname vinden zonder eerst afbeeldingsbeschrijvingen of een transcript te genereren. Het model heeft 740 miljoen parameters, gebruikt de Gemma 4-architectuur en is beschikbaar onder de Apache 2.0-licentie, waardoor ontwikkelaars het vrij in hun eigen apps kunnen integreren.

Google geeft ook een prestatiecijfer dat Mac-gebruikers mogelijk interessant vinden: het verwerken van een afbeelding op de GPU van de M5 Pro duurt 37,3 ms, wat neerkomt op net geen 27 afbeeldingen per seconde. Beeldverwerking wordt beschouwd als het rekenintensiefste deel van de werklast, en Google zegt dit proces specifiek te hebben geoptimaliseerd.

Een demonstratie met potentie

Foresight is vooral een demonstratie voor ontwikkelaars, en Google zelf omschrijft het als een experimentele app. Toch biedt het een interessant alternatief voor mensen die vertrouwelijke vergaderingen houden en hun transcripten liever niet aan een clouddienst toevertrouwen. Google heeft niet gezegd of de transcriptie even goed werkt voor vergaderingen in andere talen dan het Engels, al demonstreert het in de bijbehorende AI Edge Gallery-app wel het zoeken naar afbeeldingen met Duitse zoektermen.