OpenAI heeft weer een stap gezet in de integratie van kunstmatige intelligentie in het dagelijks computergebruik Door Codex, de desktopcode-agent, volledig te vernieuwen. De tool, die voorheen vooral bekend stond om zijn programmeerondersteuning, is nu een assistent geworden die applicaties kan beheren, voorkeuren kan onthouden en projecten vrijwel naadloos kan managen.
Met deze update komt het bedrijf onder leiding van Sam Altman dichter bij het realiseren van zijn plan om een Een desktop-“superapp” die ChatGPT, Codex en je Atlas-browser combineert.De stap is bedoeld om de gebruikerservaring te vereenvoudigen, middelen te concentreren in één werkruimte en de concurrentie met rivalen zoals Anthropic aan te gaan, met name op het gebied van softwareontwikkeling en geavanceerde automatisering.
Codex leert de computer te gebruiken zoals elke andere gebruiker.
Een van de meest opvallende veranderingen is dat Codex nu de computer op de achtergrond besturenDe agent kan zien wat er op het scherm staat, zijn eigen cursor bewegen, klikken, tekst typen en reageren op wat er gebeurt in de geïnstalleerde applicaties, zonder de gebruiker te onderbreken bij het gebruik van de muis of het toetsenbord.
Deze functionaliteit maakt het mogelijk dat meerdere Codex-agenten samenwerken. tegelijkertijd in hetzelfde teamDit houdt in dat er tests worden uitgevoerd, configuraties worden gewijzigd of repetitieve taken worden uitgevoerd, terwijl de persoon gewoon doorgaat met zijn of haar normale werkzaamheden. Dit maakt het mogelijk om workflows te automatiseren die voorheen constant toezicht vereisten, zoals het testen van een applicatie na elke codewijziging of het herhalen van interface-acties.
OpenAI stelt deze functie voor als een manier voor de assistent om te werken met tools die geen API hebben Of directe integraties, iets wat veel desktopprogramma's gemeen hebben. Codex kan, door het scherm te "zien" en de cursor te besturen, met deze applicaties interageren zoals een menselijke gebruiker dat zou doen, zij het voorlopig op een gecontroleerde manier en met speciale aandacht voor beveiliging.
Volgens het bedrijf is computergebruik in eerste instantie beschikbaar in macOS via de Codex-desktopapplicatie, gekoppeld aan een ChatGPT-account. De Windows-versie komt later, nadat de prestaties zijn getest en de functies zijn aangepast aan de Microsoft-omgeving.
In het geval van Europa en het Verenigd Koninkrijk heeft OpenAI bevestigd dat de computerbesturing, geavanceerde aanpassingsmogelijkheden, contextuele suggesties en geheugen Ze worden later geactiveerd. De reden hiervoor is de noodzaak om deze functies aan te passen aan de wetgeving inzake gegevensbescherming, een bijzonder strenge eis in de Europese Unie en op de Britse markt.
Geïntegreerde browser en directe toegang tot webpagina's
De update versterkt ook de relatie van Codex met het web dankzij een browser geïntegreerd in de applicatie zelfIn plaats van alleen algemene tekstinstructies te ontvangen, kan de agent opdrachten rechtstreeks ontvangen op specifieke elementen van een pagina.
Bij frontend-ontwikkeling kan de gebruiker bijvoorbeeld Selecteer een webcomponent en beschrijf de wijziging. De gebruiker wil iets doen (zoals de kleur, tekstgrootte of lay-out van een blok wijzigen), en Codex begrijpt de instructie binnen die specifieke visuele context. Dit voorkomt dat er lange instructies geschreven hoeven te worden om uit te leggen welk deel van de site aangepast moet worden.
Deze ingebouwde browser ondersteunt ook Codex. Analyseer de inhoud, verzamel informatie en gebruik deze als context. Voor andere taken, zoals het documenteren van code, het beoordelen van productspecificaties of het vergelijken van technische documentatie, gebeurt alles binnen dezelfde omgeving, zonder dat er tussen verschillende besturingssysteemvensters hoeft te worden geschakeld.
Afbeeldingen genereren en bewerken met gpt-image-1.5
Een andere pijler van de nieuwe versie van Codex is de integratie van het model. gpt-image-1.5 voor het maken en bewerken van afbeeldingen Vanuit de desktopapplicatie zelf kan de agent grafieken, diagrammen, mockups of visuele schetsen genereren op basis van tekst, of door instructies te combineren met schermafbeeldingen en codefragmenten.
Deze functionaliteit is specifiek gericht op de teams die werken in productontwerp, gebruikersinterfaces of videogameprototypesEen ontwikkelaar kan bijvoorbeeld een screenshot maken van een half afgewerkte interface, Codex vragen om een herontwerp van het menu of een nieuw kleurenschema voor te stellen, en gegenereerde afbeeldingen krijgen die in die context passen, zonder van tool te hoeven wisselen.
Doordat alles gecentraliseerd is in Codex, kunnen agenten koppel codeer- en ontwerptaken aan elkaar.: schrijf de logica van een functionaliteit, werk de bijbehorende frontend bij en genereer een visuele mockup om aan het team te presenteren, zonder de workflow te verlaten of externe grafische bewerkingsprogramma's te hoeven openen.
Geheugen, context en automatisering van taken op de lange termijn
Naast computerbesturing en beeldgeneratie zet OpenAI met deze versie vooral in op het uitrusten van Codex met een persistent geheugen en veel breder contextbeheerDe tool kan eerdere gesprekken hergebruiken, belangrijke informatie bewaren en deze ophalen wanneer nodig om een project voort te zetten.
De geheugenfunctie, die momenteel in preview beschikbaar is, maakt Codex mogelijk. Houd rekening met persoonlijke voorkeuren, frequente correcties of gegevens die moeilijk te verzamelen waren.Dit omvat alles, van de gebruikelijke technologie-stack van een team tot de manier waarop mappen zijn georganiseerd, de meest gebruikte rapportindelingen en de tag die doorgaans op GitHub wordt gebruikt voor bepaalde soorten problemen.
Met die opgebouwde context kan de agent taken proactief voorstellenDit kan worden gebruikt om voor te stellen een onafgewerkt project te hervatten, refactoring aan te bevelen of gebruikers te informeren over langlopende pull requests. Sommige bedrijven gebruiken het al om gesprekken in Slack, Gmail of Notion te volgen en te reageren wanneer bepaalde gebeurtenissen plaatsvinden.
Codex kan ook Plan je werk voor de toekomst en activeer jezelf weer zelfstandig. Om taken op de lange termijn af te ronden. Het kan bijvoorbeeld een wachtrij met codebeoordelingen beheren voor dagen of weken, opmerkingen verwerken en documentatie bijwerken zonder dat de ontwikkelaar dit constant hoeft te controleren.
Meer dan 90 add-ons en verbeterde ontwikkelaarsondersteuning
Om de wijziging te voltooien, heeft OpenAI bijna 90 nieuwe Codex-pluginsDit omvat integraties met Microsoft Suite, GitLab Issues, Neon van Databricks, Render en Superpowers, evenals ondersteuning voor MCP-servers (Model Context Protocol). Het doel is om de agent meer contextbronnen en grotere operationele mogelijkheden te bieden.
Dankzij deze plugins kan Codex Verzamel informatie van verschillende diensten en onderneem actie. Vanuit één werkruimte kunt u problemen in GitLab bekijken, gegevens in een Databricks-omgeving opvragen, Office-documenten bijwerken of communiceren met implementatieservices, zonder dat de gebruiker tussen verschillende platforms hoeft te schakelen.
Op puur technisch niveau versterkt de update de typische workflows voor ontwikkelaarsCodex helpt je nu bij het beoordelen van pull requests, het beheren van meerdere terminaltabbladen tegelijk, het verbinden met externe ontwikkelomgevingen via SSH en het openen van bestanden met uitgebreide voorbeelden, of het nu gaat om pdf's, spreadsheets, presentaties of documenten in andere formaten.
Dit alles is geconcentreerd in een uniforme ervaring die, volgens OpenAI zelf, snellere vooruitgang mogelijk maakt. in alle fasen van de softwarelevenscyclusVan het schrijven van de eerste code tot het testen, implementeren, documenteren en onderhouden ervan, waarbij AI-agenten continu samenwerken binnen dezelfde desktopomgeving.
Beschikbaarheid, focus op ontwikkelaars en de situatie in Europa.
De nieuwe versie van Codex wordt al uitgerold in de desktopapplicatie voor macOS Voor gebruikers die inloggen met een ChatGPT-account. Niet alle functies vereisen hetzelfde type abonnement, en sommige geavanceerde functies zijn mogelijk afhankelijk van het gekochte abonnement, net als bij andere OpenAI-tools.
Thibault Sottiaux, directeur van Codex, legde uit dat deze update Het is met name gericht op ontwikkelaars.Hoewel het de bedoeling is om het later uit te breiden naar een breder publiek, is het de bedoeling dat technische teams als eersten de nieuwe agents en geautomatiseerde workflows gaan gebruiken en dit model na verloop van tijd gaan toepassen op kantoortaken, documentbeheer of persoonlijke productiviteit.
OpenAI benadrukt dat het gebruik van rekenkracht en geheugen op een verantwoorde manier wordt geïmplementeerd. aanpak op het gebied van beveiliging en naleving van regelgevingDit is met name relevant in de Europese Unie en het Verenigd Koninkrijk. Om die reden zal het iets langer duren voordat geavanceerde aanpassingsmogelijkheden, contextuele suggesties, permanent geheugen en directe controle over het besturingssysteem in deze markten beschikbaar komen.
Het bedrijf stelt in elk geval dat deze evolutie van Codex de deur opent naar een Desktop-superapplicatie gericht op intelligente automatiseringwaarbij AI-agenten niet alleen helpen bij het schrijven van code, maar ook taken coördineren, zich aanpassen aan de werkstijl van de gebruiker en complexe projecten gedurende langere perioden draaiende houden. Voor softwareontwikkelaars in Europa is de boodschap duidelijk: er komen nieuwe mogelijkheden aan, maar wel met de nodige aanpassingen om binnen het bestaande regelgevingskader te passen.