OpenAI kör GPT-6 Astra på Nvidia – upp till åtta gånger snabbare
OpenAI lanserar modellen GPT-6 Astra Ultrafast på Nvidias Blackwell-arkitektur, vilket ska ge upp till åtta gånger snabbare tokengenerering än standardläget. Den snabbare varianten blir tillgänglig direkt i OpenAIs utvecklargränssnitt samt för utvalda företagsanvändare.
Av Techindex AI ·
Den nya modellen körs på Nvidias grafikprocessorer i Blackwell-serien och är tillgänglig i OpenAIs API samt för behöriga användare av ChatGPT Work och Codex. Det skriver Nvidia i ett inlägg på sin officiella blogg. Hastighetsökningen på upp till åtta gånger jämförs med Astra Standard och bygger på optimeringar som OpenAI gjort för att utnyttja Blackwell-arkitekturen.
Enligt Nvidia ska den högre hastigheten korta utvecklares cykler för redigering, testning och felsökning när autonoma kodagenter arbetar. Tidsvinsterna märks särskilt i arbetsflöden där en agent skriver kod, anropar externa verktyg, granskar resultatet och fattar beslut om nästa steg. Snabbare svarstider gör också att interaktiva applikationer upplevs som mer responsiva.
Samarbetet bygger på att OpenAI använder sina egna modeller för att förfina mjukvaran för inferens på Nvidias hårdvara. Philippe Tillet, som leder inferensarbetet på OpenAI, uppger att Nvidias satsningar på verktyg och dokumentation gjort bolagets modeller exceptionellt bra på att programmera både Blackwell- och Rubin-grafikprocessorer. Enligt Tillet omvandlar modellen kunskapen till högpresterande beräkningskärnor som sänker svarstider och kostnader.
OpenAIs teknikchef för beräkning, Uday Ruddarraju, framhåller att plattformens programmerbarhet har varit avgörande för accelerationen bakom Ultrafast. Nvidia uppger samtidigt att utvecklare och forskare kan återanvända samma infrastruktur för både träning, inferens och förstärkningsinlärning allt eftersom modellerna utvecklas.
Skriven av AI och faktagranskad av en andra AI mot källan före publicering. Så arbetar vi
Så vet vi det9 uppgifter, var och en med ordagrant citat ur källanVisa
Den nya modellen körs på Nvidias grafikprocessorer i Blackwell-serien och är tillgänglig i OpenAIs API samt för behöriga användare av ChatGPT Work och Codex.
”GPT-6 Astra Ultrafast, running on NVIDIA Blackwell GPUs, is available now in the OpenAI API and to eligible ChatGPT Work and Codex users.”
Källa: blogs.nvidia.com ↗Hastighetsökningen på upp till åtta gånger jämförs med Astra Standard och bygger på optimeringar som OpenAI gjort för att utnyttja Blackwell-arkitekturen.
”Accelerated by inference optimizations through OpenAI’s models that tap into the capabilities of the NVIDIA Blackwell architecture, Ultrafast offers up to 8x faster token generation than the Astra Standard mode.”
Källa: blogs.nvidia.com ↗Enligt Nvidia ska den högre hastigheten korta utvecklares cykler för redigering, testning och felsökning när autonoma kodagenter arbetar.
”For developers, faster generation can shorten coding agents’ edit-test-debug cycles, reduce the time spent generating responses between tool calls and make interactive applications feel more responsive.”
Källa: blogs.nvidia.com ↗Tidsvinsterna märks särskilt i arbetsflöden där en agent skriver kod, anropar externa verktyg, granskar resultatet och fattar beslut om nästa steg.
”A faster response matters most when it’s repeated across a workflow: an agent writes code, uses a tool, checks the result and decides what to do next.”
Källa: blogs.nvidia.com ↗Samarbetet bygger på att OpenAI använder sina egna modeller för att förfina mjukvaran för inferens på Nvidias hårdvara.
”OpenAI is using its own models to help refine the inference software running on NVIDIA GPUs, taking advantage of the platform’s programmability to test and implement improvements.”
Källa: blogs.nvidia.com ↗Philippe Tillet, som leder inferensarbetet på OpenAI, uppger att Nvidias satsningar på verktyg och dokumentation gjort bolagets modeller exceptionellt bra på att programmera både Blackwell- och Rubin-grafikprocessorer.
”“NVIDIA’s deep investment in tooling and documentation has enabled us to make our models exceptionally good at programming Blackwell and Rubin GPUs,” said Philippe Tillet, inference lead at OpenAI.”
Källa: blogs.nvidia.com ↗Enligt Tillet omvandlar modellen kunskapen till högpresterande beräkningskärnor som sänker svarstider och kostnader.
”“Astra can turn that knowledge into high-performance kernels that make NVIDIA hardware compelling across the full frontier of latency, throughput and cost. With Astra Ultrafast, that means faster model responses as agents write code, use tools and work through complex tasks.””
Källa: blogs.nvidia.com ↗OpenAIs teknikchef för beräkning, Uday Ruddarraju, framhåller att plattformens programmerbarhet har varit avgörande för accelerationen bakom Ultrafast.
”“We used our internal models to optimize inference on NVIDIA GPUs, and NVIDIA’s programmability helped us deliver the acceleration behind Astra Ultrafast.””
Källa: blogs.nvidia.com ↗Nvidia uppger samtidigt att utvecklare och forskare kan återanvända samma infrastruktur för både träning, inferens och förstärkningsinlärning allt eftersom modellerna utvecklas.
”A programmable NVIDIA platform allows developers and researchers to reuse infrastructure across training, inference and reinforcement learning as models evolve.”
Källa: blogs.nvidia.com ↗
Uppgifterna kommer ur avsändarens eget pressmeddelande, på engelska — citaten här står i originalets ordalydelse. En andra AI har jämfört översättningen med källan. Så arbetar vi
Techindex Morgon
Gårdagens technyheter i mejlen, måndag till lördag kl 06.30. Gratis, och du avslutar med ett klick.
Vi sparar bara din adress. Så hanterar vi den