Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
OpenAI presenterar Jalapeño: Ny hårdvara med banbrytande prestanda
OpenAI presenterade under tisdagens Hot Chips-konferens mer detaljerad information om sitt nya system Jalapeño, inklusive de första resultaten från prestandatester. Enligt tester utförda med SemiAnalysis InferenceX-benchmark uppvisar Jalapeño både fler tokens per användare och högre genomströmning per kilowatt jämfört med dagens mest avancerade processorer för inferens.
Richard Ho, chef för hårdvara på OpenAI, uppger att systemet innebär ett betydande framsteg i prestanda. Enligt Ho kan Jalapeño hantera mer AI-arbete per energienhet samtidigt som svarstiderna förkortas, vilket gör det effektivt för att serva ett stort antal kunder med låg latens.
Jalapeño har utvecklats av det amerikanska företaget OpenAI i ett nära samarbete med Broadcom, där även OpenAI:s egna modeller har assisterat i utvecklingsprocessen. Systemet är utformat som en plattform över flera generationer för att möjliggöra en samordnad utveckling av AI-produkter, modeller, chip och minne.
Genom ett så kallat full-stack-angreppssätt har OpenAI kunnat minimera fördröjningar i kritiska faser av inferensprocessen, särskilt under prefill- och kommunikationsfaserna som ofta utgör flaskhalsar. Utplaceringen av systemet beräknas påbörjas i små volymer i slutet av 2026, med en mer omfattande utrullning planerad under 2027.
