GroqCloud

GroqCloud est la plateforme d’inférence IA de Groq. Elle permet aux développeurs et entreprises d’exécuter des modèles génératifs avec une latence faible, un débit élevé et une tarification prévisible.

La plateforme repose sur l’architecture LPU de Groq, conçue spécifiquement pour l’inférence. GroqCloud prend en charge des modèles de texte, de raisonnement, de vision, de transcription audio et de synthèse vocale.

L’API est compatible avec le format OpenAI pour les principales routes de chat et de réponses. Cette compatibilité facilite la migration d’applications existantes et l’intégration avec Python, JavaScript, LangChain et d’autres frameworks.

GroqCloud propose plusieurs modèles ouverts et commerciaux selon disponibilité, notamment des familles GPT-OSS, Llama, Qwen, Kimi et Whisper. La liste peut évoluer rapidement ; il est donc préférable d’interroger l’endpoint officiel des modèles actifs avant un déploiement en production.

La plateforme comprend des fonctions comme le streaming, le tool calling, les structured outputs, le prompt caching, le traitement batch, les limites de dépense et plusieurs niveaux de service. Les systèmes Compound peuvent combiner modèles et outils intégrés comme la recherche web ou l’exécution de code.

Le plan Free coûte 0 $ et permet de commencer avec des limites de requêtes et de tokens. Le plan Developer fonctionne à l’usage, avec une tarification par million de tokens qui dépend du modèle. À titre indicatif en juillet 2026, GPT-OSS 20B est affiché à 0,075 $ par million de tokens en entrée et 0,30 $ en sortie, tandis que Llama 4 Scout est affiché à 0,11 $ en entrée et 0,34 $ en sortie. Les offres Enterprise sont sur devis.

Groq indique que les données client ne sont pas conservées par défaut pour les requêtes d’inférence, sauf cas limités liés à certaines fonctions ou à la fiabilité et à la prévention des abus. Une option Zero Data Retention est disponible, avec des conséquences sur les fonctions nécessitant une conservation.

GroqCloud convient particulièrement aux chatbots en temps réel, agents vocaux, assistants interactifs, pipelines de classification, applications multimodales et workloads à fort débit. Les équipes doivent néanmoins surveiller les limites de débit, la disponibilité des modèles et les politiques de dépréciation.