Table of Contents

Pour les tâches Hermes avec un long contexte, je commencerais par Qwen3.5 35B sur deux cartes RTX 5060 Ti de 16 Go. La configuration testée a conservé 239 153 jetons d’entrée via LiteLLM et réussi les contrôles distincts des outils, du flux continu, de la vision, des requêtes en file d’attente et de l’annulation. Qwen3.6 est mon option sur une seule carte. Sur les systèmes RTX 3060 Ti et RTX 3070, je commencerais par Qwen3.5 2B ou 4B.

Ces choix viennent de l’exécution des modèles sur les chemins d’inférence utilisés par l’agent. J’ai testé la conservation des entrées longues, les échanges avec les outils, les réponses en continu, les questions sur des images et la libération du modèle. J’ai aussi testé les modes et les réglages mémoire associés aux configurations, car réussir à charger un modèle dit peu de choses sur son utilité pendant une longue requête d’agent.

Hermes exige au moins 64 000 jetons de contexte pour utiliser des outils avec un agent. J’ai fixé le seuil de qualification du contexte long à 65 536 jetons d’entrée réels. Le nombre de jetons d’entrée compte davantage que la taille de contexte annoncée par le serveur. ( Documentation des fournisseurs Hermes Agent )

Quels GPU équipent chaque système

Les lettres des systèmes désignent les combinaisons matérielles utilisées dans les résultats.

SystèmeGPU utilisés pour ce benchmarkModèle que je choisirais en premier
A2 × GeForce RTX 5060 Ti, 16 Go chacuneQwen3.5 35B sur les deux cartes, ou Qwen3.6 sur une seule carte
B1 × RTX 2000E Ada, 16 GoQwen3.5 9B si plusieurs minutes de traitement d’une longue entrée conviennent à la tâche
C1 × RTX 2000E Ada, 16 GoGemma 3 4B pour le chemin d’entrée longue testé, Qwen3.5 0.8B sans réflexion pour les tâches de rappel ciblées
D1 × RTX 2000E Ada, 16 GoQwen3.5 9B, Gemma 4 12B-IT ou GPT-OSS 20B pour les charges testées avec de plus grands modèles
E9 × GeForce RTX 3060 Ti, 8 Go chacuneQwen3.5 2B ou 4B
F8 × GeForce RTX 3060 Ti, 8 Go chacuneQwen3.5 2B ou 4B
G3 × GeForce RTX 3070Qwen3.5 2B ou 4B

Le nombre de cartes installées ne signifie pas que chaque requête utilisait tous les GPU. Les essais Qwen3.5 35B et Flash Next utilisaient les deux cartes du système A. Qwen3.6 n’en utilisait qu’une. Le nouvel essai réussi de vision avec Qwen3.5 4B sur le système E utilisait une carte choisie parmi huit, tandis qu’une neuvième carte restait exclue des tâches d’IA.

Considérez les durées ci-dessous comme des résultats combinant le modèle, l’environnement d’exécution et le système testés. Ces essais comparent des configurations utilisables. Ils ne permettent pas d’isoler l’architecture du GPU comme cause des écarts de vitesse.

Deux RTX 5060 Ti font de Qwen3.5 35B mon choix pour le contexte long

Qwen3.5 35B a produit le plus grand résultat d’entrée conservée de ces tests. La progression directe dans Ollama a conservé 248 279 jetons d’entrée dans un contexte d’exécution de 262 144 jetons. Une requête distincte en flux continu via la passerelle a conservé 239 153 jetons d’entrée, renvoyé le marqueur initial et terminé normalement après 31 jetons de sortie en 148,12 secondes.

Le résultat de la passerelle compte pour Hermes, car la requête passait par le courtier et LiteLLM. Des requêtes distinctes ont terminé un échange avec un outil, reconnu une image rouge et renvoyé deux réponses correctes lorsqu’elles ont été soumises ensemble. Le courtier a mis ces deux requêtes en file d’attente. La fermeture d’une requête en flux continu a libéré le courtier et déchargé le modèle en 60,31 secondes.

Requête Qwen3.5 35BJetons d’entréeJetons de sortieDuréeRésultat
Ollama direct, première étape progressive69,4293138.783 sMarqueur initial exact
Ollama direct, continuation avec préfixe partagé124,1793128.472 sMarqueur initial exact
Ollama direct, continuation avec préfixe partagé182,5793138.974 sMarqueur initial exact
Ollama direct, continuation avec préfixe partagé248,2793154.215 sMarqueur initial exact
Requête en flux continu par le courtier69,4272938.872 sMarqueur initial exact
Requête en flux continu LiteLLM239,15331148.12 sMarqueur initial exact, déchargement propre

Les requêtes directes progressives réutilisaient un préfixe de plus en plus long. Leurs durées décrivent le comportement de continuation à chaud. Le résultat de 54,215 secondes n’est pas une mesure indépendante à froid du traitement d’une nouvelle invite de 248K.

À l’étape directe la plus longue, le modèle signalait environ 27,3 milliards d’octets résidents sur les deux GPU. Les pics mémoire par carte atteignaient 14 964 et 12 386 MiB.

Les températures maximales ont atteint 62 et 63 C, sans erreur OOM ni Xid enregistrée. L’entrée laissait 13 865 jetons dans le contexte configuré pour la suite. La courte réponse marqueur en utilisait 31.

J’utiliserais cette configuration lorsque la conservation d’un grand ensemble de travail compte davantage qu’une réponse initiale rapide. Les contrôles des outils et de la vision établissent des comportements utiles pour un agent, tandis que le test d’entrée longue établit la conservation du contexte. Ce sont des charges distinctes.

Qwen3.6 est l’option sur une seule carte

Qwen3.6-35B-A3B UD-Q4_K_XL a conservé 131 000 jetons d’entrée sur une seule RTX 5060 Ti. L’autre carte est restée inactive pendant le test. Le système dispose ainsi d’une option utile lorsqu’on ne souhaite pas consacrer les deux cartes à un seul modèle.

Requête Qwen3.6 via la passerelleJetons d’entréeJetons de sortieDuréeRésultat
Requête longue initiale66,007167.82 sMarqueur initial conservé
Requête plus longue90,00011159.92 sMarqueur initial conservé, aucune entrée mise en cache
Requête plus longue119,99911250.61 sMarqueur initial conservé, aucune entrée mise en cache
Près de la limite d’exécution131,00011287.09 sMarqueur initial conservé, aucune entrée mise en cache

La requête de 131 000 jetons approchait la limite d’exécution de 131 072 jetons. Pour un agent, je garderais davantage d’espace pour la réponse et les messages d’outils suivants. Une conservation proche de la limite renseigne sur le traitement des entrées, mais ne constitue pas un budget d’entrée par défaut raisonnable.

L’utilisation des outils a réussi avec la réflexion désactivée. La réflexion par défaut a consommé le budget d’essai de 512 jetons avant d’émettre l’appel d’outil. Le test pilote réussi a aussi passé les requêtes rapides, en flux continu et de vision. Son contrôle initial de contexte de 65 845 jetons a pris 139,57 secondes.

Qwen3.8 27B gagne la comparaison à réponse égale sur 66K

Pour la même charge marqueur de 66 007 jetons sur le système A, Qwen3.8 27B a renvoyé la réponse le plus vite. Je garderais cette configuration pour les requêtes proches de la taille d’entrée testée, à côté de Qwen3.5 35B pour les ensembles de travail plus grands.

Configuration du système AJetons d’entréeDuréeRésultat
Qwen3.8 27B66,00754.64 sMarqueur initial conservé
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sMarqueur initial conservé
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sMarqueur initial conservé
Alias de compatibilité Flash Next IQ466,007213.25 sMarqueur conservé

Qwen3.8 27B a pris environ un tiers du temps des requêtes comparables Qwen3.6 et Flash Next. Il s’agit d’observations sur des requêtes complètes avec les environnements testés, et non d’une comparaison limitée au matériel.

Les réponses rapides, le flux continu et l’utilisation d’outils ont aussi réussi. Le mode sans réflexion a terminé la séquence complète de couleurs et l’échange avec l’outil, tandis que l’essai avec réflexion n’a renvoyé qu’une partie de la séquence dans le budget de 512 jetons.

Flash Next reste un choix par défaut moins intéressant sur ce système en raison de la pression mémoire. Son essai pilote de 65 847 jetons a réussi en 201,41 secondes avec un contexte d’exécution de 98 304. Deux profils antérieurs à 131 072 jetons ont atteint leur limite mémoire avant d’être prêts.

La configuration ultérieure a atteint sa limite cgroup de 54 GiB. Pour un travail sans surveillance, je choisirais une configuration offrant davantage de marge mémoire.

La route nommée flash-iq2 servait le backend de compatibilité Flash Next IQ4. Son nom ne désigne pas un résultat IQ2.

La RTX 2000E Ada traite les longues entrées, mais le modèle change le délai

Gemma 3 4B est ma configuration testée préférée pour les longues entrées sur le système C. Deux chemins ont conservé plus de 84K jetons d’entrée en environ 88 secondes. Les configurations avec des modèles plus grands ont aussi réussi des contrôles de conservation utiles, mais leurs requêtes ont pris plusieurs minutes.

SystèmeModèle et cheminJetons d’entréeDuréeRésultat
BQwen3.5 9B, passerelle72,265263 sLes deux marqueurs ont été conservés, le contrôle ultérieur de reprise du minage a réussi
CGemma 3 4B, passerelle84,04488.05 sMarqueur initial conservé
CGemma 3 4B, Aperture84,04587.68 sMarqueur initial conservé
CGemma 4 12B-IT, passerelle67,254263.07 sMarqueur initial conservé
CGemma 4 12B-IT, Aperture sans flux continu67,255274.24 sMarqueur initial conservé
CGemma 4 12B-IT, flux continu Aperture67,255282.16 sMarqueur initial conservé
CQwen3.5 9B, passerelle75,648319.36 sMarqueur initial conservé, modèle déchargé
CGPT-OSS 20B, passerelle84,099315.83 sMarqueur initial conservé, modèle déchargé
DQwen3.5 9B, Aperture81,051324.07 sConservation réussie sur l’artefact installé
DGemma 4 12B-IT, Aperture72,057300.67 sConservation réussie sur l’artefact installé
DGPT-OSS 20B, Aperture72,104245.94 sConservation réussie sur l’artefact installé

Le flux continu n’a pas supprimé le long délai de préremplissage de Gemma 4 sur le système C. Le premier contenu diffusé est arrivé après 277,49 secondes, soit après la réponse complète de 274,24 secondes sans flux continu. Une première tentative sans flux a expiré avant la relance réussie. Je réserverais cette configuration aux tâches qui tolèrent plusieurs minutes de traitement initial.

Gemma 3 4B montre aussi pourquoi je limiterais la qualification à chaque système testé. Le système D a manqué le marqueur initial lors de deux essais de rappel à 65K, y compris une répétition à température zéro avec 67 252 jetons d’entrée. La requête déterministe s’est terminée normalement en 62,07 secondes avec le GPU entièrement occupé.

Une fin rapide et une réponse API normale ne garantissaient pas une réponse correcte. J’utiliserais le chemin réussi du système C et écarterais celui du système D de la sélection Hermes.

Le mode de réflexion détermine l’utilité de Qwen3.5 0.8B

Qwen3.5 0.8B est devenu un candidat utile au rappel ciblé sur le système C après désactivation de la réflexion. Le petit modèle Q8_0 a conservé 75 649 jetons d’entrée via la passerelle en 65,92 secondes. Ce résultat concerne l’artefact Q8_0 testé et le chemin sans réflexion, pas les anciennes configurations à contexte de 16K présentées ailleurs dans le tableau.

Requête Qwen3.5 0.8B sur le système CJetons d’entréeJetons de sortieDuréeRésultat
Réflexion par défaut, diagnostic court9,0503,39166.56 sMarqueur initial exact
Réflexion désactivée, diagnostic comparable9,055217.65 sMarqueur initial exact, aucun texte de raisonnement
Réflexion par défaut, essai longdélai dépassé à 600 sAucune réponse terminée
Réflexion désactivée, Ollama natif75,6562269.80 sMarqueur initial exact
Point de terminaison compatible OpenAI sans réflexion75,6461269.09 sMarqueur initial exact
Courtier avec mode sans réflexion imposé75,6471366.83 sMarqueur initial exact
LiteLLM du système A vers le système C75,6491565.92 sMarqueur initial exact

Le diagnostic comparable est passé de 66,56 à 7,65 secondes, soit environ 8,7 fois plus vite, tandis que la sortie générée est passée de 3 391 à 21 jetons. C’est pourquoi je définirais explicitement le mode de raisonnement pour les tâches simples d’extraction et de routage. Le raisonnement par défaut consacrait l’essentiel du travail à une sortie inutile pour la tâche.

Une courte sonde compatible OpenAI a manqué son marqueur avant la réussite de la nouvelle tentative à température zéro. Les contrôles de chemin réussis utilisaient le mode sans réflexion et une fin naturelle, sans limite de sortie. Trois autres passerelles ont réussi les requêtes courtes avec marqueur en 4,22, 4,37 et 3,85 secondes. Ces contrôles vérifient le routage, tandis que la requête de 75 649 jetons vérifie la conservation des longues entrées via la passerelle.

Je testerais cette configuration pour le rappel et l’extraction à portée limitée. Pour un raisonnement d’agent ouvert, je choisirais un modèle plus grand. Récupérer un marqueur synthétique est une tâche plus limitée que planifier, coder ou coordonner plusieurs outils.

Les systèmes RTX 3060 Ti et RTX 3070 conviennent mieux à Qwen3.5 2B et 4B

Qwen3.5 2B et 4B sont mes choix de départ pratiques pour les cartes de 8 Go. Les requêtes de contexte texte sur les systèmes E, F et G ont réussi avec 65 579 jetons d’entrée et des durées de 30,343 à 93,753 secondes. Les chemins 4B testés ont aussi réussi les contrôles d’outils, de flux continu et d’image.

La nouvelle exécution de contexte visuel 4B sur le système E a conservé les deux marqueurs et l’ordre des couleurs de l’image avec 65 637 jetons d’entrée en 44,88 secondes. Les requêtes avec ordre des couleurs direct et inversé ont aussi réussi. La répétition utilisait une carte saine après une erreur de liaison Xid 79 sur une autre carte et le redémarrage du système.

SystèmeContexte texte Qwen3.5 2BContexte texte Qwen3.5 4BContexte vision Qwen3.5 4B
E, parc de RTX 3060 Ti65,579 jetons, 30.343 s65,579 jetons, 53.787 s65,637 jetons, 44.88 s
F, parc de RTX 3060 Ti65,579 jetons, 61.282 s65,579 jetons, 93.753 s65,635 jetons, 84.749 s
G, parc de RTX 307065,579 jetons, 76.731 s65,579 jetons, 90.807 s65,635 jetons, 87.496 s

Chacun de ces systèmes a enregistré 29 contrôles réussis. L’écart de durée entre les deux systèmes RTX 3060 Ti montre aussi pourquoi je sélectionnerais un profil système testé au lieu de classer les cartes à partir de ces durées de requête.

Les sept systèmes ont repris le minage après la période d’inférence. Le contrôle distinct de reprise après arrêt du système B a réussi avec de nouvelles parts acceptées. La carte défaillante du système E a ensuite repris le minage après un redémarrage et un renforcement de la liaison PCIe, tout en restant exclue du parc IA. Le rétablissement du minage en fin de période est un résultat distinct du retour automatique après chaque requête d’inférence.

Charger un modèle ne suffit pas à le qualifier

J’écarterais DeepSeek Coder V2 16B des choix Hermes testés à 65K. Son essai avec cache f16 a conservé 50 477 jetons d’entrée, mais l’essai visant 65K a atteint la protection VRAM. Les options de cache Q4 et Q8 ont chargé les poids sur les GPU, puis atteint les limites de mémoire hôte ou un débit médiocre sur les longues invites.

Profil de cache DeepSeek Coder V2Contexte d’exécutionRésultat observéMon évaluation
f1681,920Rappel de 50 477 jetons réussi, requête trop grande rejetéeRésultat utile à contexte plus court
f1673,728Préremplissage cible 65K arrêté à 15 802 MiB d’utilisation GPUNe convient pas à 65K
Q4_098,304Le préremplissage long est tombé à 96.72 jetons/s avant l’arrêt contrôléPeu adapté à cette charge
Q8_077,824Le préremplissage long est tombé à 120.12 jetons/s avant l’arrêt contrôléPeu adapté à cette charge
Q4_0 / Q8_0, profils plus grands163,840 / 98,304Les protections de mémoire hôte ont arrêté les essaisLa capacité dépend de tout le système

La leçon pratique consiste à tester la requête que vous comptez envoyer. La présence du modèle en mémoire GPU, une réponse courte et un grand contexte configuré ne prouvent pas que les longues entrées sont conservées avec une latence utile.

Granite 4.2 8B et GPT-OSS 20B se sont améliorés après des ajustements ciblés au chemin sur le système A. Le chemin Q6_K de Granite a conservé 66 082 jetons d’entrée en 88,636 secondes sans entrée mise en cache. GPT-OSS a terminé son échange avec l’outil après la correction du courtier, en 9,854 secondes pour l’appel et 9,849 secondes pour le suivi. Je distinguerais ces contrôles de chemins réussis des essais antérieurs incomplets.

Résultats complets des benchmarks

Le tableau contient 295 contrôles répartis sur 59 combinaisons de modèles et de systèmes. La matrice recense 273 réussites, un échec de rappel et sept résultats incomplets, incohérents ou incompatibles. Quatorze contrôles sortent du périmètre de qualification à 65K. Chaque ligne conserve son résultat mesuré.

Mes recommandations concernent les chemins et charges qui ont réussi. Une ligne en échec ou incomplète ne qualifie pas le comportement correspondant.

Les réussites à contexte court et en intégration s’appliquent à leurs propres charges. Une réussite à contexte de 16K ou 32K ne qualifie pas un chemin pour la charge Hermes à 65 536 jetons d’entrée. Les noms des modèles sont ici des noms de chemin. Le nom flash-iq2 correspondait au backend de compatibilité IQ4.

La ligne de contexte Qwen3.5 35B du système A correspond à la dernière étape de préfixe partagé présentée ci-dessus. Les durées d’utilisation d’outil avec un signe plus indiquent séparément l’appel et le suivi.

La ligne de concurrence indique les durées des deux requêtes en file d’attente. La ligne d’annulation indique le délai de libération après fermeture du flux par le client. Les progressions supplémentaires de contexte et les comparaisons de chemin Qwen3.5 0.8B figurent dans leurs propres tableaux ci-dessus.

Système A

Étiquette de route du modèleContrôleRésultatJetons d’entréeDurée de requête
bonsai-2-27bcontextRéussi65,62188.746 s
bonsai-2-27bquickRéussi576.429 s
bonsai-2-27bstreamRéussi9.371 s
bonsai-2-27btoolsRéussi10.478 s
deepseek-coder-v2:16bcontextIncompatible50,477
deepseek-coder-v2:16bquickRéussi7743.239 s
flash-iq2contextRéussi66,007213.25 s
flash-iq2quickRéussi56.03 s
flash-iq2streamRéussi1.35 s
flash-iq2toolsRéussi16.55 s
gemma-4-12b-itcontextRéussi65,59051.225 s
gemma-4-12b-itquickRéussi215.166 s
gemma-4-12b-itstreamRéussi4.653 s
gemma-4-12b-ittoolsRéussi18.72 s
gemma-4-12b-itvisionRéussi1157.222 s
gemma-4-12b-itvision_contextRéussi65,68556.06 s
gemma-4-12b-itvision_reverseRéussi1157.467 s
gemma-4-e4b-itcontextRéussi65,59021.889 s
gemma-4-e4b-itquickRéussi2117.919 s
gemma-4-e4b-itstreamRéussi4.25 s
gemma-4-e4b-ittoolsRéussi8.734 s
gpt-oss-20bcontextRéussi65,637159.155 s
gpt-oss-20bquickRéussi7310.548 s
gpt-oss-20bstreamRéussi20.594 s
gpt-oss-20btoolsRéussi9.854 + 9.849 s
granite-4.2-3bcontextRéussi65,58970.968 s
granite-4.2-3bquickRéussi204.009 s
granite-4.2-3bstreamRéussi5.365 s
granite-4.2-3btoolsRéussi6.086 s
granite-4.2-8bcontextRéussi66,08288.636 s
granite-4.2-8bquickRéussi205.857 s
granite-4.2-8bstreamRéussi11.826 s
granite-4.2-8btoolsRéussi11.852 s
qwen27bcontextRéussi66,00754.64 s
qwen27bquickRéussi5731.5 s
qwen27bstreamRéussi0.92 s
qwen27btoolsRéussi4.25 s
qwen3-embedding-0.6bcontextRéussi32,7677.736 s
qwen3-embedding-0.6bquickRéussi142.125 s
qwen3.5-0.8bcontextRéussi16,42910.5 s
qwen3.5-0.8bquickRéussi1714.316 s
qwen3.5-0.8bstreamRéussi2.125 s
qwen3.5-0.8btoolsRéussi4.416 s
qwen3.5-2bcontextRéussi65,58111.175 s
qwen3.5-2bquickRéussi174.519 s
qwen3.5-2bstreamRéussi3.736 s
qwen3.5-2btoolsRéussi5.046 s
qwen3.5-4bcontextRéussi65,57936.451 s
qwen3.5-4bquickRéussi1519.935 s
qwen3.5-4bstreamRéussi17.496 s
qwen3.5-4btoolsRéussi7.308 s
qwen3.5-4bvisionRéussi707.848 s
qwen3.5-4bvision_contextRéussi65,63528.24 s
qwen3.5-4bvision_reverseRéussi704.386 s
qwen3.5-9bcontextRéussi65,58134.139 s
qwen3.5-9bquickRéussi173.88 s
qwen3.5-9bstreamRéussi3.378 s
qwen3.5-9btoolsRéussi10.204 s
qwen3.5-9bvisionRéussi724.441 s
qwen3.5-9bvision_contextRéussi65,63733.745 s
qwen3.5-9bvision_reverseRéussi723.97 s
qwen3.5:35b-a3b-q4_K_McancellationRéussi60.31 s
qwen3.5:35b-a3b-q4_K_MconcurrencyRéussi26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_McontextRéussi248,27954.215 s
qwen3.5:35b-a3b-q4_K_MgatewayRéussi239,153148.12 s
qwen3.5:35b-a3b-q4_K_MquickRéussi7910.08 s
qwen3.5:35b-a3b-q4_K_MstreamRéussi69,42938.783 s
qwen3.5:35b-a3b-q4_K_MtoolsRéussi15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_MvisionRéussi18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextRéussi65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickRéussi153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamRéussi0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsRéussi2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionRéussi380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextRéussi65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickRéussi1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamRéussi1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsRéussi22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionRéussi3.86 s

Système B

Étiquette de route du modèleContrôleRésultatJetons d’entréeDurée de requête
gemma-4-12b-itcontextRéussi65,590299.163 s
gemma-4-12b-itquickRéussi2115.261 s
gemma-4-12b-itstreamRéussi148.792 s
gemma-4-12b-ittoolsRéussi34.124 s
gemma-4-12b-itvisionRéussi12061.455 s
gemma-4-12b-itvision_contextRéussi65,690295.581 s
gemma-4-12b-itvision_reverseRéussi12032.511 s
gemma3-4bcontextRéussi65,58467.382 s
gemma3-4bquickRéussi156.329 s
gemma3-4bstreamRéussi24.138 s
gemma3-4bvisionRéussi3067.018 s
gemma3-4bvision_contextRéussi65,87670.912 s
gemma3-4bvision_reverseRéussi3065.762 s
gpt-oss-20bcontextRéussi65,637206.767 s
gpt-oss-20bquickRéussi7216.583 s
gpt-oss-20bstreamRéussi32.075 s
gpt-oss-20btoolsRéussi28.102 s
nomic-embed-textcontextIncomplet2,048
nomic-embed-textquickRéussi7.117 s
qwen3-14bcontextIncomplet1800.09 s
qwen3-14bquickRéussi1537.199 s
qwen3-14bstreamRéussi35.471 s
qwen3-14btoolsRéussi87.554 s
qwen3-8bcontextHors périmètre sous 65K, exclu
qwen3-8bquickHors périmètre sous 65K, réussite1521.059 s
qwen3-8bstreamHors périmètre sous 65K, exclu
qwen3-8btoolsHors périmètre sous 65K, exclu
qwen3.5-9bcontextRéussi65,579282.796 s
qwen3.5-9blitellm_long_routeRéussi72,265263 s
qwen3.5-9bpost_external_stop_miningRéussi
qwen3.5-9bquickRéussi1525.881 s
qwen3.5-9bstreamRéussi143.44 s
qwen3.5-9btoolsRéussi31.812 s
qwen3.5-9bvisionRéussi7532.015 s
qwen3.5-9bvision_contextRéussi65,640396.288 s
qwen3.5-9bvision_reverseRéussi7528.626 s

Système C

Étiquette de route du modèleContrôleRésultatJetons d’entréeDurée de requête
gemma-4-12b-itaperture_contextRéussi67,255274.24 s
gemma-4-12b-itaperture_shortRéussi3539.32 s
gemma-4-12b-itaperture_stream_contextRéussi67,255282.16 s
gemma-4-12b-itcontextRéussi65,670313.661 s
gemma-4-12b-itgateway_contextRéussi67,254263.07 s
gemma-4-12b-itgateway_shortRéussi2720.98 s
gemma-4-12b-itquickRéussi2116.447 s
gemma-4-12b-itstreamRéussi15.175 s
gemma-4-12b-ittoolsRéussi37.821 s
gemma-4-12b-itvisionRéussi12058.52 s
gemma-4-12b-itvision_contextRéussi65,690308.759 s
gemma-4-12b-itvision_reverseRéussi12031.25 s
gemma3-4baperture_contextRéussi84,04587.68 s
gemma3-4baperture_after_system_d_route_changeRéussi245.42 s
gemma3-4baperture_shortRéussi225.45 s
gemma3-4baperture_streamRéussi3.72 s
gemma3-4bcontextRéussi65,66467.543 s
gemma3-4bgateway_contextRéussi84,04488.05 s
gemma3-4bgateway_short_via_system_aRéussi3.16 s
gemma3-4bgateway_short_via_system_eRéussi
gemma3-4bgateway_short_via_system_fRéussi4.15 s
gemma3-4bgateway_short_via_system_gRéussi6.06 s
gemma3-4bquickRéussi155.163 s
gemma3-4bstreamRéussi24.691 s
gemma3-4bvisionRéussi3067.318 s
gemma3-4bvision_contextRéussi65,87672.476 s
gemma3-4bvision_reverseRéussi3065.831 s
gpt-oss-20bcontextRéussi65,716216.594 s
gpt-oss-20bgateway_contextRéussi84,099315.83 s
gpt-oss-20bgateway_shortIncohérent
gpt-oss-20bquickRéussi7221.603 s
gpt-oss-20bstreamRéussi31.957 s
gpt-oss-20btoolsRéussi26.096 s
nomic-embed-textcontextHors périmètre sous 65K, incomplet2,048
nomic-embed-textquickHors périmètre sous 65K, réussite4.178 s
qwen3-14bcontextHors périmètre sous 65K, incomplet1800.06 s
qwen3-14bquickHors périmètre sous 65K, réussite1535.809 s
qwen3-14bstreamHors périmètre sous 65K, réussite35.43 s
qwen3-14btoolsHors périmètre sous 65K, réussite87.723 s
qwen3-8bcontextHors périmètre sous 65K, exclu
qwen3-8bquickHors périmètre sous 65K, réussite1521.293 s
qwen3-8bstreamHors périmètre sous 65K, incomplet900.01 s
qwen3-8btoolsHors périmètre sous 65K, exclu
qwen3.5-9bcontextRéussi65,662287.984 s
qwen3.5-9bgateway_contextRéussi75,648319.36 s
qwen3.5-9bgateway_shortRéussi2172.14 s
qwen3.5-9bquickRéussi1524.635 s
qwen3.5-9bstreamRéussi143.157 s
qwen3.5-9btoolsRéussi30.395 s
qwen3.5-9bvisionRéussi7527.756 s
qwen3.5-9bvision_contextRéussi65,640398.797 s
qwen3.5-9bvision_reverseRéussi7528.645 s

Système D

Étiquette de route du modèleContrôleRésultatJetons d’entréeDurée de requête
gemma-4-12b-itcontextRéussi65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kRéussi72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortRéussi3430.74 s
gemma-4-12b-itquickRéussi2115.05 s
gemma-4-12b-itstreamRéussi14.722 s
gemma-4-12b-ittoolsRéussi33.869 s
gemma-4-12b-itvisionRéussi12056.315 s
gemma-4-12b-itvision_contextRéussi65,690282.174 s
gemma-4-12b-itvision_reverseRéussi12029.978 s
gemma3-4bcontextRéussi65,58463.564 s
gemma3-4bexact_digest_65k_recallFailed67,25262.07 s
gemma3-4bquickRéussi155.151 s
gemma3-4bstreamRéussi22.552 s
gemma3-4bvisionRéussi3068.276 s
gemma3-4bvision_contextRéussi65,87667.575 s
gemma3-4bvision_reverseRéussi3065.651 s
gpt-oss-20bcontextRéussi65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kRéussi72,104245.94 s
gpt-oss-20bexact_digest_broker_shortRéussi8415.96 s
gpt-oss-20bquickRéussi7215.431 s
gpt-oss-20bstreamRéussi31.052 s
gpt-oss-20btoolsRéussi23.65 s
nomic-embed-textcontextIncomplet2,048
nomic-embed-textquickRéussi2.798 s
qwen3-14bcontextIncomplet40,939872.209 s
qwen3-14bquickRéussi1536.021 s
qwen3-14bstreamRéussi33.491 s
qwen3-14btoolsRéussi82.471 s
qwen3-8bcontextIncomplet1800.07 s
qwen3-8bquickRéussi1519.283 s
qwen3-8bstreamRéussi19.401 s
qwen3-8btoolsRéussi65.054 s
qwen3.5-9bcontextRéussi65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kRéussi81,051324.07 s
qwen3.5-9bexact_digest_broker_shortRéussi2994.48 s
qwen3.5-9bquickRéussi1527.16 s
qwen3.5-9bstreamRéussi28.62 s
qwen3.5-9btoolsRéussi28.129 s
qwen3.5-9bvisionRéussi7525.047 s
qwen3.5-9bvision_contextRéussi65,640369.477 s
qwen3.5-9bvision_reverseRéussi7527.602 s

Système E

Étiquette de route du modèleContrôleRésultatJetons d’entréeDurée de requête
gemma-4-e4b-itcontextRéussi65,59049.086 s
gemma-4-e4b-itquickRéussi2123.911 s
gemma-4-e4b-itstreamRéussi28.136 s
gemma-4-e4b-ittoolsRéussi56.756 s
granite-4.0-h-tinycontextRéussi65,566
granite-4.0-h-tinyquickRéussi3510.408 s
granite-4.0-h-tinystreamRéussi27.798 s
granite-4.0-h-tinytoolsRéussi43.304 s
granite-4.2-3bcontextRéussi65,5891014.03 s
granite-4.2-3bquickRéussi2014.569 s
granite-4.2-3bstreamRéussi6.948 s
granite-4.2-3btoolsRéussi56.376 s
qwen3-embedding-0.6bcontextRéussi32,76720.387 s
qwen3-embedding-0.6bquickRéussi149.592 s
qwen3.5-0.8bcontextRéussi16,4299.128 s
qwen3.5-0.8bquickRéussi17452.417 s
qwen3.5-0.8bstreamRéussi11.163 s
qwen3.5-0.8btoolsRéussi39.214 s
qwen3.5-2bcontextRéussi65,57930.343 s
qwen3.5-2bquickRéussi1512.509 s
qwen3.5-2bstreamRéussi26.165 s
qwen3.5-2btoolsRéussi42.056 s
qwen3.5-4bcontextRéussi65,57953.787 s
qwen3.5-4bquickRéussi1526.736 s
qwen3.5-4bstreamRéussi26.02 s
qwen3.5-4btoolsRéussi57.293 s
qwen3.5-4bvisionRéussi7210.09 s
qwen3.5-4bvision_contextRéussi65,63744.88 s
qwen3.5-4bvision_reverseRéussi729.96 s

Système F

Étiquette de route du modèleContrôleRésultatJetons d’entréeDurée de requête
gemma-4-e4b-itcontextRéussi65,59098.443 s
gemma-4-e4b-itquickRéussi2127.51 s
gemma-4-e4b-itstreamRéussi28.042 s
gemma-4-e4b-ittoolsRéussi73.891 s
granite-4.0-h-tinycontextRéussi65,59919.692 s
granite-4.0-h-tinyquickRéussi3543.818 s
granite-4.0-h-tinystreamRéussi27.296 s
granite-4.0-h-tinytoolsRéussi75.377 s
granite-4.2-3bcontextRéussi65,589145.179 s
granite-4.2-3bquickRéussi2015.703 s
granite-4.2-3bstreamRéussi35.482 s
granite-4.2-3btoolsRéussi52.539 s
qwen3-embedding-0.6bcontextRéussi32,76720.656 s
qwen3-embedding-0.6bquickRéussi148.122 s
qwen3.5-0.8bcontextRéussi16,42913.326 s
qwen3.5-0.8bquickRéussi17445.22 s
qwen3.5-0.8bstreamRéussi13.266 s
qwen3.5-0.8btoolsRéussi40.825 s
qwen3.5-2bcontextRéussi65,57961.282 s
qwen3.5-2bquickRéussi1516.738 s
qwen3.5-2bstreamRéussi25.29 s
qwen3.5-2btoolsRéussi47.444 s
qwen3.5-4bcontextRéussi65,57993.753 s
qwen3.5-4bquickRéussi1533.039 s
qwen3.5-4bstreamRéussi25.658 s
qwen3.5-4btoolsRéussi71.731 s
qwen3.5-4bvisionRéussi7043.053 s
qwen3.5-4bvision_contextRéussi65,63584.749 s
qwen3.5-4bvision_reverseRéussi7027.518 s

Système G

Étiquette de route du modèleContrôleRésultatJetons d’entréeDurée de requête
gemma-4-e4b-itcontextRéussi65,59092.696 s
gemma-4-e4b-itquickRéussi2138.329 s
gemma-4-e4b-itstreamRéussi43.549 s
gemma-4-e4b-ittoolsRéussi66.616 s
granite-4.0-h-tinycontextRéussi65,59969.777 s
granite-4.0-h-tinyquickRéussi3533.17 s
granite-4.0-h-tinystreamRéussi31.751 s
granite-4.0-h-tinytoolsRéussi63.338 s
granite-4.2-3bcontextRéussi65,589100.849 s
granite-4.2-3bquickRéussi2023.355 s
granite-4.2-3bstreamRéussi28.75 s
granite-4.2-3btoolsRéussi44.226 s
qwen3-embedding-0.6bcontextRéussi32,76723.055 s
qwen3-embedding-0.6bquickRéussi148.924 s
qwen3.5-0.8bcontextRéussi16,42916.74 s
qwen3.5-0.8bquickRéussi17504.813 s
qwen3.5-0.8bstreamRéussi15.095 s
qwen3.5-0.8btoolsRéussi36.672 s
qwen3.5-2bcontextRéussi65,57976.731 s
qwen3.5-2bquickRéussi1520.949 s
qwen3.5-2bstreamRéussi25.194 s
qwen3.5-2btoolsRéussi37.552 s
qwen3.5-4bcontextRéussi65,57990.807 s
qwen3.5-4bquickRéussi1541.84 s
qwen3.5-4bstreamRéussi40.812 s
qwen3.5-4btoolsRéussi54.999 s
qwen3.5-4bvisionRéussi7029.619 s
qwen3.5-4bvision_contextRéussi65,63587.496 s
qwen3.5-4bvision_reverseRéussi7026.283 s

Comment j’ai testé la viabilité de Hermes

J’ai placé un marqueur synthétique près du début d’une longue invite, puis demandé ce marqueur après le texte de remplissage. La réponse devait renvoyer la valeur attendue. La taille des requêtes était déterminée par le nombre de jetons d’entrée indiqué par le serveur. Un modèle qui répondait normalement après une longue invite échouait tout de même si le marqueur initial était incorrect.

La progression Qwen3.5 35B utilisait des enregistrements numérotés comme remplissage, une température de 0 et des longueurs croissantes de 3 800, 6 800, 10 000 et 13 600 enregistrements. Ces étapes ont renvoyé 69 429, 124 179, 182 579 et 248 279 jetons d’invite. Le modèle est resté chargé entre les étapes, ce qui permettait de réutiliser le préfixe. Les contrôles distincts de Qwen3.6 près de la limite indiquaient zéro jeton en cache.

La longue invite du modèle 0.8B répétait river stone lantern orchard circuit velvet compass marble 8 400 fois entre une clé de réponse initiale et une question finale de rappel. L’exécution native envoyait think:false, num_ctx:131072, stream:false et keep_alive:0. Le chemin compatible OpenAI utilisait reasoning_effort:"none". Le courtier imposait le mode sans réflexion pour sa route, les clients de la passerelle n’avaient donc pas à modifier la requête.

Contrôles des outils, de la vision et de la libération

Les tests d’outils vérifiaient la requête ainsi que la réponse reçue après le retour du résultat de l’outil. Un test simple utilisait add_numbers(7, 11) et attendait 18. Le test Qwen3.5 35B utilisait lookup_square et attendait 49. GPT-OSS recherchait un article en stock et devait intégrer le résultat renvoyé.

Les tests de vision utilisaient des questions sur des images rouges et bleues, inversaient l’ordre des images et inséraient des couleurs d’image ainsi que des marqueurs de début et de fin dans de longues invites. Le test Qwen3.5 35B utilisait un PNG rouge de 256 × 256. Une correction de conversion du contenu image par le courtier était nécessaire avant la réussite de cette requête. Le long test de vision 4B du système E exigeait que les deux marqueurs et l’ordre des couleurs survivent au traitement de l’entrée.

Pendant les longues exécutions, j’ai contrôlé la mémoire GPU, la résidence du modèle, les températures, la pression sur la mémoire hôte, les événements OOM et les erreurs GPU. La protection de Qwen3.5 35B vérifiait aussi la libération après une interruption contrôlée. Les contrôles ultérieurs d’annulation par le client et de requêtes en file d’attente ont exercé le chemin du courtier. Deux requêtes en file d’attente prouvent le traitement des requêtes sous la charge testée, et non l’existence de deux backends GPU simultanés indépendants.

Interpréter les résultats de performance

Les durées des requêtes incluent le préremplissage des longues entrées et la réponse renvoyée. Elles ne correspondent pas au débit de génération en jetons par seconde. Le délai avant le premier contenu compte pour le flux continu, et les progressions avec préfixe en cache nécessitent une interprétation distincte.

Les exécutions de suivi réussies avec les grands modèles des systèmes A et C utilisaient des périodes d’inférence dédiées, pendant lesquelles le minage était inactif. Les modèles ont été déchargés après ces requêtes. Le minage a repris sur les sept systèmes à la fin de la période de test. Ces résultats décrivent le service des modèles pendant une période d’inférence, et non le minage et l’inférence simultanés.

Profils de backend utilisés pour les tests

Choisissez le profil associé à la charge que vous souhaitez reproduire. La quantification, le contexte d’exécution, le type de cache, le mode de raisonnement et la répartition des GPU influent tous sur le résultat.

Système et modèleProfil de backend testé
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, cache KV f16, les deux cartes RTX 5060 Ti de 16 Go, 64 GiB de RAM hôte, contexte d’exécution de 262 144 pour la grande progression. Les requêtes natives utilisaient think:false, température 0, flux continu et maintien actif de cinq minutes entre étapes. Les requêtes de passerelle utilisaient le courtier et LiteLLM. Aucune limite de sortie de requête.
A, Qwen3.8 27Bllama.cpp à la demande via le courtier et LiteLLM, contexte d’exécution de 262 144, un emplacement d’inférence, cache K/V Q4, les deux cartes RTX 5060 Ti. La requête de 66 007 jetons n’avait aucune limite de sortie.
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, contexte de 131 072, cache KV INT8, un GPU sélectionné, limite mémoire de groupe de processus de 55 GiB, limite d’exécution de 30 minutes, chargement différé, déchargement après 60 secondes d’inactivité. Réponse longue pilote : 217 jetons de sortie. Réponse de passerelle près de la limite : 11 jetons de sortie, aucune limite de sortie de requête.
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, contexte de 98 304, cache KV Q4, cache expert résident de 8 GiB, les deux cartes RTX 5060 Ti. Limite mémoire pilote de 52 GiB, puis 54 GiB pour la route ultérieure. Réponse longue pilote : 10 jetons de sortie. Les combinaisons antérieures avec un contexte et un cache plus grands se sont arrêtées aux limites mémoire.
A, Granite 4.2 8BPoids GGUF Q6_K, processus de travail mutualisé de llama.cpp, contexte de 131 072, cache K/V Q4_0, --n-predict -1. La longue requête utilisait une température de 0, la mesure de l’utilisation en flux continu et aucune limite de sortie.
A, DeepSeek Coder V2 16BPoids GGUF Q4_0, Ollama 0.34.2, deux cartes RTX 5060 Ti, 64 GiB de RAM hôte. Les essais séparés avec caches f16, Q4_0 et Q8_0 utilisaient les contextes d’exécution indiqués dans le tableau comparatif. Aucune limite de sortie de requête.
B, C, D, service Ollama auditéOllama 0.34.2, contexte de 131 072, parallélisme 1, un modèle chargé, file d’attente de taille 128, maintien actif à 0, Flash Attention, cache KV Q4_0.
B, pilote de passerelle Qwen3.5 9BDélai d’expiration de route LiteLLM de 1 800 secondes, aucune nouvelle tentative, aucune limite de contexte ni de jetons de sortie. Les deux marqueurs ont été conservés avec 72 265 jetons d’entrée. Le contrôle distinct de reprise du minage a réussi.
C, Qwen3.5 0.8BPoids Q8_0 sur une RTX 2000E Ada avec un profil d’alimentation de 30 W. Contexte d’exécution de 131 072. think:false natif, reasoning_effort:"none" compatible OpenAI, aucune limite de sortie. L’alias du courtier fixait le contexte d’exécution et imposait le mode sans réflexion.
C, Gemma 4 12B-ITProfil Ollama à un seul GPU, contexte d’exécution de 131 072, requêtes Aperture en flux continu et sans flux continu, sans limite de sortie. L’exécution Aperture directe a culminé à 75 C et 30,64 W avec le profil configuré à 30 W, puis le modèle a été déchargé.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BArtefacts installés exacts testés via Aperture, contexte d’exécution de 131 072, résidence complète sur un GPU, fin naturelle sans limite de sortie de requête.
E, F, G, processus de conversation llama.cppBuild 11669, 99 couches GPU, parallélisme 1, Flash Attention, cache K/V Q4_0, --n-predict -1. Le contexte d’exécution variait selon la famille de modèles.

Les profils de service enregistrés décrivent leurs propres configurations d’exécution. Le profil Qwen3.5 35B avec cache f16 testé séparément sur le système A n’hérite pas des réglages de cache Q4_0 des systèmes Ollama plus petits.

Empreintes des modèles des nouveaux essais d’entrée conservée

Ces identifiants de modèles distinguent les artefacts testés d’autres téléchargements ou alias portant des noms similaires.

ArtefactQuantificationEmpreinte enregistrée ou SHA-256 du fichier
Étiquette Ollama Qwen3.5 35B-A3BQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Étiquette Ollama Qwen3.5 0.8B de baseQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Fichier GGUF Granite 4.2 8BQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Les empreintes de manifeste Ollama et les valeurs SHA-256 des fichiers de poids désignent des objets différents. Faites correspondre l’identifiant au type d’artefact du tableau.

Ce que je lancerais avec Hermes

Je ferais de Qwen3.5 35B la principale route à contexte élevé sur le système à deux RTX 5060 Ti. Son résultat de conservation de 239 153 jetons via la passerelle, ses réussites distinctes avec les outils et la vision, ainsi que la libération vérifiée des requêtes rendent ce choix plus solide qu’un modèle simplement annoncé avec une grande fenêtre de contexte. Je garderais Qwen3.8 27B pour les réponses plus rapides aux requêtes comparables de 66K et Qwen3.6 lorsqu’il est préférable d’utiliser une seule carte.

Sur les systèmes RTX 2000E Ada, je choisirais la route Gemma 3 4B vérifiée du système C pour la charge de réponse à longue entrée testée. J’essaierais la route Qwen3.5 0.8B sans réflexion pour le rappel et l’extraction ciblés. Les routes Gemma, Qwen et GPT-OSS plus grandes conviennent aux tâches qui tolèrent une réponse initiale testée de quatre à cinq minutes. J’exclurais de la sélection la route Gemma 3 défaillante du système D.

Pour les cartes RTX 3060 Ti et RTX 3070 de 8 Go, je commencerais par Qwen3.5 2B ou 4B. Les résultats texte à 65K et les contrôles d’image 4B étayent une configuration de départ utile sans consacrer systématiquement les deux cartes de 16 Go à chaque requête. La pression mémoire de Flash Next et le comportement incomplet à 65K de DeepSeek Coder V2 en font des choix par défaut moins intéressants dans les profils testés.

Les tests appuient ces choix de modèles et de systèmes pour des flux de travail précis. La conservation des entrées, un échange correct avec un outil, la reconnaissance d’image et la libération propre vérifient chacun une partie différente de la viabilité de Hermes. Une configuration fiable doit couvrir les comportements utilisés par votre agent et laisser assez de contexte pour la réponse et les échanges avec les outils.

Sources et lectures complémentaires