Mallit ja hinnat
| Malli | Ominaisuudet | Konteksti | Tila | Syötteen paino | Vastauksen paino |
|---|---|---|---|---|---|
Qwen2.5-VL 7B Instructqwen2.5-vl-7b
Yleiskäyttöinen keskustelumalli, joka ymmärtää kuvia ja osaa työkalukutsut (4-bittinen kvantisointi). Mallikortti |
7Bkeskustelukuvasyötetyökalukutsut | 16k | käytettävissä | 1.0 | 1.0 |
Mallin koko
Mallin kokoa kuvaa sen parametrien määrä, joka näkyy harmaana tunnisteena, esimerkiksi 7B, joka tarkoittaa noin 7 miljardia parametria. Suuremmat mallit ovat yleensä kyvykkäämpiä mutta hitaampia. Osa malleista käyttää kullekin tokenille vain osaa parametreistaan; tunniste 35B-A3B tarkoittaa 35 miljardia parametria, joista 3 miljardia on kerrallaan aktiivisia. Tällainen malli toimii suunnilleen aktiivisen kokonsa nopeudella, mutta kaikki sen painot ladataan muistiin, mikä rajoittaa laitteiston kokonaispalvelukapasiteettia.
Palvelutasot
Jokaisella allokaatiolla on palveluluokka. Se ratkaisee, miten pyyntöä käsitellään palvelun ollessa kuormitettu; se ei muuta pyynnön hintaa standardoiduissa tokeneissa.
Prioriteetti
Pyynnöt palvellaan palvelun täyteen kapasiteettiin asti. Tarkoitettu vuorovaikutteiseen ja tuotantokäyttöön.
Kapasiteetti
Kun palvelu on raskaasti kuormitettu, pyynnöt odottavat kuorman laskua ja voivat lopulta epäonnistua. Tarkoitettu eräajoihin ja kokeiluun.
Kiintiöt ja nopeusrajat
Kiintiöt ja nopeusrajat lasketaan standardoiduissa tokeneissa: pyynnön token-määrät kerrotaan mallikohtaisilla painoilla, yllä olevan taulukon kehote- ja vastauspainoilla.