ollama cloud ist geilgleicher preis wie z.b. openai aber zugriff auf mehrere modell aber man kann es auch gratis nutzenund die prompts und responses werden nicht fürs training genutzt

ollama cloud ist geil
gleicher preis wie z.b. openai aber zugriff auf mehrere modell aber man kann es auch gratis nutzen
und die prompts und responses werden nicht fürs training genutzt

drawback: keine transparenz bei den limiten - ich habe mit qwen3-coder und opencode in 5 minuten mein gesamtes free limit verballert
nanocoder ist da weitaus sparsamer, ist allerdings paar mal abgestürzt
#KI #ollama #nanocoder #opencode #qwen3coder

@pmj Empfehle dir Cortecs https://cortecs.ai/ Das ist ein European LLM Router. Zugriff auf Models gehostet in Europa.

Bei anderen Routern wie OpenRouter oder Ollamacloud kommen Amerikanische Provider zum Einsatz.

#cortecs #OpenCode

@janikvonrotz

naja, hab ollama eh schon installiert für die lokalen modelle und da habe ich quasi einen flat-tarif bzw. sogar ein free tier und muss mir nicht den kopf bei der kostenberechnung zerbrechen

ich bin eh mehrheitlich am testen und damit spielen, benutze die also nicht kommerziell oder produktiv, da will ich so wenig geld wie möglich ausgeben

aber thx für den tipp

@pmj oki, alles klar. Würd auch gerne lokal damit arbeiten, habe aber keine gute GPU. Habe schon einige Provider und LLMs angeschaut. Das Ganze ist total unübersichtlich. So wie ein Bazaar wo dir alle einen Teppich andrehen wollen.

Bezl. Kosten habe ich mir am Post-Schalter ne Prepaid-Kreditkarte gekauft. Dann passiert nichts wenn das LLM-Dingens durchdreht.

@janikvonrotz

naja, ich haba auch "nur" eine normale 3060 - 12gb vram, da kann man schon paar sachen mit den kleineren modellen machen
bzw. eigentlich 2, aber ich kann sie (noch) nicht kombinieren weil die eine für pci-passthrough in die windows VM am vfio-pci kernel treiber hängt
würde gerner gtp-oss mal lokal testen

ich hab mir vorhin auch die viseca seite angeguckt, aber ist einfach alles zu teuer
wieviel hast du bei der post bezahlt?

@pmj war in die Richtung: https://www.digitalreload.ch/products/cornercard-prepaid-master-visacard

40 CHF einmalig und dann der Betrag zum aufladen. Für so einmalige Angelegenheiten ganz ok.