Ver mensajes del autor Ver mensajes propios
Suscribirse

¿Qué os parece esta gráfica para Ollama local con modelo básicos?

1 2
2 / 2
loko_rose
ForoCoches: Miembro
Hoy 12:00
#31
Cita de MarceFX
Lo del extensor de PCIe me lo plantearía si encuentro una que me merezca la pena y no entrase.


Te refieres a esta?


https://www.pccomponentes.com/tarjet...gb-gddr6-fsr-4
Sí, por ejemplo esa que has puesto. La 5060Ti es mejor. Pero en cuestión IA te limita mas la cantidad vram que el ancho de banda de la misma o la potencia del chip, que con modelos que se ejecuten bien por debajo de los 16gb deberían ir casi igual una tarjeta que la otra.
valandil314
ForoCoches: Miembro
Hoy 12:10
#32
Yo tengo 4 7900XTX y aunque ROCm ha mejorado mucho el tema compatibilidad, para ciertos modelos específicos no tienen soporte y hay que hacer malabares o directamente descartarlos. Ayer mismo descarté el STT nemotron 3.5 que me hubiera venido genial porque no tenía soporte para gpu (en CPU estaba una variante INT4 que era muy rápida pero tenía poca precisión y los pesos BF16 eran más lentos que tiempo real y no me servían).

Tristemente todo está más orientado a nvidia y va a ser más fácil implementarlo que usando rocm.
Herramientas

1 2
2 / 2
← A Electrónica / Informática
⌃