¿Qué os parece esta gráfica para Ollama local con modelo básicos?

1 2

2 / 2

loko_rose

ForoCoches: Miembro

Hoy 12:00

Cita de MarceFX

Lo del extensor de PCIe me lo plantearía si encuentro una que me merezca la pena y no entrase.

Te refieres a esta?

https://www.pccomponentes.com/tarjet...gb-gddr6-fsr-4

Sí, por ejemplo esa que has puesto. La 5060Ti es mejor. Pero en cuestión IA te limita mas la cantidad vram que el ancho de banda de la misma o la potencia del chip, que con modelos que se ejecuten bien por debajo de los 16gb deberían ir casi igual una tarjeta que la otra.

valandil314

ForoCoches: Miembro

Hoy 12:10

#32

Yo tengo 4 7900XTX y aunque ROCm ha mejorado mucho el tema compatibilidad, para ciertos modelos específicos no tienen soporte y hay que hacer malabares o directamente descartarlos. Ayer mismo descarté el STT nemotron 3.5 que me hubiera venido genial porque no tenía soporte para gpu (en CPU estaba una variante INT4 que era muy rápida pero tenía poca precisión y los pesos BF16 eran más lentos que tiempo real y no me servían).

Tristemente todo está más orientado a nvidia y va a ser más fácil implementarlo que usando rocm.

CibernoX_CTDI

ForoCoches: Miembro

Hoy 12:19

#33

Cita de valandil314

Eso está cambiando bastante porque como la gente ya no puede encontrar tarjetas nvidia, pues está como tu y yo comprando AMD, porque no queda otra. Yo de momento no me encontré nada que no funcionase. Como mucho, algo que no funcionaba de saque pero que le dices a la IA que te lo arregle y en 10 minutos ha instalado las librerías que tocaba y funciona todo.

valandil314

ForoCoches: Miembro

Hoy 12:23

#34

Cita de CibernoX_CTDI

Si, como digo cada vez hay más soporte, yo también lo intento apañar pero al menos a mi, han habido casos que he tenido que desistir de usar un modelo específico por esto. Igualmente hoy en día salen modelos cada semana, seguro que dentro de poco encuentro algo igual o hasta mejor que funcione, la cosa son las ganas de calentarte la cabeza para la implementación jaja