¿Alguno habéis montado algún LLM en local?
ForoCoches: Usuario
28-may-2026 10:37
#1
|
¿Cuánto habéis invertido? ¿qué équipo tenéis y que características tiene (CPU/GPU, RAM, etc.) ¿Os está dando buenos resultados? |
Platino II
28-may-2026 10:46
#2
|
Hay un hilo hablando sobre ello, por si no lo conocías: https://forocoches.com/foro/showthread.php?t=10099080 |
ForoCoches: Usuario
28-may-2026 11:34
#4
|
Hay un hilo hablando sobre ello, por si no lo conocías:
https://forocoches.com/foro/showthread.php?t=10099080 |
ForoCoches: Usuario
28-may-2026 12:30
#6
|
Si con LMstudio pero son todas una mierda, ni aunque tengas 96gb de ram para tirar modelos “decentes” Al menos para desarrollo no hay color |
No man behind!
28-may-2026 15:56
#7
|
conmigo al menos no ha dado ni una qwen 2.5 de 14B corriendo en una 5070, al menos para temas que requieren mucho contexto (analizar una carpeta y toda su estructura, leer ficheros etc...) |
ForoCoches: Usuario
28-may-2026 16:06
#8
|
Si, yo creo que lo más importante es diferenciar (además de posibles alucionaciones), el tema del contexto, porque si no, empieza a olvidar y las alucinaciones se convierten en cosas sin sentido 30000%. Quiza para consultas sencillas, solución de algun problema etc, o tipo conversación sencilla ok, pero en cuanto tiene que recordar X....
conmigo al menos no ha dado ni una qwen 2.5 de 14B corriendo en una 5070, al menos para temas que requieren mucho contexto (analizar una carpeta y toda su estructura, leer ficheros etc...) Y para las cosas complejas pues tambien ya que estas no llegan Yo la he usado para un experimento de juego web, con instrucciones de responder X o Y segun lo que haga el usuario y para algo asi tan sencillo ni tan mal. Pero de resto, probamos algunas tochas en el M3 ultra de 96 de ram de un colega y no me acuerdo que modelos probamos pero ninguno se acercaba ni lo mas minimo al Opus 4.7 o GPT 5.5, ni con 96 de ram... La IA local para algunas empresas tochas que no les importa gastar millonadas de ram pues igual, para el resto no es mas que un mero experimento que aporta poco |