¿Qué os parece esta gráfica para Ollama local con modelo básicos?
Click aquí
Ayer 19:28
#1
|
Hola: Tengo un servidor básico para cosillas mías con modelos en local. Es este: https://www.info-computer.com/dell-p...win-11-dp.html Voy a meterle GPU para darle vidilla a mi Ollama en local, que se me está quejando mucho. Nada profesional, aunque tampoco quiero que vaya a 5 tokens por segundo. Leyendo mucho y tirando de IA, he llegado a esta: Amazon El resumen es este: 3. MSI GeForce RTX 5060 Ti 16G INSPIRE 2X OC (589 €) - La Elección Óptima Esta opción es perfecta para tu situación por múltiples factores: Velocidad de Memoria Revolucionaria: Al ser de la serie 5000, incluye 16 GB de la nueva tecnología de memoria GDDR7. Esto eleva el ancho de banda a 448 GB/s (frente a los 288 GB/s de la generación anterior). Para la inteligencia artificial local, esto se traduce directamente en que el modelo escribirá texto o código a una velocidad muchísimo mayor. Compatibilidad Física Garantizada: Este modelo es muy compacto, midiendo apenas 204 mm de longitud. Entrará de manera holgada en tu torre Dell sin requerir que modifiques ni retires ninguna pieza de plástico del interior. Eficiencia Energética: Su consumo máximo ronda los 180W, lo que la mantiene en un rango manejable para la actualización de energía que discutimos. Precio: Sorprendentemente, a 589 €, es la más barata de las tres, ofreciéndote tecnología superior a un costo menor. Respecto a tu duda sobre el futuro: esta nueva tarjeta utiliza el estándar de conexión PCI Express 5.0. En tu actual Dell funcionará perfectamente acoplándose a tu ranura PCIe 3.0, pero te garantiza una longevidad excepcional. El día de mañana, cuando la instales en un ordenador de nueva generación, aprovechará todo el ancho de banda del estándar 5.0, haciéndola una inversión extremadamente sólida a largo plazo. Opiniones forococheras? Gracias |
ForoCoches: Miembro
Ayer 19:38
#3
|
589€... Madre mia. Yo tengo una de zotac y me costó 435 o algo asi. He visto 5070 a precios muy parejos, pero claro, tiene solo 12gb aunque mayor ancho de banda. Tiene bastante mayor potencia esta última. ¿Te podría servir a pesar de tener menos gb? |
ForoCoches: Miembro
Ayer 20:37
#4
|
hombre pues esa grafica genial porque tiene 16GB de vram podras ejecutar el qwen 14B con solvencia |
ForoCoches: Miembro
Ayer 21:06
#5
| Para experimentar, con esa te va a ir bien. Dudo que encuentres algo mejor relación calidad/precio. |
ForoCoches: Miembro
Hoy 00:08
#6
|
Yo soy de la opinión de que si quieres hacer algo realmente util, necesitas 24gb sí o sí. Aunque duela al bolsillo, es la verdad. Hay un salto importante en la capacidad de los modelos de 12-20B que como mucho vas a poder correr a velocidades decentes, y los modelos ya que rondan los 30-35B. Es una compra más práctica una 3090 o una 7900XTX usada que una RTX5000 nueva (excepto la 5090, obviamente) |
ForoCoches: Miembro
Hoy 07:56
#7
|
Yo soy de la opinión de que si quieres hacer algo realmente util, necesitas 24gb sí o sí.
Aunque duela al bolsillo, es la verdad. Hay un salto importante en la capacidad de los modelos de 12-20B que como mucho vas a poder correr a velocidades decentes, y los modelos ya que rondan los 30-35B. Es una compra más práctica una 3090 o una 7900XTX usada que una RTX5000 nueva (excepto la 5090, obviamente) es cierto, pero toda grafica de 24GB estan carisimas en el mercado de segunda mano |
No soy el del avatar
Hoy 09:23
#8
| Ojo que los modelos que puedas ejecutar ahí son muy muy pequeños y no puedes esperar grandes cosas de ellos. |
Mienbro
Hoy 09:49
#9
|
A mi me parece un desembolso increíble para lo poco que se puede conseguir… Vas a ganar mucho en velocidad, pero con 16gb los modelos que se pueden cargar son los que son. Imagino que ya tienes algo montado y sabes lo que esperar, así que si te sobran 600€ pues adelante. Si es por cacharrear, por unos 200€ pillas una bc250+alimentacion, y tienes un engendro con 16gb de RAM que no va a ir tan rápido pero cuesta una tercera parte y podrá cargar los mismos modelos prácticamente. |
ForoCoches: Miembro
Hoy 10:00
#10
|
La 3090 se dejan ver ocasionalmente a 700-800€ Para pruebas del tipo que quiere el OP es lo que mejor veo. |
ForoCoches: Usuario
Hoy 10:21
#11
|
Yo en su día saqué la siguiente cuenta: Si una cuota anual de minimax sale 440€ al año, y tiene una potencia similar a un Claude opus. Con ese dinero no hay gráfica que te haga lo mismo. Dentro de un año, ese montaje que te costó 2000€ pasará a costar 1500€. Tienes para cuatro años del minimax a full. En cuatro años ese pc vale 600€ Salvo para proyectos muy concretos, o como excusa para adquirir un pc gamer, te lo compro. Para el resto, pues tendrás un modelo que correrá meh, sin límites eso sí, manteniendo una privacidad y con una complejidad añadida que en las versiones cloud ya te las evitas. |
ForoCoches: Miembro
Hoy 10:33
#13
| De eso hace casi un año. Verlas a menos de 900 es una rareza hoy en día. |
ForoCoches: Miembro
Hoy 10:38
#14
|
Yo en su día saqué la siguiente cuenta:
Si una cuota anual de minimax sale 440€ al año, y tiene una potencia similar a un Claude opus. Con ese dinero no hay gráfica que te haga lo mismo. Dentro de un año, ese montaje que te costó 2000€ pasará a costar 1500€. Tienes para cuatro años del minimax a full. En cuatro años ese pc vale 600€ Salvo para proyectos muy concretos, o como excusa para adquirir un pc gamer, te lo compro. Para el resto, pues tendrás un modelo que correrá meh, sin límites eso sí, manteniendo una privacidad y con una complejidad añadida que en las versiones cloud ya te las evitas. 
|
Editado: 10:42 -
ForoCoches: Miembro
Hoy 11:56
#15
|
yo me tiro de los pelos porque cuando costaban 500 euros de segunda mano las 3090 estuve a punto de pillar una y me eché para atrás, me quedé con mi 3080 10gb ahora que cacharreo bastante con qwen local, me arrepiento tremendamente |
ForoCoches: Miembro
Hoy 12:01
#16
|
Yo en su día saqué la siguiente cuenta:
Si una cuota anual de minimax sale 440€ al año, y tiene una potencia similar a un Claude opus. Con ese dinero no hay gráfica que te haga lo mismo. Dentro de un año, ese montaje que te costó 2000€ pasará a costar 1500€. Tienes para cuatro años del minimax a full. En cuatro años ese pc vale 600€ Salvo para proyectos muy concretos, o como excusa para adquirir un pc gamer, te lo compro. Para el resto, pues tendrás un modelo que correrá meh, sin límites eso sí, manteniendo una privacidad y con una complejidad añadida que en las versiones cloud ya te las evitas. |
ForoCoches: Usuario
Hoy 12:04
#17
|
En LLM lo principal es la cantidad de VRAM y el ancho, la potencia de la GPU es secundario. Con 16GB vas a ir justo para probar cualquier modelo decente como Gemma4 26B o Qwen3.6 27B, lo ideal son 24GB |
ForoCoches: Miembro
Hoy 16:51
#18
|
Hombre, cada vez hay menos, sí. Pero como digo un par de meses buscando cuando se acuerde 3 o 4 veces por semanas y algo ve 100x100. |
ForoCoches: Miembro
Hoy 18:57
#20
| Qué va. Yo tengo un bot que mira las oferta por mi cada 2 horas y me avisa cuando sale algo. Igual aparece 1 al mes en toda mi CCAA y vuela en horas. |
