Nuevo proyecto, futuro emprendimiento

Cita de SRP

Buenas gente, vengo con muchas dudas… y a enseñaros mi nuevo proyecto: DocuData AI.
Es básicamente un chatbot RAG pensado para pymes y empresas pequeñas que quieren usar IA pero sin mandar sus datos a nadie, porque todo corre on-premise en su propio servidor con Docker.


Funciona con Ollama sin modelos descargados, así que es enchufar el docker compose, levantarlo y listo.
Le metes tus PDFs, organizas quién puede ver qué con permisos (3 tipos de usuario), grupos, directorios, etc, y la app responde solo con lo que le has alimentado. Nada de que se vaya a inventar los datos (bueno, a veces sí, pero ya sabéis cómo son estas IAs ), todo depende del modelo y del poder computacional que tenga disponible.


Toda la parte friki del “prompt engineering” la he dejado en el panel de admin, configurable:
– Temperatura
– Umbral de similitud
– Modelos de ollama
– Etc.
Para que cada empresa/persona lo tunee sin tener que hacer un máster.


Además, si tenéis bases de datos, también puede tirar de ellas. Por ahora soporta Oracle y Postgres, y responde mezclando la info de los documentos + la BBDD.


Mi idea es que sea una herramienta barata, sencilla y completamente local, ideal para cualquiera que no quiera que sus datos salgan de su red.


Os dejo esto por aquí para recibir feedback, ideas, rajadas, lo que queráis.
Si alguien quiere probarlo o tiene dudas técnicas, encantado de ir respondiendo.



Lo hice como pequeño proyecto personal y tengo la curiosidad de que pueda ser vendible.

Actualmente está vendible, por si alguien lo quiere probar, registrandose, comprando la licencia y descargando la solución. Está conectado con stripe modo pruebas:

www.docudata.es
Con tarjeta de credito: 4242 4242 4242 4242
Fecha: 12/34 CSV: 123


No está probado con Windows, pero no debería haber problemas, está probado con 6 de vram, me gustaría ver la capacidad que tiene con un servidor potente.


Todavía queda bastante trabajo, pero bueno, poco a poco y si alguien ve futuro o ya me bajo del barco, por ahora llevo 0€ gastados, dominio y hostinger gratis.


Un saludo

Cita de mr_gus

Te hago unas preguntas para ver que tienes y quizas date ideas:
- ¿es RAG o context RAG?
Es un RAG estándar, utiliza una base de datos vectorial, pgvector, y busca fragmentos relevantes. También implemente una búsqueda híbrida, conbina la vectorial con palabras clave usando un algoritmo de fusión RRF.


- ¿les permites configurar el overlap?

Por ahora no, tengo un tamaño del chunk de 1000 y un overlap de 200 que ahora están hardcoreados,


- ¿permites editar o eliminar el contexto de un archivo ya vectorizado?

Para eliminar el contexto de un archivo, simplemente habría que borrar el fichero desde el administrador, no se puede editar. Sería, borrar el fichero y subir el nuevo corregido.


- ¿usas un LLM local o en la nube?

Usa LLM local, en un contenedor de Ollama.


- ¿en caso de que sea un servicio de tercero, como controlas el gasto de la API o la privacidad de lo que se sube?

Al ser todo en local, no hay gasto de api.


- ¿en caso de que sea local como has gestionado el multitask (que 2 usuarios hagan una pregunta al LLM a la vez)?

Pues esto, las pequeñas pruebas que hice en mi local, no saco nada concluyente, por que actualmente no tengo equipo potente. En teoría el LLM gestiona su propia cola, tengo que ver como mejora con OLLAMA_NUM_PARALLEL, lo tengo apuntado. Estoy a la espera de que me dejen un servidor para poder hacer buenas pruebas con modelos precargados. Y comentar que es posible que ollama no sea lo mejor para este asunto. También le estoy pegando vueltas.