Ando medio desactualizado en cuanto a los avances de los modelos, pero tengo entendido que han mejorado en cuanto a cantidad de parámetros y eficiencia (mayor velocidad y menor consumo de recursos).

Me interesa hostear uno, para tener mayor privacidad y además usarlo tipo API de forma gratuita. Sin embargo, nunca me aventuré a hostear ninguno localmente (más que nada por ignorancia y porque consumían muchos recursos).

Mi pc tiene un Ryzen 5 3400g y 16 GB de RAM, pero no tiene GPU dedicada, sino la Vega 11 integrada. ¿Necesito sí o sí ponerle GPU dedicada? Consideren que no estoy hablando de modelos de generación de imágenes, sino de chatbots.

Por otro lado, ¿uds. han hosteado algún modelo localmente? ¿Para qué lo han usado? ¿Algún pique de por donde arrancar?