Umbrel habilita LlamaGPT, una IA que mantiene tu privacidad

El equipo de Umbrel, un sistema operativo para servidores autohospedados, integró el chatbot LlamaGPT, una aplicación privada, que opera fuera de línea y está completamente autoalojada en el dispositivo de cada usuario. Lo que quiere decir que la app no comparte datos con terceros.

Como explica el equipo de Umbrel, LlamaGPT es un chatbot que utiliza la tecnología de modelo de lenguaje Nous Hermes Llama 2 7B de última generación. Llama 2, diseñado por Meta AI, es un modelo de lenguaje LLM de aprendizaje automático. Esto quiere decir que, además de las 300.000 instrucciones que tiene incorporada, puede aprender más en función de su uso.

Para ejecutar la app LlamaGPT en Umbrel, solo es necesario tener disponible 5 GB de memoria RAM, por lo que resulta apropiada para los dispositivos Raspberry Pi (8 GB) Umbrel o UmbrelOS personalizados. Únicamente hay que tomar en cuenta que el tamaño de la descarga es de 5,5 GB, por lo que su velocidad dependerá de la conexión a Internet.

LlamaGPT está optimizado para Umbrel Home, generando palabras tan rápido como ~3 palabras/seg. En una Raspberry Pi 4 con 8 GB de RAM, genera palabras a ~1 palabra/seg. El rendimiento puede variar dependiendo de qué otras aplicaciones estén instaladas en su Umbrel.

Umbrel, sistema operativo para servidores autohospedados.

LlamaGPT es de código abierto. Sus desarrolladores explican en GitHub que la aplicación puede instalarse, además, en cualquier sistema que utilice la arquitectura de procesador X84 o ARM64. Es decir, en prácticamente cualquier dispositivo moderno.

En el caso de que una persona quiera utilizar una versión de LlamaGPT más potente, cuenta con dos opciones más. Una es el modelo Nous Hermes Llama 2 13B (GGML q4_0), que requiere 16 GB de memoria RAM y la otra es Meta Llama 2 70B Chat (GGML q4_0), que requiere 48 GB de memoria RAM.

Como señaló uno de los desarrolladores de LLamaGPT, esta aplicación no tiene censura, característica que otras aplicaciones como ChatGPT imponen. Así, el programador Luke Childs mostró un ejemplo, en un tuit, sobre cómo LlamaGPT puede responder preguntas que otras IA no.

Umbrel es una compañía con una creciente comunidad, que se enfoca en ofrecer un software para autohospedar distintas aplicaciones. Por ejemplo, nodos de Bitcoin privados o de Lightning.

Como reportó CriptoNoticias, Umbrel había lanzado en marzo una app de IA basada en ChatGPT, que elimina el límite de 25 mensajes o 3 horas que ofrece la app de OpenAI.