LLaVA 1.5: Uma alternativa de código aberto ao GPT-4 Vision
O campo da inteligência artificial generativa está crescendo com o surgimento de grandes modelos multimodais (LMMs), como o GPT-4 Vision da OpenAI. Esses modelos revolucionam nossa interação com sistemas de IA ao integrar texto e imagens.
No entanto, a natureza fechada e comercial de algumas destas tecnologias pode dificultar a sua adoção universal. É aqui que entra a comunidade de código aberto, impulsionando o modelo LLaVA 1.5 como uma alternativa promissora à Visão GPT-4.
A mecânica do LMM
Os LMMs operam usando uma arquitetura multicamadas. Eles combinam um modelo pré-treinado para codificar elementos visuais, um modelo de linguagem grande (LLM) para decifrar e responder às instruções do usuário e um conector multimodal para conectar visão e linguagem.
Seu treinamento ocorre em duas etapas: uma primeira fase de alinhamento visão-linguagem, seguida de ajuste fino para responder às solicitações visuais. Este processo, embora eficiente, é muitas vezes intensivo em termos computacionais e requer uma base de dados rica e precisa.
As vantagens do LLaVA 1.5
LLaVA 1.5 depende do modelo CLIP para codificação visual e Vicuna para linguagem. Ao contrário do modelo original, LLaVA, que usava as versões em texto do ChatGPT e GPT-4 para ajuste visual, o LLaVA 1.5 vai além ao conectar o modelo de linguagem e o codificador visual por meio de um perceptron multicamadas (MLP). Isso enriquece seu banco de dados de treinamento com perguntas e respostas visuais. Esta atualização, que inclui aproximadamente 600.000 exemplos, permitiu que o LLaVA 1.5 superasse outros LMMs de código aberto em 11 dos 12 benchmarks multimodais.
O futuro dos LMMs de código aberto
A demonstração online do LLaVA 1.5, acessível a todos, mostra resultados promissores mesmo com orçamento limitado. Contudo, resta uma ressalva: a utilização dos dados gerados pelo ChatGPT limita a sua utilização a fins não comerciais.
Apesar desta limitação, o LLaVA 1.5 abre uma perspectiva sobre o futuro dos LMMs de código aberto. Sua relação custo-benefício, capacidade de gerar dados de treinamento escalonáveis e eficiência no ajuste de instruções visuais fazem dele um prelúdio para inovações futuras.
LLaVA 1.5 é apenas o primeiro passo de uma melodia que irá ressoar ao ritmo do progresso da comunidade de código aberto. Ao antecipar modelos mais eficientes e acessíveis, podemos imaginar um futuro onde a tecnologia generativa de IA estará ao alcance de todos, revelando o potencial ilimitado da inteligência artificial.