openai/clip-vit-base-patch32

El modelo CLIP (ViT-base-patch32) es un modelo de embeddings conjuntos de imagen y texto basado en una arquitectura de doble codificador (Vision Transformer + transformer de texto) entrenada por contraste, que permite clasificación zero-shot y búsqueda imagen-texto por similitud del coseno. Ha sido entrenado sobre grandes colecciones de pares imagen-texto, ampliamente utilizadas en investigación para el aprendizaje de representaciones multimodales.

Este modelo está alojado en la plataforma de Hugging Face, que actúa como repositorio y ecosistema para la distribución de modelos de inteligencia artificial preentrenados y listos para su uso en producción o investigación. En el contexto de la Cátedra, este modelo se incluye como una selección orientada a tareas de visión por computador y multimodalidad, específicamente para la búsqueda y similitud imagen-texto del Marketplace, con un enfoque académico y experimental.

Puedes consultar el modelo desde este link: https://huggingface.co/openai/clip-vit-base-patch32