Text-to-Image Generation from a Single Image with Pose and Style Control

Recent advances in diffusion-based generative models have significantly improved the quality of text-to-image synthesis, enabling the generation of highly realistic and semantically coherent images from natural language descriptions. Despite these achievements, existing personalization methods remain limited in their ability to provide fine-grained control over structural attributes such as subject pose and artistic appearance, especially when learning from a single reference image. This limitation restricts their applicability in scenarios requiring controllable and personalized image generation. This thesis addresses these challenges by introducing a unified framework for single-image text-to-image generation with explicit control over pose and style. First, we propose the Mask Conditional Generative Model (MCGM), a diffusion-based architecture that extends personalized text-to-image generation by integrating spatial mask conditioning into the cross-attention mechanism. This approach enables the generation of one or multiple subjects in user-defined poses while preserving identity and contextual consistency from a single reference image. Building upon this contribution, the thesis further introduces MCGM-Styler, an extension of MCGM that incorporates artistic style conditioning into the generation process. The proposed framework employs a multi-stage training strategy that separates concept and pose learning from style learning, enabling effective disentanglement between subject identity, structural configuration, and visual style. In addition, a lightweight content-style decoupling mechanism is introduced to reduce semantic leakage from the style image and improve style transfer fidelity. Extensive qualitative and quantitative evaluations demonstrate that the proposed models outperform existing state-of-the-art methods in terms of pose controllability, style fidelity, and overall visual quality. Experimental results further confirm the effectiveness of the framework in single-subject, multi-subject, and mixed-style generation scenarios. Overall, this thesis contributes a flexible and controllable generative framework that advances personalized text-to-image synthesis from limited supervision, opening new directions for controllable generative AI in creative and design-oriented applications.

I recenti progressi nei modelli generativi basati sulla diffusione hanno migliorato significativamente la qualità della sintesi text-to-image, consentendo la generazione di immagini altamente realistiche e semanticamente coerenti a partire da descrizioni in linguaggio naturale. Nonostante questi risultati, gli attuali metodi di personalizzazione presentano ancora dei limiti nella capacità di fornire un controllo fine sugli attributi strutturali, quali la posa del soggetto e l’aspetto artistico, soprattutto quando l’apprendimento avviene a partire da una singola immagine di riferimento. Tale limitazione ne restringe l’applicabilità negli scenari che richiedono una generazione di immagini controllabile e personalizzata. Questa tesi affronta tali problematiche introducendo un framework unificato per la generazione text-to-image a partire da una singola immagine, con un controllo esplicito sulla posa e sullo stile. In primo luogo, viene proposto il Mask Conditional Generative Model (MCGM), un’architettura basata sulla diffusione che estende la generazione text-to-image personalizzata integrando il condizionamento mediante maschere spaziali nel meccanismo di cross-attention. Questo approccio consente di generare uno o più soggetti in pose definite dall’utente, preservando al contempo l’identità e la coerenza contestuale apprese da una singola immagine di riferimento. A partire da questo contributo, la tesi introduce inoltre MCGM-Styler, un’estensione di MCGM che integra il condizionamento dello stile artistico nel processo di generazione. Il framework proposto adotta una strategia di addestramento multi-stage che separa l’apprendimento del concetto e della posa da quello dello stile, consentendo un efficace disaccoppiamento tra l’identità del soggetto, la configurazione strutturale e lo stile visivo. Inoltre, viene introdotto un meccanismo leggero di disaccoppiamento tra contenuto e stile, volto a ridurre la perdita di informazioni semantiche dall’immagine di stile e a migliorare la fedeltà del trasferimento dello stile. Estese valutazioni qualitative e quantitative dimostrano che i modelli proposti superano gli attuali metodi state-of-the-art in termini di controllabilità della posa, fedeltà dello stile e qualità visiva complessiva. I risultati sperimentali confermano inoltre l’efficacia del framework negli scenari di generazione con un singolo soggetto, con soggetti multipli e con stili misti. Nel complesso, questa tesi contribuisce allo sviluppo di un framework generativo flessibile e controllabile che fa avanzare la sintesi text-to-image personalizzata in condizioni di supervisione limitata, aprendo nuove prospettive per l’intelligenza artificiale generativa controllabile in applicazioni creative e orientate al design.