Dans le New York bohème des années 50 où se côtoient artistes et musiciens de jazz, Benny, Hugh et Lelia sont frères et sœur et partagent le même appartement. Benny est un jeune homme révolté qui tente de jouer de la trompette, mais erre surtout de bars en bars à travers les rues de Greenwich Village et de Broadway. Un peu plus âgé, Hugh essaye de faire carrière comme chanteur de jazz, aidé par son imprésario Rupert. Lelia, la benjamine, plus blanche que ses deux frères afro-américains, fréquente un cercle d'intellectuels qui la poussent à persévérer pour être écrivain. Elle y rencontre un blanc, Tony, mais ce dernier réagit mal lorsqu'il rencontre Hugh et réalise les origines insoupçonnées de sa jolie conquête. Tourné hors des studios avec une équipe non-professionnelle et un scénario et des dialogues improvisés au fil du tournage, Shadows donna naissance a un cinéma radicalement nouveau et est largement considéré comme le premier film américain vraiment indépendant.