Milenec mojej matky je predovšetkým príbehom o matke, prerozprávaný z perspektívy jej syna. Román sa začína a končí zmienkou o smrti známeho švajčiarskeho dirigenta a hoci výrazne ovplyvnil život ženy v jeho tieni, autor sa o ňom zmieňuje iba okrajovo. Retrospektívne nás však oboznamuje s matkiným detstvom, jej despotickým otcom a jeho rodostromom až po mýtického predka - afrického leva. Smrť matky z nej urobila zo dňa na deň dospelú ženu, pravú ruku nielen v rodičovskej domácnosti, ale aj pre mladého talentovaného dirigenta a jeho orchester. Matka s ním prežije krátky románik, milenec ju však bez okolkov opustí, ožení sa, urobí kariéru a zbohatne. Matku naopak vojna a hospodárska kríza pripraví o všetko. S manželom a dieťaťom sa vysťahuje z mesta a uchýli sa na vidiek. Pod oknami dirigentovho paláca však naďalej sníva o celkom inom živote - s iným mužom.