Albert by sa možno nikdy k rozvodu neodhodlal, keby mu Mileva nezjednodušila situáciu a neodišla aj s deťmi preč. Pol roka po rozvode sa zosobášil s Elsou. Je zaujímavé, že aj ona bola od Einsteina staršia.
Vôbec, všetci muži v jeho rode, dokonca aj chorý syn Eduard mali staršie manželky a partnerky.
V jeho prípade šlo možno viac o túžbu po pochopení jeho necností ako sú kŕčové žily, ploché a páchnuce nohy, neskutočné chrápanie a nedbanlivosť materinskou Elsou./ Rozhodne to nebol muž, ktorý trávi hodiny v kúpeľni a kradne manželke parfém./ Profesor Einstein nikdy nenosil ponožky, nevzal si ich ani vtedy, keď bol pozvaný do Bieleho domu k prezidentovi Rooseweltovi. Napriek tomu, že vyzeral ako rodený „podpapučník“, nikdy nedovolil svojim ženám, aby hovorili za neho a ani on nikdy nepoužíval slovko my .
Svoju druhú ženu Elsu často upozorňoval, aby nehovorila o „nás“, ale vždy iba o ňom, alebo o sebe. Túto prísnosť však vždy kompenzoval až neskutočným zmyslom pre humor. Keď sa mu niečo zdalo smiešne a bolo toho dosť, čo vyvolávalo na jeho tvári úsmev, úplne sa rozžiaril a nahlas sa smial celou bytosťou. Rovnako každým pórom tela vnímal hudbu a prírodu.
Hudba a pobyt v prírode mu pomáhali aj vtedy, keď nevedel pohnúť dajakým odborným problémom. Boli ako semafor. Po istom čase ho prepli z červenej na zelenú. Taký istý účinok mali ešte dve veci. Domáce zvieratá a plavba na plachetnici, ktorú úplne zbožňoval. Zato takmer ľahostajným ho nechávali rôzne vysoké ocenenia, ktoré dostával za svoju prácu.
V tom istom roku, keď sa rozviedol aj oženil, vyhlásil prezident londýnskej Kráľovskej spoločnosti, že teória relativity, je najvýznamnejším výtvorom ľudského myslenia.
Einstein sa stal bonbónikom pre médiá a celú verejnosť. Bol miláčikom žien. Mnohé pri stretnutí s ním omdlievali.
Každý deň mu chodievali tisíce listov. Klaňal sa mu celý svet, bol populárnejší ako filmové hviezdy . Ženy by dali život za pol hodinku strávenú s ním. Po tom, čo získal v roku 1922 Nobelovu cenu, jeho popularita dosiahla absolútny vrchol. V tom čase sa Elsa rozhodla chrániť ho pred šialeným davom a začala mu robiť manažérku. Túto úlohu poňala svojsky, vydeľovala mu aj vreckové. Bola si istá, že keby to nerobila, bol by rozdal, všetko čo mal. Riadila jeho život rovnako ako predtým matka a Mileva. Aj ona ho považovala za svoj majetok. Ani jej sa však nepodarilo udržať ho na uzde.
Priveľa krásnych dám prejavilo záujem nechať si vysvetliť teóriu relativity osobne. Na koncerty a do opery chodieval oficiálne so zámožnou vdovou Toni Mendelovou. Prichádzala po neho v aute so šoférom a Else nezabudla vždy nechať namiesto manžela pralinky. Elsa sa mu pomstila tým, že nebola ochotná debatovať s ním o zvýšení vreckového. Rozpočet mala pevne v rukách, ale Alberta nie. V päťdesiatich dvoch rokoch sa zamiloval do Rakúšanky Margaret Lebachovej. Stretávala sa s ním každý týždeň v jeho letnom sídle. Za požičanie manžela vozila Else pre zmenu vanilkové venčeky.

Dobré časy sa skončili, keď v Nemecku nastúpil fašizmus. Einsteinovci sa odsťahovali do Belgicka, kde vzniklo jeho celoživotné priateľstvo s kráľovnou Alžbetou. Neskôr opúšťajú Európu a sťahujú sa do Ameriky. Potom sa tam prisťahoval aj jeho syn s rodinou. Čo Einsteina úprimne potešilo a jeho bývalú ženu Milevu zlomilo. Ostala sama s ich chorým synom Eduardom, ktorého choroba sa neustále zhoršovala. Bol čoraz agresívnejší.
Raz sa ju dokonca pokúsil uškrtiť. V roku 1948 Mileva umiera. Eduard žije v psychiatrickom ústave, ktorý mu platí otec. V USA pôsobil Einstein na známej Princetonskej univerzite a začína sa na ňom prejavovať zub času.
V roku 1928 vážne ochorel. Celý rok ho trápilo srdce. Rodina sa rozšírila o sekretárku Helen Dukasovú, ktorá mu s láskou slúžila až do konca života. Medzitým získal jeho syn Hans Albert doktorát z technických vied a jeho žena Elsa v tom istom roku zomrela na zlyhanie obličiek. Jej smrť ho prekvapila. Zostal sám a cíti sa ako topiaci uprostred mora. Mnohí ho upodozrievali / dokonca aj syn s manželkou/, že sa spolčil so svojou sekretárkou. Nebola to pravda. Ešte viac sa upol na prácu. Neskôr Helen publikovala, že pán profesor jej nevenoval viac pozornosti ako stolu alebo stoličke. Celkom tak to nebolo, lebo jej zanechal veľké dedičstvo, čo stolu ani stoličke nezanechal.
Isté je, že len vďaka nej dnes vieme o Einsteinovi človekovi aj vedcovi takmer všetko. V predtuche vlastnej smrti stihla ešte splniť vedcovu poslednú vôľu . Dala preniesť celý archív s jeho vecami do Jeruzalema. V rokoch po vypuknutí svetovej vojny sa venoval presviedčaniu ľudstva o odzbrojení a jedinej svetovej vláde, ktorá je jedinou zárukou trvalého mieru.

V roku 1952 mu ponúkli úrad izraelského prezidenta. S vďakou ho odmietol. Mnohým izraelským politikom, tým padol kameň zo srdca. Do konca života bojoval proti zneužitiu atómovej bomby. „Tu som už dokončil som svoju úlohu,“ povedal skôr ako vydýchol. Zomrel 18. apríla 1955 v princetonskej nemocnici.
Jeho oči a mozog boli zakonzervované pre budúce vedecké účely. Einsteinova rodina o tom nevedela. Neskôr to považovali za nesplnenie poslednej vôle, podľa ktorej si želal byť spopolnený. Keď sa po kremácii rodina dozvedela, že Dr. Harvey si ponechal jeho mozog a oči, dali mu k tomu napokon písomný súhlas. Harvey potom prenechal z neho ešte tri vzorky iným vedcom. Jeden z nich Marian Diamond neskôr zistil, že jeho mozog má nadpriemerný počet gliových buniek v ľavej hemisfére, o ktorej sa predpokladá, že riadi matematické a jazykové schopnosti. Zväčšený obraz Einsteinových glií si môžete pozrieť v Lawrence Hall of Science v Berkeley. Posledný výskum, ktorý robila neurologička Sandra Witeisonová z MacMasterovej univerzity v Kanade potvrdil, že osobitosti jeho mozgu dávajú predpoklad ku genialite. Bádatelia porovnávali jeho mozog s 85. Inými náhodne vybranými mozgami. Ukázalo sa, že oba temenné laloky, ktoré vystupujú veľmi aktívne pri matematickom myslení, mal o 15% väčšie ako ostatní, Veľký mozog mal zasa o čosi ľahší ako zvykne byť priemer. Okrem toho mal nedostatočne vyvinutú jednu z mozgových rýh, čo mohlo viesť k ďalším nervovým spojeniam. O sídle lásky vedci mlčia.
Posledný človek, ktorý videl Einsteina, bola sestrička Alberta Rozselová. Neskôr pre New York Times povedala: „Ešte dva razy nabral dych a potom tíško vydýchol.“ Oficiálnou príčinou smrti bolo pretrhnutie arteriosklerotickej aneuryzmy abdominálnej aorty. Od roku 1954 trpel na hemolytickú anémiu. Keď lekári zistili, že je vážne chorý, pýtal sa či je smrť, ktorá mu hrozí bolestivá. Najskôr mu odporúčali operáciu. Tú odmietol so slovami, že dokáže umrieť aj bez lekárskej pomoci. Potom mu povedali, že sa nedá predvídať, ako dlho vydrží. V ten deň sa zveril Helene. „Keby som vedel, že o tri hodiny zomriem, ani by ma to veľmi nevzrušilo. Premýšľal by som, ako najlepšie tie tri hodiny využiť. Potom by som zrovnal svoje papiere a pokojne by som sa uložil.“

Fascinuje ma myšlienka, že vďaka tým, čo odložili jeho mozog by sme si v novom tisícročí mohli naklonovať nového Einsteina. Kto vie, aké životné peripetie by čakali?