Nemaželské dieťa dali, pravdepodobne kvôli adopcii, v októbri 1903 zaregistrovať manželia Einsteinovci. Tam sa stopy po dcére Lieserl stratili. Dodnes sa nevie, či zomrela alebo bola adoptovaná. Istá herečka síce vytrvalo tvrdila, že je jeho dcéra, ale dediči jej napokon dokázali, že by ju musel splodiť v dvanástich rokoch. Už pol roka pred zaregistrovaním Lieserl sa Mileva Maričová a Albert Einstein stali 6. januára 1903 manželmi.
Medzitým na protest proti militantnej nemeckej politike sa Einstein zriekol nemeckého občianstva a požiadal o švajčiarske občianstvo. Päť rokov nemal žiadne, napokon sa stal Švajčiarom a dostal miesto na patentovom úrade v Berne /.Napokon občianstvo zmenil ešte raz. V roku 1940 sa stal Američanom./ V tom čase úspešne publikoval svoje teórie. Dalo by sa povedať, že postupoval od úspechu k úspechu, akoby mu Šťastena sypala dary protekčne. Platilo to však iba o jeho profesionálnej ceste.
Manželstvo, v ktorom žil rozhodne nebolo ideálne, hoci sa mu narodil manželský syn Hans Albert a neskôr aj druhý syn Eduard, ktorý neskôr skončil na psychiatrickej klinike. Nečudo, že o manželstve vyhlásil, že je to neúspešný pokus vytvoriť niečo, čo by mohlo fungovať bez nehody. Dokonca v staršom veku tvrdil, že manželstvo je nezlúčiteľné s ľudskou povahou, pretože núti ľudí k tomu, aby navzájom zaobchádzali so sebou ako s majetkom a tým ich oberá o možnosť slobodného jednania. O svojej žene Mileve, s ktorou prežil 17. rokov tvrdil po rozvode, že ju nikdy dobre nespoznal.
Dokonca, že ho podviedla, lebo mu pri svadobnej prísahe zamlčala, že sa u nich v rodine vyskytla schizofrénia. Mileva vraj trpela depresiami, mala tuberkulózu a bola veľmi nespoľahlivá a labilná. Vyčítal jej, že sa nevedela vyrovnať s ich rozvodom a bránila mu v pravidelnom styku so synmi. Po toľkých rokoch manželstva už dávno zabudol, že jej písal listy, v ktorých sa čudoval ako mohol žiť sám. „Bez teba, ty moje malé všetko? Bez teba mi chýbalo sebavedomie, sústredenosť na prácu, aj radosť zo života. Jednoducho bez teba nebol môj život životom.“
V listoch svojej budúcej manželke Else má Milevin obraz už inú farbu. „Moja žena je nepriateľské stvorenie bez zmyslu pre humor, ktoré nemá zo života nič a ktoré berie ľuďom chuť žiť už iba svojou prítomnosťou.
Keď sa v tlači objavila správa o tom, že Alberta Einsteina menovali za profesora, napísala mu blahoprajný list istá dáma, s ktorou kedysi flirtoval v kúpeľoch. Volala sa Anna Meyerová a ich vzťah v tom čase vôbec neexistoval. Ak vôbec niekedy bol. Mileve to však nebránilo v škandalóznom liste manželovi tejto dámy. A to už pohár Albertovej trpezlivosti pretiekol. Spomenul si na dobre mienené rady svojich rodičov, ktorí mu tvrdili, že s touto škaredou dámou sa rúti do záhuby. A tak túžiac niekomu sa vyžalovať navštívil počas svojho pobytu v Berlíne sesternicu Elsu. Táto korpulentná matka troch detí sa vôbec nezaujímala o fyziku a preto mohla pokojne celé hodiny počúvať jeho pracovné i rodinné problémy bez toho, aby prehovorila. A tak si začali dopisovať. Spočiatku nevinné listy začali naberať na vrúcnosti, až sa z nich stali také vášnivé vyznania, že ich strážkyňa Einsteinovej pozostalosti Helen Dukasová, nechcela dovoliť uverejniť. Elsine listy sa nezachovali, lebo ich pisateľka prosila svojho milého, aby ich vždy po prečítaní spálil. Čo tento slušný človek, vždy urobil. Z tých jeho, nebolo vždy jasné k čomu vlastne zachováva väčšiu vášeň k Else bútľvej vŕbe alebo k Else kuchárke.
„Keby si mi predniesla tú najkrajšiu báseň....moja rozkoš by nebola zďaleka tak veľká, ako pri pohľade na hríby a husacie oškvarky, ktoré si vytopila kvôli mne. A teší ma, že viem, že ty určite nebudeš pohŕdať mojou nízkosťou, ktorá teraz vyšla na povrch...“
Elsa mu vždy zabalila na cestu z Berlína husaciu masť s pečienkou a keď ju zjedol , prišiel si pre ďalšiu. Okrem radostí tela, dostal vždy potravu aj pre dušu. Nezabudla mu zdôrazniť, aby sa pravidelne umýval a čistil si zuby. Hoci jej láskyplné komandovanie mu zo začiatku bolo príjemné, jedného dňa sa vzbúril a napísal jej list. „Ak ti pripadám nechutný, nájdi si priateľa, ktorý bude viac zodpovedať tvojmu ženskému vkusu. Tvoj špinavý Albert“ V ženách sa však nevyznáte.

Na takéto dôvernosti reagovala rozvedená Elsa túžbou vydať sa.