Tolstoi este fiul lui Andrey Vasilievici Tolstoi. El a servit în 1682 la curte ca ispravnic; 15 mai anul acesta, în ziua rebeliunii Streltsy, a acționat energic alături de Miloslavskys și arcași ridicați, strigând că „Naryshkins ia strangulat pe Țarevici Ivan”.
Căderea prințesei Sophia l-a determinat pe Tolstoi să schimbe brusc partea din față și să treacă în partea țarului Peter, dar aceasta din urmă a avut o atitudine foarte restrânsă față de Tolstoi; neîncrederea regelui nu a fost zguduită de meritele militare ale lui Tolstoi în cea de-a doua campanie Azov. În 1697, țarul a trimis „voluntari” la doctrină în străinătate, iar Tolstoi, deja în anii săi maturi, s-a oferit voluntar pentru a merge acolo pentru a studia afacerile maritime. Doi ani petrecuți în Italia l-au apropiat pe Tolstoi de cultura vest-europeană. La sfârșitul anului 1701, Tolstoi a fost numit trimis la Constantinopol, într-un post important, dar dificil, care l-a îndepărtat și pe Tolstoi de la curte. Revenind în Rusia în 1714, Tolstoi l-a localizat pe omnipotentul Menshikov și a fost numit senator. În 1715 – 1719, Tolstoi a executat diverse misiuni diplomatice în afacerile daneză, engleză și prusacă.
În 1717, Tolstoi a făcut țarului un serviciu important, care și-a întărit pentru totdeauna poziția: a fost trimis la Napoli, unde Tsarevich Aleksey și amanta lui Euphrosyne se ascundeau la acea vreme, Tolstoi, cu asistența acestuia din urmă, a umblat cu tărie în jurul țării și, prin frică și făgăduințe false, l-a convins să se întoarcă. spre Rusia. Pentru participarea sa activă la ancheta și procesul lui Tsarevich Tolstoi i s-au acordat moșii și a fost plasat în fruntea biroului secret, care la acea vreme a avut o muncă deosebit de mare din cauza zvonurilor și a tulburărilor cauzate de soarta lui Tsarevich Alexei în rândul oamenilor.
De atunci, Tolstoi a devenit una dintre persoanele cele mai apropiate și de încredere ale suveranului. Jurnalul călătoriilor de peste mări ale lui Tolstoi a fost păstrat în 1697 – 1699, un exemplu tipic al impresiilor pe care oamenii lui Petru cel Mare le-au făcut în urma întâlnirii lor în Europa de Vest. În plus, în 1706, Tolstoi a compilat o descriere detaliată a Mării Negre.