Картина была приобретена известным коллекционером и меценатом Иваном Евменьевичем Цветковым, который собрал обширную
коллекцию произведений русских художников ХVII—ХХ веков. В 1909 году И.Е. Цветков передал свое собрание в дар Москве, а в 1925 году знаменитое собрание, в том числе и портрет Л.Н. Толстого, забрали в Третьяковскую галерею.
Репин считал нужным и интересным изображение Толстого в различные моменты его жизни. Поэтому в каждый свой приезд в Ясную Поляну он делал массу зарисовок Толстого. Скульптор И. Я. Гинзбург рассказывал: «Как влюбленный, Илья Ефимович ходил за Львом Николаевичем; слушая его разговоры, он думал о том, что выражают черты его лица, как это выражение передать на бумаге или холсте... „Смотрите, — восторженно говорил мне Илья Ефимович в 1891 году, когда мы вместе очутились в Ясной, — знаете, где мы находимся? — на четвертом бастионе! Шутка ли, кого мы лепим и рисуем...“» (Художники в гостях у Льва Толстого // Голос минувшего. 1916. № 11. С. 192—193).
Привязанность к Льву Николаевичу, поклонение его духовному облику поднимали, окрыляли огромный талант Репина.
В 1891 году Репин создает очаровательную небольшую картину «Толстой на отдыхе в лесу». Очень красивая по живописи, она полна солнечного света. Мастерство передачи природы тем удивительнее, что Репин писал картину по памяти, через две недели после отъезда из Ясной Поляны.
Тепло вспоминая свое пребывание там, он пишет Татьяне Львовне Толстой из Петербурга о своих переживаниях: «Я все утро жил в Ясной Поляне, в лесу. Лев Николаевич лежал недалеко от меня с книгой в руке, в уютном месте, под деревьями. В тени, на своем синем халате, укрывшись белым. Как живописно местами трогали его сквозь ветви солнечные пятна света!.. Я все изучал их, вспоминал и наслаждался; красивая картина выходит... Надолго хватит мне Ясной, все туда тянет, к тому свету; или это закон тяготения малых тел к большим?»
(Письмо Репина Т.Л. Толстой от 31 июля 1891 г. // И.Е. Репин и Л.Н. Толстой. Переписка в 2-х томах. Т. 1. — М.; Л., 1949, С. 32.).