Начинал работать в Ельце учителем русского языка в Елецком уездном училище в 1870 г. Чин у него в то время был - губернский секретарь (12 класс). С 1875 г. он работает в Мужской гимназии сначала в том же чине, в соответствие со стажем получает при службе в гимназии следующие чины, и в 1888 году он – надворный советник (VII класс).
Полный, почти толстый, и очень высокого роста, лет 50. Холостяк. В гимназии он работает помощником классного наставника или, как его величали в гимназии, надзирателем 1-4 классов. Эти классы находились на первом этаже гимназии.
Нацкий вспоминает: «В третьем классе мы помещались на нижнем этаже. Присмотр за нашим поведением надзирателем Иваном Павловичем Леоновым был слабый. Прозвище у него было «Пузо». Это был толстый седой старик с большим брюхом. Такого брюха я в жизни не встречал... Он был по душе недурной человек, хотя иногда в раздражении подвязывал подзатыльники малышам, с которыми он исключительно и возился, но за это никто не обижался, - шлепки были не по злобе и не тяжелые. Третий класс у него уже считался старшим, и на переменах Иван Павлович редко в него заглядывал, так как третьеклассники вводили его в заблуждение своим образом действий. Шум, драки и шалости были постоянными занятиями третьеклассников, но надзиратель этого не подозревал, так как у них пока Иван Павлович возился с малышами, у двери стояли дозорные, которые своевременно извещали о том, что «пузо» направляется в третий класс. Получив такое сообщение, прекращали беспорядок, садились за парты, усердно глядя в книги при гробовой тишине». Шалившие ученики заносились в кондуит, который передавался надзирателю, последствием чего было оставление без обеда. О такой каре Иван Павлович после уроков, смотря в кондуит, объявлял провинившемуся, но, однако, никого не оставлял. Наказанные спокойно шли мимо Ивана Павловича в раздевалку, громко выкрикивая: «До свидания Иван Павлович!»
Был очень одинок и поэтому, когда приехал другой одинокий человек Василий Васильевич Розанов, они стали друзьями. Вот как описывает встречу с Леоновым будущий философ: «Жил на краю города, на самом краю. Приехав в Елец и «делая визиты знакомства», я пошел к нему как почти уже «к не учителю», последним: и издали услышал звон птиц, почти, что с угла улицы. Дальше иду - звон все сильнее. Бог знает что, и Бог знает сколько. Подхожу к дому: попал буквально в певчий птичник. «Что это такое Иван Павлович?»- спрашиваю его, выходящего в сени навстречу. У него была добрейшая и какая-то благородная, и тонкая улыбка на очень полном и грузном лице.- «Это мои дети, - пробасил он. - Что же, живу один, никого нет. Пусть будут птицы».
Так он жил всеми любимый и уважаемый, от директора до последнего ученика. Но в 1886 году случилось то, что выбило его из колеи до конца жизни. Вот, о чем сообщает В.В.Розанов в письме к Страхову. (Рассказ сокращен)
На него, как и на другого надзирателя для старших классов Арцыбашева, было возложено обязательство ходить по воскресеньям на зимний каток, - вовсе не для того, чтобы «ловить бы учеников, как воображает обычно печать и общество, а для того, что в его присутствии ученики будут сдержаннее и не дозволят себе недозволенного, - например, неприличного». В противоположность Леонову, Арцыбашев был нелюбим. Был один дурной исключенный давно ученик (Рыльцевич), а теперь уже великовозрастный сын, лет 17. И решился он «отомстить и побить» Арцыбашева: но, придя на каток, увидел не Арцыбашева, а Леонова. Он был и питомцем Леонова, так как Леонов служил с незапамятных времен. «Ну, все равно», - решил он, и тут вслух, и как потом сказал на суде. И он быстро пошел на него, с угрозами и ругательствами, Леонов и по летам, и по росту был медлителен и неуклюж. На катке никого не было (надзиратель бывал для «возможных придти»), и, видя положение - Леонов стал уходить домой. Рыльцевич за ним. Дальше рассказ самого Леонова мне: «Иду я, и все он старается стать впереди меня, заскочить вперед, - но я то или перехожу на дорогу с тротуара, или с дороги на тротуар, то вообще поворачиваюсь к нему или боком, или спиной. Но (при повороте или что) там-то не успел. Он заскочил вперед… и сделал это (ударил кулаком по лицу)… Леонов подал на него в суд. В «защитники» исключенного и побившего Рыльцевича выступил местный наиболее знаменитый адвокат Александр Павлович Бутягин - с надеждою сказать громовую речь против жестокого режима гимназий, только бездушного и только формального, «который доводит вот до чего». Этот Александр Иванович был и сам питомец этой гимназии, т. е. питомец побитого Леонова. Ну, произнес речь: побившего приговорили что-то к месяцу ареста, и в силу просьб и «разъяснений» на суде адвоката - арест был заменен «домашним арестом». Жизнь испорчена на самом склоне, отравлены последние дни старика. Однако «Бог поругаем не бывает»: знаменитый адвокат, говорун и с интересами к литературе, виднейшее лицо города, все вел «крестьянские дела о чем-то: вел…вел…успешно…успешнее… Когда вдруг стали спрашивать какие-то деньги, и их у него «не оказалось», -не свои деньги, а эти крестьянские... был лишен права ведения дел, - и в необходимости как-нибудь выкарабкаться» взял заимообразно у всех, что можно, и у отца-протоиерея, и у местной мелкоты вокруг.
Жена, отошедшая от него (и вышедшая замуж за одного видного московского присяжного поверенного, - как «первая любовь» его, и теперь очень счастливая) передавала мне, какой тайный ужас несла она 20 лет. Вообще - одна из темных и страшных провинциальных историй».
Он умер в 1888 г. от рака желудка. Похоронили его на кладбище слободы Аргамачи, где его брат отец Яков Леонов был священником. О его последних днях вспоминает В. В. Розанов: «Ничего не болит, Василий Васильевич», - говорил он мне, когда посетил его перед смертью. Он сидел на лежанке, в вяленых сапогах, в марте месяце, весь, опав в теле ижелтый.Поднял глаза на окно: «А вот как снег на дворе: смотришь на него, никто его не трогает, а его все меньше. Так вот и я. Все меня меньше…. Куда живот делся и руки худые (т. е. от плеч). Умираю незаметно».