К вопросу о народном образовании Менделеев обращался в разные периоды своей жизни. Его собственная педагогическая деятельность продолжалась в течение 35 лет. Он преподавал в средних и высших учебных заведениях, принимал активное участие в обсуждении университетских уставов 1863 и 1884 гг ., участвовал в организации специального технического и коммерческого образования.

В основе его педагогической концепции лежала идея непрерывного образования, впервые высказанная им в 1871 г. Суть этой идеи состояла в следующем: образование должно быть многоступенчатым, и на каждой ступени должны решаться свои особые задачи. Иными словами, на каждой ступени учащийся должен получать такую сумму знаний и практических навыков, которые позволили бы ему зарабатывать на жизнь полезным трудом, т. е. действовать в какой-либо области, не продолжая дальнейшего систематического образования на более высокой ступени. Но вместе с тем человеку должен быть всегда открыт путь для получения более высокого образования, если у него будут к тому способности и потребности.

При этом первоначальное учение должно быть доступно всем, и учащихся ни в коем случае не следует "принуждать к специализации" ни с 8, ни даже с 13 лет - "предложение для 8-летнего мальчика поступить в приказчики, в управляющие имений, в офицеры или в ученые - походит, по легкомыслию, на игру в куклы".

Развитие индустрии создает запрос на образованных людей.И если начальное и среднее образование призвано, по мнению Менделеева, способствовать личному развитию, то целью высшего образования должно стать государственное и общественное развитие. Особое же внимание он уделял естественнонаучному (реальному) образованию, поскольку для модернизации Империи требовались специалисты-профессионалы с хорошей естественнонаучной и технической подготовкой.

"... С давних времен, - писал Менделеев, - употребляются у нас различные поощрения для усиления занятий латинским и греческим языками <...>. Естествознание, сколько мне известно, никогда не пользовалось у нас особым покровительством. Это зависит, конечно, отчасти и от того, что в самой Западной Европе для развития его не стали жалеть никаких жертв только с весьма недавнего времени. ... Естествознание, сравнительно с изучением древних языков, более соответствует всему строю русской жизни".

Необходимость перехода к реальному образованию он впрямую связывал с факторами экономического развития, особенно с отношением к труду: "Корень погибели политически столь сильных классических народов Греции и Рима, без всякого сомнения, должно искать в том презрительнейшем отношении, какое они имели к промышленному труду. ".

Спор между сторонниками и противниками классического образования был длительным и затрагивал глубинные вопросы социального бытия и культуры. При этом обе стороны ссылались на пример Западной Европы: "классицисты" доказывали, что изучение древних языков там (в частности, в Германии) никак не мешает процветанию промышленности (подобно тому, как, по замечанию М.М. Стасюлевича, классическое гимназическое образование не помешало Менделееву стать химиком и отстаивать идею индустриализации России), на что "реалисты" приводили свои контрдоводы - мол, не то русскому человеку надо перенимать у Запада, у них латынь да греческий составляют органическую часть их культуры, их истории и их цивилизации, тогда как у русских своя история и свои культурные традиции. "Западная жизнь (и религия), - напоминал Менделеев, - многоразлично связана с классическою, особенно латинскою; ... ребенок слышит, начиная с молитвы, и видит, начиная от остатков старины, кругом себя многое, идущее прямо от латынства. У нас нет этой связи", "мы сохранили больше, чем западноевропейцы, некоторые начальные стороны азиатской жизни"). Поэтому, скажем, паровозы с вагонами и рельсами у нас должны быть непременно, причем, качеством не хуже германских, тогда как Платона да Цицерона, если кому интересно, почитают и в переводе.