C октября 1938 года по ноябрь 1940 года проходил срочную службы в армии в должности рядового 216-го артиллерийского полка (Забайкальский военный округ). С августа 1941 года вновь в армии - рядовой 113-го артиллерийского дивизиона Резерва Верховного Главнокомандования. С 11 августа 1942 года участвовал в должности командира отделения 7-й гвардейской стрелковой бригады в боевых действиях на Северо-Кавказском фронте. Участвовал в оборонительных боях на Ставропольско-Нальчикском направлении. В сентябре 1942 года направлен на курсы младших лейтенантов при 10-м гвардейском стрелковом корпусе, которые окончил в декабре 1942 года. 20.01.1943 присвоено воинское звание «младший лейтенант». С января 1943 года – командир взвода отдельного стрелкового батальона 7-й гвардейской стрелковой бригады. В составе Северной группы войск Закавказского фронта, а затем в составе Северо-Кавказского фронта (в 56-й армии) участвовал в наступлении на Нальчикско-Ставропольском направлении и Краснодарской операции, освобождении Кубани. 18.05.1943 присвоено воинское звание «лейтенант». 8.06.1943 награждён медалью «За отвагу». В августе 1943 года в Воронеже на базе 5-й гвардейской и 7-й гвардейской Краснознамённой стрелковых бригад сформирована 110-я гвардейская Краснознамённая стрелковая дивизия. 14.08.1943 награждён орденом Красной Звезды. Тогда же назначен командиром взвода разведчиков 313-го гвардейского стрелкового полка. С 7 сентября 1943 года участвовал в боевых действиях в составе 37-й, 5-й гвардейской и 53-й армий Степного (с 20.10.1943 – 2-го Украинского) фронта. 16.09.1943 присвоено воинское звание «старший лейтенант». Участвовал в операции по расширению плацдарма, захваченного на правом берегу Днепра (октябрь-декабрь 1943), Кировоградской операции (январь 1944), освобождении Правобережной Украины, Уманско-Ботошанской операции (март-апрель 1944). 10 апреля 1944 года был ранен северо-восточнее Кишинёва. До мая 1944 года находился на излечении в эвакогоспитале №5283. 31.05.1944 награждён орденом Красного Знамени. После возвращения в свою часть назначен командиром роты (по другим данным – помощником начальника штаба полка) 313-го гвардейского стрелкового полка. С июля 1944 года – заместитель командира стрелкового батальона 307-го гвардейского стрелкового полка той же 110-й гвардейской стрелковой дивизии (2-й Украинский фронт). Участвовал в Ясско-Кишинёвской операции (август 1944), Дебреценской операции (октябрь 1944) и Будапештской операции (октябрь-декабрь 1944). 19.09.1944 присвоено воинское звание «капитан». 30 декабря 1944 года тяжело ранен на границе Венгрии и Чехословакии (северо-восточнее Будапешта). Вновь отправлен в эвакогоспиталь №5283. После выписки из госпиталя в июне 1945 года направлен в 21-й отдельный батальон резерва офицерского состава (Южно-Уральский военный округ). C 31 августа 1945 года капитан Н.Я.Марков в запасе по болезни (по ранению).