Он родился 5 августа 1923 года в селе Темрюк Володарского района Донецкой области, недалеко от Мариуполя. После окончания в 1938 году семилетки Алексей поехал в Ейск, где поступил в педагогическое училище. В день выпуска – 22 июня 1941 года – началась война. При формировании истребительного батальона вошел в его состав. В феврале 1942 года Алексей призван на сборный пункт в Чечню. Здесь все, кто имел образование, были направлены в школу младших командиров. Проучившись в школе чуть более месяца, Тертышник получил воинское звание сержанта и был направлен на передовую. В тяжелых боях на Миус-фронте под Ростовом-на-Дону принял Алексей Павлович боевое крещение. Военные пути-дороги привели его в состав 95-й гвардейской стрелковой дивизии, где сержант Тертышник был назначен командиром 45-мм противотанкового орудия.Вместе со своими боевыми товарищами прошел А.П. Тертышник по боевому пути дивизии, которая вела бои на Курской дуге, принимала участие в освобождении Левобережной Украины, в Кировоградской, Уманско-Ботошанской, Львовско-Сандомирской, Сандомирско-Силезской, Нижнеселезской, Верхнесилезской, Берлинской и Пражской наступательных операциях.За время войны им было подбито 8 танков, сожжено - 3.