И да, и нет. Раньше в греческом был инфинитив, а в том примере, что вы привели, он писался бы как γράψειν. Сейчас инфинитива в греческом больше нет, но Паракименос (греческий перфект - έχω γράψει) требует именно инфинитива после вспомогательного глагола έχω. А раз инфинитива нет, его заменяют совершенным видом глагола в третьем лице, которая отличается от бывшего инфинитива только отсутствием буквы Ню в конце, γράψειν превратился в γράψει.
Так что нет, это не инфинитив, а именно совершенный вид глагола в третьем лице единственного числа.
Но поскольку он выполняет функцию инфинитива, то да, его можно назвать и "инфинитивом", но лишь метафорически, в переносном смысле.