Лучше fastapi. Простой, поддержка asyncio, openapi-схема из коробки. Тащить джанго, если не нужен django admin, выглядит странным. Если, конечно, есть хороший опыт на джанго и нет с фастапи или фласк, то можно и его