斋藤荣1933年出生于日本东京大田区神奈川县。他还在上高中的时候，即与石原慎太郎合办过同仁杂志。后者为著名的政治家、作家，1955年曾以《太阳的季节》一书获“芥川奖”。斋藤荣1955年毕业于东京大学法学院法律系，在横滨市政府中供职。