Van der Houven woonde in de eerste jaren van zijn leven in de Duitse stad Garmisch-Partenkirchen, waar zijn vader met zijn band dagelijks optrad voor Amerikaanse militairen. Toen hij acht jaar oud was, verhuisde het gezin waarin hij opgroeide terug naar Den Haag. Als kind was Van der Houven al gefascineerd door de menselijke stem en maakte hij regelmatig hoorspelen, "radioprogramma's" en poppenkastvoorstellingen met en voor zijn vriendjes, waarbij hij elk personage een andere stem gaf. Na zijn middelbare school ging hij Engels studeren, waarna hij enkele jaren onderwijzer was op scholen in onder meer Scheveningen. Ook spreekt Van der Houven Italiaans. In de jaren tachtig sprak hij boeken in voor de Nederlandsche Blindenbibliotheek in Den Haag.