張建一出生于浙江湖州，原是湖州玻璃廠工人。1978年考入杭州歌舞團任獨唱演員；1981年考入上海音樂學院聲樂系，師從著名女高音歌唱家、聲樂系教育家周曉燕教授；畢業后于1986年以優異成績考入美國紐約朱莉亞音樂學院歌劇中心學習并獲全額獎學金。1989年畢業后開始職業演唱生涯，曾多次在國際歌唱比賽中獲獎，包括1984年獲第三節維也納國際歌劇歌唱家比賽第一名、1988年獲盧恰諾·帕瓦羅蒂國際聲樂比賽大獎、1989年獲美國音樂家基金會歌唱比賽第一名等等。1999年英國劍橋國際船級中心向張建一頒發了二十世紀杰出人才獎。