Ole Wivel blev født i København og voksede op i et højborgerligt grossererhjem. Somrene tilbragte familien i Vedbæk og i Kandestederne ved Skagen, og begge lokaliteter fik stor betydning for Wivels liv og digtning. Han blev student 1939 fra Skt. Jørgens gymnasium og studerede derefter litteratur ved Københavns Universitet til 1943. Han var særligt optaget af tysk romantik fra Friedrich Hölderlin til Stefan George. I 1943 gik Wivel ind i Røde Kors og arbejdede for organisationen til krigens afslutning.

Ole Wivel store indsats i dansk kultur er især knyttet til den første efterkrigstid. I 1945 startede han Wivels forlag og udgav tidens toneangivende digtere. I 1946 fik han kontakt med universitetsmiljøet i Aarhus, og sammen med Thorkild Bjørnvig og Bjørn Poulsen (som var inspireret af deres underviser Jens Kruuse) tog han initiativ til tidsskriftet Heretica (1948–53) og var redaktør af de to midterste årgange sammen med Martin A. Hansen (1950–51). I 1951 blev Ole Wivel ansat som højskolelærer på Askov, men vendte i 1954 tilbage til København for at indgå i Gyldendals direktion sammen med Otto B. Lindhardt og Jokum Smith. Skiftet var et resultat af det tætte samarbejde med ostegrossereren Knud W. Jensen (kunstmuseet Louisianas senere grundlægger), som var medstifter af Wivels Forlag og opkøbte aktiemajoriteten i Gyldendal i 1952. Wivel sad i direktionen fra 1954 til 63 og havde i disse år en betydelig indflydelse på forlagets udvikling og profil. Det lykkedes at modernisere forlaget og gøre det litterært toneangivende ved at sikre kontakter til, ikke mindst, den ny generation af digtere. Wivel havde varig plads i bestyrelsen og blev siden på ny direktør for forlaget (1971–80).

Ole Wivel brød igennem med digtsamlingerne I fiskens tegn (1948) og Jævndøgnselegier (1949), som havde krigen, kunsten og den kristne forventning og forløsning som centralt omdrejningspunkt. Siden blev det til bøger inden for mange genrer: lyrik, essays, litteraturkritik, erindringer og monografier om bl.a. Martin A. Hansen.

Ole Wivel havde et stort virkefelt livet igennem og var engageret på mange fronter i det danske kulturliv. Han var bl.a. formand for Studenterkredsen i København 1955–57, medlem af Louisiana-Fonden 1954–84, medlem af Kulturministeriets kulturudvalg 1962–68 og planlægningsrådet for forskningen 1973. I tresserne tog han aktiv del i den politiske debat omkring Vietnamkrigen og var medstifter af Landindsamlingen Vietnam 69. I 1964 blev han medlem af Det Danske Akademi og i 1973 medlem af Akademiet for de tekniske videnskaber. Ole Wivels store talent var at afsøge forudsætninger og tage sig selv og verden op til revision. Han var en skarp analytiker og en fintfølende digter, og hans sidste digtsamlinger, som blev til i hjemmet i Skagen, viser hans klare blik for tilværelsens mange modsætninger og møder.

Ole Wivels sidste år blev præget af en fejde, der drejede sig om slettede ungdomsdigte, der blev tolket som antidemokratiske og nazistiske. Fejden blev indledt af litteraten Jørgen Hunosøe og besvaret af Ole Wivel med udgivelsen En ondskabfuld klodsmajor (2001). Sagen udviklede sig til en voldsom debat i pressen og førte til offentliggørelsen af nogle af Wivels digte og breve fra besættelsestiden.