Su primer éxito fue a los dieciocho años en un concurso para voces nuevas, en 1944. Ese mismo año inició su carrera como cantor en la orquesta de Raúl Kaplún. Formado en la caudalosa corriente gardeliana, alcanzó un estilo personalísimo de dicitore.
En 1952 fue convocado por Horacio Salgán para reemplazar al cantor Horacio Deval y formar rubro con Ángel Díaz, quien fue el que lo bautizó «El Polaco», por ser flaco, tener el pelo largo y rubio, similar a los jóvenes de origen polaco de la época. Con Horacio Salgán registró cuatro grabaciones para el sello RCA Victor, Alma de loca, Yo soy el mismo, Un momento y Siga el corso. En 1954 siguió grabando con Salgán en el sello TK otras seis grabaciones, dos de ellas a dúo con Díaz.
El repertorio de Goyeneche fue muy extenso y variado, los tangos bien antiguos y los más modernos desfilaron en su trayectoria discográfica. Cantó los tangos Afiches, Maquillaje y Chau, no va más (de Homero Expósito). También una versión de Malena, de Lucio Demare (poesía de Homero Manzi) y Naranjo en flor.
Lo mismo sucedió con los de otros cantantes, como por ejemplo Floreal Ruiz (con Naranjo en flor), Edmundo Rivero (con La última curda), Raúl Berón (con Qué solo estoy), Francisco Fiorentino (con Grisel y Garúa), entre otros. También fue intérprete del repertorio de Carlos Gardel.
En Estados Unidos grabó un disco de tangos clásicos (Volver, Sur, la milonga Los ejes de mi carreta, de Atahualpa Yupanqui) con extrañísimos arreglos jazzísticos de Carlos Franzetti (pianista y compositor argentino de jazz radicado en EE. UU.).
En 1969 grabó Balada para un loco, de Astor Piazzolla y Horacio Ferrer, en un acto de audacia artística, luego del escándalo que el estreno del tema significara y el debate sobre lo que debía ser aceptado como tango.
Se consagró como solista después de ser cantor de orquesta y el reconocimiento le llegaría a la madurez de su voz para no abandonarlo hasta su muerte. Fue mítica la colaboración que Goyeneche prestó al quinteto de Astor Piazzolla durante la breve temporada (mayo de 1982, en plena guerra de las Malvinas) en el Teatro Regina de Buenos Aires, y de la cual se conserva registro discográfico.
Entre 1985 y 1987 participó de los programas televisivos Operación Porcel y Las gatitas y ratones de Porcel, ambos encabezados por Jorge Porcel. En este ultimo en el scketch lucia la camiseta de Platense, Porcel la de Racing y su guitarrista la de Sarmiento de Junín, el futbol era su pasión y Platense su gran amor.
En octubre de 1987, filma la película Sur que dirige Pino Solanas y que cuenta entre los músicos que lo acompañan al guitarrista Raúl Luzzi y al bandoneonista Néstor Marconi.
En el momento de su muerte, ocurrida el 27 de agosto de 1994 en Buenos Aires, era considerado el mayor cantante de tangos en actividad. En su homenaje, una avenida del barrio de Saavedra, en la ciudad de Buenos Aires, lleva su nombre.
