A inicios de los años 60 ella y su hermana, Lucy, formaron un dúo llamado The Simon Sisters que inicialmente se presentó en los bares de Greenwich Village, en Nueva York. Grabaron dos LP, uno de folk bastante suave y otro con canciones para niños. Solamente tuvieron un sencillo que estuvo fugazmente en las listas en abril de 1964: "Winkin' Blinkin' and Nod".
1986 vino de la mano de "Coming Around Again", el tema de la película Heartburn. Ese mismo año ganó el Grammy, el Globo de Oro y el Óscar por "Let the River Run" de la película Working Girl de 1988.
En 2001 graba la banda sonora de La Gran Película de Piglet la que le da un impulso a su carrera.
En 1972, Carly Simon se casó con cantante James Taylor. A pesar de haberse convertido en esposa y luego madre, su carrera de artista nunca se vio demorada. Por el contrario esa dinámica de vida le ayudó a componer de forma sostenida durante años.
En 1983 se separó de su marido, James Taylor. Tanto su matrimonio, como su separación tuvieron una cobertura amplia en los medios de comunicación norteamericanos, inclusive opacando las aventuras de Elizabeth Taylor.
