- En 1983 se graduó por la Universidad Católica Argentina en Buenos Aires y en 1985, por el Instituto del Servicio Exterior de la Nación, realizo una maestría y luego un doctorado en historia y política internacional en la Universidad de Ginebra (Suiza).
- Se dedicó a la labor diplomática en 1985.
- De 1997 a 2000 presidió el grupo de expertos de Naciones Unidas sobre el registro internacional de armas y luego se desempeñó como asesor del secretario general de la ONU en materia de desarme.
- De 2002 a 2007 encabezó la oficina del Organismo Internacional de Energía Atómica (OIEA) en Viena (Austria) y fue jefe de la Organización para la Prohibición de las Armas Químicas en La Haya (Países Bajos).
- De 2007 a 2010 se desempeñó como director general de coordinación política en la Cancillería argentina, fue nombrado embajador de Argentina en Bélgica y representó a Argentina ante la oficina de Naciones Unidas en Ginebra.
- De 2010 a 2013 fue director general adjunto del OIEA, embajador de Argentina en Austria, Eslovaquia y Eslovenia y ante las organizaciones internacionales con sede en Viena.
- De 2014 a 2016 presidió el Grupo de Abastecedores Nucleares y la conferencia diplomática de la Convención sobre Seguridad Nuclear, fue director general adjunto de la Organización para la Prohibición de las Armas Químicas.
10 de septiembre 2019, 14:40 GMT
Lo designaron para presidir la Conferencia de Revisión del Tratado de No Proliferación Nuclear, que se celebrará en abril de 2020 en Nueva York.
En septiembre de 2019, el Gobierno de Argentina promovió la candidatura de Rafael Grossi para ocupar el puesto de director general del OIEA.
El 29 de octubre de 2019, el Consejo de Gerentes del OIEA nombró a Grossi nuevo director general de este organismo.
