Lajovic, llegado al cuadro principal desde la ronda previa, dio la sorpresa al eliminar al número seis del mundo en 2 horas y 17 minutos.
Del Potro se hizo con relativa comodidad con la primera manga antes de sufrir en los dos últimos sets.
El ganador en Acapulco e Indian Wells esta temporada tuvo dificultades para contrarrestar las subidas a la red y los tiros a la línea de su rival, que se verá en cuartos de final con Kevin Anderson.
El sudafricano avanzó a cuartos al imponerse al alemán Philipp Kohlschreiber por 6-3, 7-6 (9/7).
Anderson, octavo favorito del torneo, se llevó con tranquilidad la primera manga antes de sufrir en el segundo set, donde se impuso en la muerte súbita tras 1 hora y 32 minutos de partido.
El alemán Alexander Zverev, número tres del mundo, espera también rival en cuartos de final tras eliminar al argentino Leonardo Mayer 6-4, 6-2.
Zverev, que no dio opción a Mayer, se verá en cuartos con el ganador del encuentro que enfrenta al uruguayo Pablo Cuevas con el estadounidense John Isner.
También estará en cuartos el canadiense Denis Shapovalov que se impuso a su compatriota Milos Raonic 6-4, 6-4.
Shapovalov, número 43 del mundo, se enfrentará en la siguiente ronda al británico Kyle Edmund, vencedor este jueves del belga David Goffin por 6-3 y 6-3.
Edmund, que la víspera se había deshecho del serbio Novak Djokovic en segunda ronda, dio cuenta del belga, octavo favorito del torneo madrileño, en una hora y doce minutos.
En cuartos estará también el austriaco Dominic Thiem, que se impuso al croata Borna Coric 2-6, 7-6 (7/5), 6-4.
Thiem, finalista el pasado año en Madrid, donde cayó ante Rafa Nadal, se medirá en cuartos al ganador del partido entre el español y el argentino Diego Schwartzman.
Resultados de la jornada del torneo de Madrid:
Individual masculino - 3ª ronda:
Dominic Thiem (AUT/N.5) derrotó a Borna Coric (CRO) 2-6, 7-6 (7/5), 6-4.
Dusan Lajovic (SRB) a Juan Martín Del Potro (ARG/N.4) 3-6, 6-4, 7-6 (8/6)
Kevin Anderson (RSA/N.6) a Philipp Kohlschreiber (GER) 6-3, 7-6 (9/7)
Kyle Edmund (GBR) a David Goffin (BEL/N.8) 6-3, 6-3
Denis Shapovalov (CAN) a Milos Raonic (CAN) 6-4, 6-4
Alexander Zverev (GER/N.2) a Leonardo Mayer (ARG) 6-4, 6-2