O ex-legislador do Partido Conservador, de 60 anos, falou por experiência própria, já que os tumultos também tomaram conta de Londres e de outras áreas urbanas da Inglaterra em 2011, após a polícia ter matado um jovem a tiros.
"Quando isso aconteceu em Londres 2012, em um período semelhante ao dos Jogos, todos os Comitês Olímpicos Nacionais (NOC) e Federações Internacionais (IF) tinham acabado de chegar a Londres para conhecer as instalações", disse ele à AFP.
"Lembro-me de quando era o ministro encarregado das Olimpíadas e me dirigi aos chefes dos NOCs e das IFs no prédio do prefeito em South Bank.
"Enquanto eu dizia que não havia nada com que se preocupar, havia nuvens de fumaça atrás de mim no sul de Londres."
A violência e os saques atingiram a França em uma quarta noite de protestos na sexta-feira e o país se preparou para a desordem antes do funeral de sábado de Nahel, 17 anos, que foi morto por um policial durante uma blitz.
O governo disse que a violência havia "diminuído" em comparação com as noites anteriores, mas o Ministério do Interior ainda registrou 1.311 prisões em todo o país durante a noite, além de 79 feridos.
Isso é mais do que em qualquer outra noite desde que os protestos começaram na terça-feira, provocados pela morte de Nahel.
Os motins de Londres foram provocados pela morte de Mark Duggan - que foi baleado depois que o carro em que viajava foi parado pela polícia - e ocorreram de 6 a 11 de agosto, resultando em cinco mortes e centenas de milhões de libras em danos.
Robertson - que se aposentou da política em 2015 e é presidente da Associação Olímpica Britânica (BOA) desde 2016 - disse que o momento dos distúrbios em Londres não poderia ter sido pior.
"Balanço por trás dos Jogos"
Robertson não se intimidou, apesar da violência que tomou conta da capital britânica durante sua visita, e pediu aos organizadores de Paris que mantivessem o curso. "Mantenham a calma e o foco", disse ele.
"Os organizadores têm minha simpatia e tenho certeza de que resolverão o problema.
"Ainda falta mais de um ano para a cerimônia de abertura, o que é muito tempo para organizar algo tão grande quanto os Jogos Olímpicos."
Robertson diz que há pouco risco de que as imagens que estão sendo transmitidas para todo o mundo desanimem as pessoas.
"Nenhum! Isso acontece 14 meses antes da Cerimônia de Abertura.
"As pessoas que já compraram ingressos para Paris virão de qualquer maneira; outras pensarão que é muito longe e não serão dissuadidas de vir."
O ex-oficial do exército britânico diz que os tumultos não foram a principal preocupação dos chefes dos Jogos de Londres antes do espetáculo esportivo.
"As questões de segurança eram mais estressantes", disse ele.
"Sempre pensamos que os tumultos passariam."
Robertson diz que, embora alguns temam que os desordeiros possam tentar usar os Jogos de Londres como um evento de alto nível para causar distúrbios, ele e os organizadores foram muito mais positivos.
"O que todo mundo não entende sobre os Jogos Olímpicos é que sempre há um momento em que as pessoas percebem a maravilhosa vitrine que eles são para um país e passam a apoiar os Jogos", disse ele.
"Para nós, esse momento ocorreu um mês antes do início dos Jogos, quando a esmagadora maioria das pessoas decidiu que queria fazer deles um sucesso.
"Tenho certeza de que o mesmo acontecerá na França, e os franceses farão um trabalho maravilhoso e darão uma recepção fantástica."
Robertson diz que sabe, por experiência própria, que haverá mais obstáculos no caminho para os chefes de Paris.
"Todos os Jogos Olímpicos têm esses momentos", disse ele.
"Algo mais aparecerá nos próximos 13 ou 14 meses.
"É da natureza da organização de algo tão grande como os Jogos Olímpicos que haverá muitos desafios para qualquer comitê organizador."