Órfão desde os dois anos, viveu com os avós até os sete, quando mudou-se para Cuiabá onde passou a viver com um tio e iniciou seus estudos. Aos 16 anos foi diplomado professor primário (ensino fundamental) pelo Liceu Cuiabano.
Em seguida ingressou na carreira militar como soldado do 3º Regimento de Artilharia a Cavalo.
Pouco depois mudou-se para o Rio de Janeiro onde, em 1883, matriculou-se na Escola Militar. Em 1890, recebeu o diploma de bacharel em Matemática e Ciências Físicas e Naturais da Escola Superior de Guerra do Brasil. Ainda estudante, teve participação nos movimentos abolicionista e republicano.
Formado, foi nomeado professor de Astronomia e Mecânica da Escola Militar, cargo do qual afastou-se em 1892.
Ainda em 1892, em 1º de fevereiro, casou-se com D. Francisca Xavier, com quem teve sete filhos, e foi nomeado chefe do Distrito Telegráfico de Mato Grosso. Foi então designado para a Comissão de Construção da linha telegráfica que ligaria Mato Grosso e Goiás.

Esta primeira missão marcaria para sempre a vida do jovem oficial, e de todo o país que ele serviu com amor, serenidade e senso de justiça.
O novo governo republicano estava preocupado com o grande isolamento das regiões mais ocidentais do país, particularmente nas fronteiras com o Paraguai e Bolívia, por isso decidira construir linhas telegráficas que melhorassem as comunicações com o centro-oeste e o longínquo norte. Rondon foi o mais importante dos sertanista que desbravaram estes rincões, abrindo caminhos, lançando linhas telegráficas, registrando sua topografia, descobrindo rios, estudando a flora e a fauna, mas, principalmente, estabelecendo relações respeitosas e desmistificando a imagem de violentos, assassinos e até antropófagos, que se construíra em torno dos primitivos habitantes destas terras: os índios.

Foi sua visão humanista que permitiu que as missões de desbravamentos e construções fossem realizadas em paz, sem combates fratricidas, e que não fosse assim poderiam transformar-se em missões genocidas. Entre outras nações indígenas, Rondon manteve contatos pacíficos com os Bororo, Nhambiquara, Urupá, Jaru, Karipuna, Ariqueme, Boca Negra, Pacaás Novo, Macuporé, Guaraya, Macurape, etc. Nesta imensa e desconhecida região realizou sua grande obra de militar, estudioso, sertanista e grande ser humano.

- Entre 1892 e 1898 ajudou a construir as linhas telegráficas de Mato Grosso a Goiás, entre Cuiabá e o Araguaia, e uma estrada de Cuiabá a Goiás.
- Entre 1900 e 1906 dirigiu a construção de mais uma linha telegráfica, entre Cuiabá e Corumbá, alcançando as fronteiras de Paraguai e Bolívia.
- Em 1906 encontrou as ruínas do Real Forte do Príncipe da Beira, a maior relíquia histórica de Rondônia.
- Em 1907, no posto de major do Corpo de Engenheiros Militares, foi nomeado chefe da comissão que deveria construir a linha telegráfica de Cuiabá a Santo Antonio do Madeira, a primeira a alcançar a região amazônica, e que foi denominada "Comissão Rondon". Seus trabalhos desenvolveram-se de 1907 a 1915.

Assim, simultâneamente, já que a construção da Estrada de Ferro Madeira Mamoré deu-se entre 1907 e 1912, aconteciam dois dos fatos mais importantes para o conhecimento e ocupação econômica do espaço físico que à época era parte do Mato Grosso, e hoje constitui o estado de Rondônia. A EFMM no sentido leste-oeste, e a linha do telégrafo no sentido sul-norte. Difícil dizer qual o feito mais grandioso.

Os trabalhos exploratórios da Comissão Rondon, quando foram estudados e registrados fatos novos nos ramos da geografia, biologia (fauna e flora) e antropologia, na região então desconhecida, dividiram-se em tres expedições:
- A 1ª expedição, entre setembro e novembro de 1907, reconheceu 1.781 km entre Cuiabá e o rio Juruena.
- A 2ª expedição ocorreu em 1908 e foi a mais numerosa, envolvendo 127 membros. Foi encerrada às margens de um rio denominado 12 de outubro (data de encerramento da expedição), tendo reconhecido 1.653 km entre o rio Juruena e a Serra do Norte.
- A 3ª expedição, com 42 homens, foi realizada de maio a dezembro 1909, vindo da serra do Norte ao rio Madeira, que alcançou em 25 de dezembro, atravessando toda a atual Rondônia.
- Em 1908 havia sido promovida a tenente-coronel, por méritos.
- Em 1910 organizou e passou a dirigir o Serviço de Proteção aos Índios (SPI), criado em 7/set/1910.
- Em 12 de outubro de 1911 inaugurou a estação telegráfica de Vilhena, na fronteira dos atuais estados de Mato Grosso e Rondônia.
- Em 13 de junho de 1912 inaugurou nova estação telegráfica, a 80 km de Vilhena, que recebeu seu nome.
- De maio de 1913 a maio de 1914 participou da denominada expedição Roosevelt-Rondon, junto com o ex-presidente dos Estados Unidos da América, Theodore Roosevelt. Realizando novos estudos e descobertas na região.
- Durante o ano de 1914 a Comissão Rondon construiu em oito meses, no espaço físico de Rondônia, 372 km de linhas e cinco estações telegráficas: Pimenta Bueno, Presidente Hermes, Presidente Pena (mais tarde Vila de Rondônia, atualmente Ji Paraná), Jaru e Ariquemes (a 200km de porto Velho).
- Em 1º de janeiro de 1915 inaugurou a estação telegráfica de Santo Antonio do Madeira, concluindo a gigantesca missão que lhe fora conferida.
Já General de Brigada, em 20/set/1919 foi nomeado Diretor de Engenharia do Exército, cargo que ocupou até 1924.
- Em 1930, preso no Rio Grande do Sul pelos revolucionários que destituiram Washington Luís e levaram Getúlio Vargas ao poder, pediu reforma do exército.

Entre julho de 1934 e julho de 1938 presidiu missão diplomática que lhe fora confiada pelo Governo do Brasil, mediando e arbitrando o conflito que se estabelecera entre o Perú e a Colômbia pela posse porto de Letícia. Ao encerrar sua missão, tendo estabelecido um acordo de paz, estava quase cego.

- Em 5 de maio de 1955, data de seu aniversário de 90 anos, recebeu o título de Marechal do Exército Brasileiro concedido pelo Congresso Nacional.
- Homenageando o velho Marechal, em 17 de fevereiro de 1956, o Território Federal do Guaporé teve seu nome alterado para Território Federal de Rondônia.
- Em 1957 foi indicado para o prêmio Nobel da Paz, pelo Explorer's Club, de New York.
- Morreu no Rio de Janeiro, aos 92 anos, em 19 de janeiro de 1958.