A família Lima Brito Nogueira dá continuidade às famílias/Casas Brito Nogueira e Lima na pessoa de D. Lourenço Brito Nogueira. Este sucedeu a seu avô no título de visconde de Vila Nova de Cerveira e nos bens da Coroa de que este fora donatário, em 1579, assim como sucedeu a seu pai, Luís de Brito Nogueira, na sua Casa e na administração dos morgadios de S. Lourenço de Lisboa e de Santo Estêvão de Beja, em 1586. A D. Lourenço sucedeu o seu filho D. Diogo de Brito Nogueira no título, em 1646, e nos bens da Coroa e em alguns vínculos da Casa, em 1649.
Esta família/Casa teve continuidade até ao século XIX, embora tenha recebido ao longo do tempo mais apelidos, como o de Vasconcelos e o de Teles da Silva, por meio das alianças matrimoniais estabelecidas. Do mesmo modo, o seu chefe foi elevado,em 1790, ao título de marquês de Ponte de Lima.
Considera-se que a família com os apelidos Lima Brito Nogueira até ao falecimento de D. Diogo de Lima Brito Nogueira em 1686. Na geração seguinte, o sucessor passa a usar igualmente o apelido Vasconcelos, associado aos vínculos que herdou por via materna.

Diogo de Lima começou por seguir a carreira eclesiástica, tendo frequentado o Real Colégio de S. Paulo da Universidade de Coimbra , onde se doutorou em Teologia . No período da Restauração, apoiou D. João IV e investiu na carreira militar, tendo sido em diferentes períodos governador das armas da província do Entre Douro e Minho. Desempenhou o cargo de presidente da Junta do Comércio , foi estribeiro-mor de D. Afonso VI e membro do Conselho de Estado . Sucedeu a seu pai, D. Lourenço de Lima, no título de visconde de Vila Nova de Cerveira em setembro de 1646 e na administração da Casa, em 1649 . Nessa altura, já estava casado com D. Joana de Vasconcelos , filha única e herdeira de D. João de Luís Vasconcelos e Meneses, descendente dos condes de Penela. Por esta via, os bens da "Casa de Mafra" deram entrada na sua Casa. D. Diogo faleceu entre o final de abril e o início de maio de 1686 . Deste matrimónio nasceram vários filhos, entre eles o sucessor no título e na Casa, D. João Fernandes de Lima e Vasconcelos.