A família Lima Brito Nogueira dá continuidade às famílias/Casas Brito Nogueira e Lima na pessoa de D. Lourenço Brito Nogueira. Este sucedeu a seu avô no título de visconde de Vila Nova de Cerveira e nos bens da Coroa de que este fora donatário, em 1579, assim como sucedeu a seu pai, Luís de Brito Nogueira, na sua Casa e na administração dos morgadios de S. Lourenço de Lisboa e de Santo Estêvão de Beja, em 1586. A D. Lourenço sucedeu o seu filho D. Diogo de Brito Nogueira no título, em 1646, e nos bens da Coroa e em alguns vínculos da Casa, em 1649.
Esta família/Casa teve continuidade até ao século XIX, embora tenha recebido ao longo do tempo mais apelidos, como o de Vasconcelos e o de Teles da Silva, por meio das alianças matrimoniais estabelecidas. Do mesmo modo, o seu chefe foi elevado,em 1790, ao título de marquês de Ponte de Lima.
Considera-se que a família com os apelidos Lima Brito Nogueira até ao falecimento de D. Diogo de Lima Brito Nogueira em 1686. Na geração seguinte, o sucessor passa a usar igualmente o apelido Vasconcelos, associado aos vínculos que herdou por via materna.

Diogo de Lima começou por seguir a carreira eclesiástica, tendo frequentado o Real Colégio de S. Paulo da Universidade de Coimbra , onde se doutorou em Teologia . No período da Restauração, apoiou D. João IV e investiu na carreira militar, tendo sido em diferentes períodos governador das armas da província do Entre Douro e Minho. Desempenhou o cargo de presidente da Junta do Comércio , foi estribeiro-mor de D. Afonso VI e membro do Conselho de Estado . Sucedeu a seu pai, D. Lourenço de Lima, no título de visconde de Vila Nova de Cerveira em setembro de 1646 e na administração da Casa, em 1649 . Nessa altura, já estava casado com D. Joana de Vasconcelos , filha única e herdeira de D. João de Luís Vasconcelos e Meneses, descendente dos condes de Penela. Por esta via, os bens da "Casa de Mafra" deram entrada na sua Casa. D. Diogo faleceu entre o final de abril e o início de maio de 1686 . Deste matrimónio nasceram vários filhos, entre eles o sucessor no título e na Casa, D. João Fernandes de Lima e Vasconcelos.

D. Joana era filha única e herdeira de João Luís de Vasconcelos e Meneses e de Maria de Noronha. Casou-se, em segundas núpcias, com D. Diogo de Lima em 1642. Foi primeiro casada com Rui Matos de Noronha, conde de Armamar, que foi executado em 1641 por conspirar contra D. João IV . Deste fidalgo não teve descendência, mas de D. Diogo de Lima teve vários filhos, entre eles o sucessor no título e na Casa, D. João Fernandes de Lima e Vasconcelos. Estando muito doente , fez o seu testamento em julho de 1653 e faleceu nesse ano, a 24 de dezembro.