A família/Casa dos Limas é iniciada com o fidalgo de origem galega Fernão Eanes de Lima, que contraiu matrimónio com uma senhora linhagem dos Silva, D. Teresa da Silva. Esta foi continuada por Leonel de Lima, que, em 1429, sucedeu a seu irmão mais velho, falecido sem descendência, nos bens da Coroa de que este e o seu pai haviam sido donatários na região minhota. Leonel de Lima contraiu matrimónio com uma senhora descendente das linhagens dos Cunhas e dos Melos, D. Filipa da Cunha. Recebeu o título de visconde de Vila Nova de Cerveira em 1476. Assegurou a transmissão do título e de um conjunto de bens e direitos da Coroa que já haviam sido de seu pai e de outros que recebeu de juro e herdade, nomeadamente a alcaidaria-mor de Ponte de Lima. Estes bens foram sendo transmitidos e acrescentados pelos seus sucessores até à morte do 5.º visconde de Vila Nova de Cerveira, D. Francisco de Lima, em 1578.
Depois da quebra de varonia, a sucessão na Casa veio a ser assegurada, em 1579, por um neto, Lourenço de Lima Brito Nogueira, filho de Luís de Brito Nogueira e de Inês de Lima, filha do falecido visconde.