呂良偉,1955年出生于越南的一個富裕家庭,後來因為種種原因,家道中落。為此,呂良偉一家投奔叔叔遷居去了香港定居,住在貧民窟裡。

雖然生活落差很大,呂良偉很不習慣,但也不得不接受這殘酷的現實。中學時期,母親因為重病,這讓呂良偉不得不放棄學業,去賺錢養家。

雖然家境拮據,但呂良偉卻喜歡上了表演,但一直沒有什麼機會,這也使得他隻能進工廠。知道呂良偉的想法,便鼓勵他去追求演藝夢想。1979年,在父親的支持下,呂良偉考入了無線藝員訓練班。

在這裡,他接受了專業系統的表演學習,更是參演了首部電視劇《網中人》。當時的他,是一個籍籍無名的小演員,加上家境不好,在演藝圈的處境并不好。