エレメント(オイルフィルター)を交換せずにいると、フィルターが詰まってしまいます。フィルターが詰まると、エンジンを保護するためにフィルターを通さずエンジンオイルを循環させる造りとなっているので、汚れたエンジンオイルがそのままエンジン内部を循環するようになってしまいます。
汚れたエンジンオイルが循環すれば当然、エンジンにダメージを与えてしまいますよ。また、エンジンオイルを抜いてもフィルター内部に古いエンジンオイルが残ったままになりますので、車の寿命を少しでも長くと思われるのであれば、エレメントは毎回交換したほうが良いですが、最低でもエンジンオイルを交換の目安として2回に1回は、エレメント交換をしたほうが良いでしょう。