书中还说她与邻人通奸，被丈夫休弃，遭家族除名。
邻人是国子监时的世兄，也是丈夫的下属。一夜杏花春雨，陆灵默与他春风数度。
灵默从不掩饰，处处露出蛛丝马迹。可是久经沙场的丈夫竟一直视而不见。直到灵默要写和离书，他用力扣住灵默的手，双目通红，“我知道你和你哥哥情深意重，我愿意与他共侍一妻。这样，你也要离开我吗？”
——————————————