不需要退还。

根据担保法第89条的规定，给付定金的一方不履行约定的债务的，无权要求返还定金。

对方的违约行为已经丧失定金返还请求权。

但是，生活实践中，如果为了100元吵架不安宁似乎有点得不偿失。

你可以告知对方按照法律规定，是这样的，如果对方还是蛮不讲理，你该退让的就退让吧，不要为了这点钱承担不必要的精神损失和负担。

生活中有的人急起来为了几块钱就捅刀子，或者报复性地破坏盗窃对方的财产。

因此，不能因为有理合法就忘记了生活经验，不要让一百块钱增加你的人身财产风险。

我回答的是法律问题，但是，生活中的很多小事不仅仅是法律能够解决的，生活实践中合法的行为有时不一定正确。

因此，如果金额这么小，可以考虑在一定情况下放弃合法权益，买个清净和安全，不要激化矛盾。

################## 法律依据：《担保法》 http://www.***.com/faguixiazai/msf/200311/20031110211735-3.htm 第六章 定 金 第八十九条 当事人可以约定一方向对方给付定金作为债权的担保。

债务人履行债务后，定金应当抵作价款或者收回。

给付定金的一方不履行约定的债务的，无权要求返还定金；收受定金的一方不履行约定的债务的，应当双倍返还定金。