从您描述的情况来看,对方的行为确实可能构成名誉侵权。根据《民法典》相关规定,以侮辱、诽谤等方式损害他人名誉的,应当承担停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等民事责任。具体到您的情况,需要重点考虑几个方面:第一,对方是否存在公开散布不实言论的行为;第二,这些言论是否确实给您造成了社会评价降低的后果;第三,司法工作人员在场的情况可能加重侵权情节。建议您先做好证据收集工作,包括录音录像、在场证人证言等。如果能证明侵权行为确实存在且造成影响,是可以主张精神损害赔偿的。不过要注意,精神损害赔偿的金额需要根据实际损害程度来确定,司法实践中一般不会太高。下一步可以考虑先通过居委会或街道进行调解,如果调解不成再考虑诉讼。需要帮助的话,可以带着具体证据材料来所里详谈。