聚众斗殴到现场后一边人没有动手可以从轻处罚甚至可以免予刑事处罚。但是，具体情况如何确认，需要司法机关查明真相酌情量定。
单方聚众斗殴与寻衅滋事的区别如下：
1.主体不同，聚众斗殴罪要求以聚众的形式，至少要求主体在3人以上，寻衅滋事罪的主体为一般主体；
2.客观方面表现不同，聚众斗殴罪的客观方面表现为纠集众人结伙殴斗的行为，寻衅滋事罪的客观方面表现为肆意挑衅、无事生非、无理取闹，横行霸道，破坏公共秩序的行为；
3.处罚不同。
找法网提醒，聚众斗殴后达成调解不要拘留，经调解达成协议后不履行的，公安机关应当依照本法的规定对违反治安管理行为人给予处罚，并告知当事人可以就民事争议依法向人民法院提起民事诉讼。
根据《治安管理处罚法》第九条，对于因民间纠纷引起的打架斗殴或者损毁他人财物等违反治安管理行为，情节较轻的，公安机关可以调解处理。经公安机关调解，当事人达成协议的，不予处罚。经调解未达成协议或者达成协议后不履行的，公安机关应当依照本法的规定对违反治安管理行为人给予处罚，并告知当事人可以就民事争议依法向人民法院提起民事诉讼。
