下车辱骂我，多次警告无效后，但并未打中，然后发生肢体接触并互殴，他一根肋骨骨折，这个要怎么判责。