有家加盟店，转让给我，和店主写了转让协议，转让协议上写的是转让店铺，没有写转让加盟权，现在才知道加盟权不能转让，现在我不想做了，想问问如果转让给加盟商退钱，店里加盟商的钱该谁出。