我现在所在公司没有人事权,人事挂靠在另一个单位,所以我是与另一个单位签订的劳动合同(五年),与该公司也签了一个协议,上面有关于公司收取违约金的条款。如果我现在提出辞职,是不是既要向人事所在单位交纳违约金,又要向所在公司交纳违约金?公司还收取违约金合理么?