如果违法强拆的是行政部门，依据具体的情况承担责任，主要的责任是行政处罚责任、民事赔偿责任和刑事责任。
《国有土地上房屋征收与补偿条例》
第三十条 市、县级人民政府及房屋征收部门的工作人员在房屋征收与补偿工作中不履行本条例规定的职责，或者滥用职权、玩忽职守、徇私舞弊的，由上级人民政府或者本级人民政府责令改正，通报批评;造成损失的，依法承担赔偿责任;对直接负责的主管人员和其他直接责任人员，依法给予处分;构成犯罪的，依法追究刑事责任。
第三十一条 采取暴力、威胁或者违反规定中断供水、供热、供气、供电和道路通行等非法方式迫使被征收人搬迁，造成损失的，依法承担赔偿责任;对直接负责的主管人员和其他直接责任人员，构成犯罪的，依法追究刑事责任;尚不构成犯罪的，依法给予处分;构成违反治安管理行为的，依法给予治安管理处罚。
第三十二条 采取暴力、威胁等方法阻碍依法进行的房屋征收与补偿工作，构成犯罪的，依法追究刑事责任;构成违反治安管理行为的，依法给予治安管理处罚。
根据建设部《城市房屋拆迁行政裁决工作规程》的相关规定，拆迁应履行下列程序：
首先由拆迁人与被拆迁人协商;协商不成，由房屋拆迁管理部门组织调解;调解不成，则由管理部门作出裁决。在裁决限定的搬迁期限过后，被拆迁人仍未自动搬迁的，由拆迁人向房屋拆迁管理部门提出强制执行的书面申请，并提交相关材料。对于符合条件的申请，房屋拆迁管理部门组织听证，经领导班子集体讨论决定后，向政府提出行政强制拆迁申请。
政府部门对申请审查核实后作出准予行政强制拆迁的决定，并责成相关行政执法部门负责实施。房屋拆迁管理部门收到决定后，应当提前15日通知被拆迁人，动员被拆迁人自行搬迁。强制拆迁时，应当组织作好证据保全工作。执行机关要将拆迁过程记入笔录，由各方签名或盖章。如此，合法的拆迁程序才算完结。
综合上面所说的，违法强拆的行为是会让被拆迁者的利益受到重大的损失，一般对于当事人是需要承担起相应的责任，但对于承担的方式就需要结合案件来进行确定，轻者给予行政处罚，而对于严重者是会构成犯罪并承担有期徒刑的。
