耕地建活动板房是非法的违规行为，一旦被发现，严格来说是应该被拆除的。但真正的执行有赖于政府的态度和处理方式。如果政府采取严厉的措施，对违法者进行处罚并强制拆除活动板房，那么这些违法行为就将得到有效遏制。
但如果政府处理不力，对耕地建活动板房睁一只眼闭一只眼，或者通过某些方式“包容”这些行为，那么这种违法现象则会继续存在，依然有可能对农业生产和生态环境产生不良影响。
耕地建活动板房是涉及土地利用和房屋建设两个方面的问题，因此归属于不同的部门管辖。基本上，土地的利用问题涉及到国土资源部门，而房屋建设方面则需要交由建设部门或者房屋管理部门来管理。
具体的管辖责任和范围可能会因不同的地区、不同的具体情况而有所差别，需要结合具体情况进行分析和确切的划分。总之，要确保耕地建活动板房的合法性和可持续性，需要多个部门协同配合，共同管理和监管。