usb: gadget: udc: atmel: fix possible oops when unloading module