Особой разницы нет. Ты ведь тоже не всегда говоришь что ты например "плохо рисуешь", а возможно даже и чаще говоришь что "не очень хорошо рисуешь" или "совсем не хорошо рисуешь". Так же ты можешь сказать что рисуешь "не плохо" (下手ではありません)

Это еще и "куда" если поставить не で, а へ
Но это не так важно. Более важно в вашем вопросе "зачем" его опускать? Ведь это не имеет смысла, лучше ведь говорить правильно (а нужно лишь добавить で). Тем более не думаю что вы учите язык чтоб намеренно неправильно на нем говорить.
Хотя мне кажется что поймут, но это будет звучать как "я твоя труба шатал".