А Вы сверлите то какими сверлами? Просто если обычными, то конечно довольно сложно это будет сделать и порой невозможно, все будет зависеть от того, какое качество деревянной поверхности так же.
Именно поэтому стоит пополнить свою "коллекцию" сверлами по дереву, тогда все будет идти прям как по маслу.
Не сложно, а вообще не возможно. Обычным сверлом можно просто немного расковырять стенку и все. И толку не будет больше никакого. Так что лучше уж сразу запастись и не терять время, да и силы, а порой и стену не портить. Потому что сверло просто будет "ездить" туда и сюда и толку не будет от этого.