И да и нет. Все зависит от того, как именно вы это делаете и в какой ситуации. Можно свободно использовать жесты на протяжении всей речи, если они выглядят естественно и пластично. Но если движения слишком резкие или суетливые, они будут восприниматься как признак внутреннего напряжения или неуверенности.
Существуют и ситуации, где чрезмерная жестикуляция попросту неуместна: например, когда нужно сохранять сдержанность, говоря о чем-то серьезном или сообщая плохие новости.