ATMEGA128 同时使用USART和按键输入，出现通讯时影响按键功能的情况

MEGA128的PE0和PE1是USART接口，PE4~7是4个独立按键，经常出现当串口接收到数据（尤其是数据连续为0比较多的时候），触发按键功能，而且按键功能也有点问题，删除串口相关代码则正常，请问是否因为IO口初始化不对造成？我的按键接口初始化代码如下：
PORTE &= 0x0F;