飫肥はかつての日向街道が通った城下町で、城門などの城跡が至る所に残されています。飫肥駅も城をイメージした駅舎で、広い待合室を設けているのも特徴です。ホームは島式で、交換可能な設備があります。この駅には全列車が停車し、特に下りの特急“海幸山幸”の停車時には、地元の方による特産品の販売や演舞などが行われます。