江戸時代、この辺りには諸藩の下屋敷が多く置かれていました。明治維新後には、広い敷地を持つ屋敷は皇族や高官・財界人の邸宅として利用されるようになり、現在は高級住宅街が形成されています。辺りは今も、江戸から明治、大正の面影が感じられるスポットが多く残り、落ち着いた雰囲気が漂っています。駅の西側には「グランドプリンスホテル高輪」や「グランドプリンスホテル新高輪」、「ザ・プリンス さくらタワー東京」といったホテルが林立しています。また、それに囲まれるように「港区立高輪森の公園」があります。江戸時代に薩摩藩島津家の下屋敷・抱屋敷があった場所で、樹林に囲まれた憩いの空間となっています。桜も美しく、春には「高輪桜まつり」が開催され、ライトアップも行われます。駅の西側には、備前岡山藩池田家の下屋敷跡を整備した公園「池田山公園」があります。園内には江戸時代の回遊式庭園が整備・保存されており、こちらも周辺住民の憩いの場となっています。「池田山公園」近くにある「畠山記念館」は、国宝6件、重要文化財32件を含む、茶道具を中心とした日本・東洋の古美術品が所蔵された美術館です。荏原製作所の創業者でもある実業家・畠山一清氏のコレクションを展示しており、茶道具や能楽にまつわる古美術品が展示品に多いのが特徴です。
