園名の由来はこの土地が旧西郷邸の北東部分にあたり、付近の人々が「西郷山」という通称で親しまれていたところから決まりました。斜面を利用してつくられた公園で、斜面には20メートルの落差をもつ人工の滝が作られているほか、ゆるやかな坂道の園路や展望台が設けられ、冬のよく晴れた日には遠くの富士山も望めます。