Nelson City liegt im Norden der Südinsel an der Tasman Bay. Die Bucht bildet die nordwestliche Grenze des Stadtgebietes. Im Südwesten der Stadt schließt sich der Tasman District an und im Südosten und Osten der Marlborough District. Nelson City wird gerne als der geographische Mittelpunkt Neuseelands bezeichnet. Dieser soll auf dem 147 m hohen Botanical Hill im Zentrum der Stadt liegen. Der wahre geographische Mittelpunkt liegt tatsächlich in der Nähe von Tapawera, rund 40 km südwestlich von Nelson.
Nelson City liegt in der Zone südwestlich vorherrschender Winde. Geschützte durch westlich liegenden Berglandschaften, die sich von den Tasman Mountains aus nach Süden erstrecken, liegen die Niederschläge in der Region Nelson zwischen 1000 und 1250 mm pro Jahr. Nelson gehört damit zu den sonnenreichsten Gegenden Neuseelands.
Die im Art-déco?-Stil erbaute anglikanische Christ Church Cathedral, die mit einer großen Freitreppe versehen ist, befindet sich im Zentrum der Stadt. In der Nähe der Kathedrale liegt eine restaurierte Häuserzeile mit Arbeiterunterkünften aus dem 19. Jh.
Nelson ist in den Sommermonaten ein touristischer Anziehungspunkt und dient als Ausgangspunkt für Besuche der benachbarten Nationalparks. Eine der Attraktionen der Stadt ist die 2001 eröffnete Galerie World of WearableArt mit angeschlossenem Automuseum, wo die jährlichen Preisträger unkonventioneller Modekleidung und klassische Autos ausstellen. Die beiden ebenfalls jährlich stattfindenden Arts Festival und Jazz Festival sind eine weitere Attraktion der Stadt.
Nelson ist Ausgangspunkt für Wanderungen im Abel Tasman NP.