指南针指向南方有两种原因，一是古代中国人指北不用指南针，而是用北极星，北极星指北是中国人的常识和传统习惯。另一个原因是在我国古代文化里，南为阳，北为阴，活人都以阳为尊。古代一直以面向南方为尊位，并且有“南面为王，北面而朝”之说，意思是面朝南方位的称帝王，面朝北方的则是朝拜君王的臣子，帝王就座议事都是面向南方，所以指示方向，也以南为主。
指南针的前身是中国古代四大发明之一的司南，早在战国时期，古人利用天然磁铁矿石雕琢成一个杓形的东西，放在一个光滑的盘上，盘上刻着方位，利用磁铁指南的作用，可以辨别方向，勺柢指向的就是南方，因此后来也叫做指南针。
司南的改进
但是以天然磁石制成的司南，由于磁勺是琢磨而成的，这样一来磁勺的磁性有所减弱。同时磁勺与方盘之间还存在着摩擦力，所以司南的灵敏性不够。而且磁勺也不会固定在盘心，每次使用的时候都需要手动拨动磁勺，让其转动，然后定向。这样的方法在颠簸状态下使用起来不太方便，甚至没办法定向了。
到了晋、南北朝时期，人们注意到了磁石可以吸引铁针，并且也可以使铁针磁化，他们便试图将司南的勺状天然磁石改为磁针，这样便实现了磁体在材料和形态上的改进。司南原来是方形地盘，当其勺状磁石改为磁针时，圆形地盘便取代了方形地盘，这样更加适合磁针的指向需要。
但是磁针直接放在地盘上时是不能自由旋转的，所以如果要用磁针来代替勺状磁石，那么还是需要考虑怎样使磁针在地盘中心自由旋转，使其定向。古人们也想出了多种方法去解决这个问题。
第一种方法：悬针法。将磁针用细线于无风的地方悬在地盘上，让其自由旋转，然后定向。人们发现这种方法是可行的，但是容易受风的影响，会不停摆动，也还是不能在颠簸状态下使用。人们把磁针改造成蝌蚪形或者鱼形薄片。这种方法在晋朝和南北朝时确实用过。
第二种方法：浮针法。将司南的中心圆做得凹下去，里面盛满水，然后让小磁针浮在上面，使其定位。正如我国科技史研究学者潘吉星教授的论断，这种方法解决了磁针在地盘上的投放问题，这是对司南革命性的改进。按照这种方法制造的指南装置其实在北宋的文献中也有所记载，也就是水罗盘的原理，但是其实在唐代时已经出现这种指南装置了。