不久，张衡到都城洛阳，进入朝廷办的太学堂读书。他把全部精力都放在钻研典籍和与一些志同道合的朋友讨论问题上。张衡的家庭很贫困，平时的吃穿用都十分节俭。冬夜里，他只盖一条破被子，蜷曲着身子在灯下读书。因为没有鞋穿，他的脚时常冻得红肿，乃至化脓溃烂，但他都咬着牙坚持。
张衡经常观察日月星辰，探索它们在天空里运行的规律。他把研究的结果写在一本书上，叫做《灵宪》。在这本书里，他已经用了赤道、黄道、南极、北极等名词。他记录了二千五百颗恒星，并且画出了我国第一张完备的星图。他已经知道，月亮本身是不发光的，是受了太阳的照射才反射出光来；月亮的黑暗部分，就是没有照射到太阳光的部分。所以月亮的位置和太阳相对的时候，是满月；月亮运行到跟太阳同一个方向的时候，人们就看不见它了。他还根据太阳在天空里运行的规律，解释了冬天日短夜长、夏天日长夜短的道理。他说天好像鸡蛋壳，包在地的外面；地像鸡蛋黄，在天的中间。这种假设叫做浑天说。在张衡以前，多数人都相信“盖天说”，认为地是平的，天像一只碗，反扣在地上。张衡的浑天说虽然不符合实际情形，但是比盖天说大大前进了一步，并且对计算历法有实用的意义。