汤若望究竟是因为什么失去了顺治的宠幸，并且差点被凌迟处死呢？
在耶稣会士鲁日满的记录中，我们能够找点一点蛛丝马迹。
在耶稣会士鲁日满的记录中，历狱案被称作“仇教”，仇教的主角是不信神的官员、异教徒、巫师、骗子，还有“妖魔的祭祀”和尚。而这群人的头目则是一个“邪恶的老家伙”。这个“邪恶的老家伙”名叫杨光先，字长公，江南徽州府歙县人。
杨光先性格暴烈，直爽敢言，具有抗争性。按杨光先自述，他顺治十三年(1656年)来京，十五年见到钉着钉子的耶稣画像，始知天主教便是耶稣教，从此即有了弹劾之念。
经过一段时间的准备，杨光先撰写了数篇文章先后上表朝廷，矛头直指天主教及西洋历法，但是这些弹劾并没有得到朝廷的回应。杨光先毫不气馁，伺机而动，终于在康熙初年抓住了一次机会。
康熙二年(1663年)冬，汤若望下属、钦天监奉教士人李祖白做《天学传概》。《天学传概》全文2500余字，大致介绍天主教之起源、天主教如何传入中国以及传教士来华后所做的功绩。
李祖白在文中提到，中华民族的人文始祖伏羲本是犹太人，自西向东来到中国，并且带来了天主教。国人应当“生长子孙，家传户习，此时此学之在中国，必倍昌明于今之世”。
杨光先看到这篇文章后，对李祖白有辱先圣的说法大为不满，于康熙三年(1664年)7月底做《请诛邪教状》投书礼部，以“为职官谋叛本国”和“造传妖书惑众”两个罪名控告汤若望等耶稣会士以及李祖白等奉教士人，掀起“历狱”风暴。
礼吏二部三审定谳
朝廷的反应非常迅速，康熙三年8月初，朝廷密旨审理历狱一案。因为汤若望、南怀仁、利类思、安文思、李祖白等人供职于钦天监，钦天监属礼部管辖。且5人都有官职，尤其汤若望，官至一品，亦属吏部管辖，所以朝廷下令由礼、吏二部会同审理。
在审讯过程中，汤若望因患病口舌结塞，不能清晰发言，只好用拉丁文和德文与南怀仁交谈，再由南怀仁当堂翻译成中文以备讯问。
杨光先控告的第一项罪名是“谋叛”。讯问大多集中在与教会、教堂和传教士相关的问题上。官员们认为不论省城要地还是乡邑僻壤，都能看到传教士的足迹，对“翼期天下人皆入尔之异教”大惑不解，认为这无论如何难逃“起异心者”、“朋比协某”的怀疑。在审理过程中，官员提出大量问题，而被问及最多的就是传教士来华的目的何在。
在第一项罪名审理结束之后，进入第二项罪名的审理造妖书惑众。其审理核心在于，基督教究竟是不是不正当的宗教。承审官员认为念经、修建教堂、施以洗礼、以赦免罪孽为名哄骗男女入教都是邪教所为，并非正当宗教。
传教士们根据《教要》详细解释，指出天主教只是“尽行教诲教徒虔诚改过行善，以释己罪”。承审官员最不可理解的是，凡入教之人均不得为祖先烧纸这一条教规，认为“仅就不准教徒为祖先烧纸一事而言，确为邪教无疑”。
综合之前审讯的结果，11月11日，礼、吏二部总结了汤若望包括“欺人惑众”、“状如邪教”在内的14条可疑之处及罪状，决定将汤若望等人革职并交刑部议处。
康熙三年11月20日，汤若望、李祖白等被押入刑部监狱。这时，5人都被革职，不再享有官职身份，被戴上枷锁等候宣判。
康熙三年12月间，刑部针对谋叛和邪教的指控提出如下处理意见：汤若望为首犯，拟以立绞；李祖白等人为行邪教之从犯，拟杖四十，流放宁古塔。
事情并没有到此为止，杨光先又提出来针对汤若望等人的第三项指控荣亲王葬期一事。此案涉及皇家子嗣，事关重大，其他罪名的审理都被这一指控所掩盖。荣亲王是顺治帝第四子，母亲董鄂妃。四皇子生下数月即夭折，未及起名，后追封为荣亲王。
杨光先指责汤若望等人在选择荣亲王葬期时，使用洪范五行，与风水多有冲撞，十分不吉。杨光先还引用了一位“谙熟地理”之士的说法：李祖白等人在选择葬期时使用的是《蛮灭经》，这部书本是中国人编写，期望传至外藩，外藩人使用后可断根绝后。