先是在咸丰十年（1860）十二月三日，恭亲王奕?奏请设立总理事务衙门，作为外交机构。但是，在与外国人打交道的过程中，遇到了语言和文字的障碍。

因此，奕?建议从广东、上海物色专学习英、法语言文字的人，挑选其中诚实可靠者，各派二人来京充当教习。并在八旗中挑选天资聪慧，年龄在十三四岁以下者各四五人进行学习。遗憾的是，奉旨已有一年的时间，广东、上海均未能派人来。于是，又转向外国聘请。由英国驻华公使馆参赞威妥玛举荐，聘请英籍通晓汉文的传教士包尔腾充当英文教习，并说明只学习语言文字，不准传教。

随后，又派喊人徐树琳教习汉文，并暗中监督包尔腾。初收八旗学生十名，成立英文馆，这就是京师同文馆创建的开始。

同治二年（1863）又聘请法国籍传教士司默灵和俄国驻华公使馆翻译柏林为教习，增收八旗学生二十名。

同文馆开始成立，因为是仿照原先俄文馆的旧例，只是创办一所培养翻译人员的临时学校，所以没有引起什么争议。到了同治五年，学生已经在馆学校数年，已经能粗通洋文洋话了，只是年龄太小，对汉文的文义尚不能贯穿，所以很难再让他们学习天文算学了。奕?认为，洋人制造机器、火器以及航行、编练军队等，没有一件事能离开天文、算学。现在，上海、浙江等处急需轮船制造和航海方面的人才，如果不从根本上用功夫，只学习皮毛，没有什么实际意义。

因此，奕?建议，在同文馆内添设天文算学馆，招收翰林、进士、举人、贡生及正途出身的五品以下京外各官入馆学习。本来，设天文算学馆的计划朝廷已经批准了，着手进行就是了。但是，奕?等人料到顽固派必将出来反对，所以预先在奏折中声明：此次招考天文、算学，并不是出于好奇，而是迫于西人的术数之学。同时一一驳斥了那些也已成为宣扬的保守观点，坚定了朝廷的决心。

果然，不出奕?等人所料，同文馆增设天文算学馆的消息传出后，顽固派立即作出反应。山东道监察御史张盛藻首先上折表示反对，认为科甲正途人员都是读孔孟之书，学尧舜之道，何必要他们学习制造轮船、洋枪的原理呢？

朝廷驳回了张盛藻的上奏，指出学习天文、算学，只不过是借西法来印证中法而已，并非误入歧途。

张盛藻碰了壁，顽固派的首领人物倭仁便亲自跳了出来。倭仁是文渊阁大学士，又是同治皇帝的老师，讲求宋儒之学，堪称“理学大师”。在当时的士林中具有很大的影响力。他反对的理由主要是：立国的道理，应崇尚礼仪，而不应崇尚权谋；根本之图，应在人心，而不应在技艺。并说天下如此之广，不怕没有人才，即使像天文、算学这些必须讲求的学问，也一定有精通它的人，不怕没有人才，何必向外国人学习呢？如果科甲正途人员拜外国人为师，后患将不堪设想，正气不伸，邪气弥漫，数年以后，国将不国了。

清廷将倭仁的奏折交给总理衙门议奏，奕?等人争锋相对，反驳说：开设天文算学馆，并非误入歧途，上了洋人的当；而是让今日士大夫痛心疾首，卧薪尝胆，以求自强。并针对倭仁在奏折中所称“天下如此广大，不怕没有人才”的话，提出让倭仁保举数人，择地另社一馆，由倭仁负责，以观成效。并说倭仁公忠体国，必定实心保举，不会误国误民。

这一下，不仅击中了倭仁的痛处，还将了他一军。清廷根据奕?所奏，当即下旨要倭仁保举数人，另行择地设馆。倭仁连忙声明，自己前奏不必讨论，不用另外设馆。但平时会留心观察，一旦发现人才，马上保奏，设馆教习，以收实效。

倭仁阻止设立天文算学馆受挫，情绪非常激动，在与奕?当面争论的时候，几乎到了拍案而起的地步。为同治皇帝授书时，由于激动，鼻涕都流出来了。

随后，倭仁病倒，面色憔悴、茶饭不思，同僚前来看望，相对无言，只是叹息。

然而，倭仁虽然失败了，却赢得了一批守旧官员的同情。因此，在顽固守旧的士大夫中形成了一股反对学习西方的逆流。当时京城人言沸沸，谣言颇多，并常用俚语笑骂：“胡闹、胡闹，教人都从了天主教！”“孔门弟子，鬼谷先生！”等等。甚至有人作对联云：“诡计本多端，使小朝廷设同文之馆；军机无远略，诱佳子弟拜异类为师。”

在这种气候下，一些顽固守旧官员纷纷出动，寻找各种借口，反对开设天文算学馆。通政使的官员于凌辰上奏折说：天文算学馆招考正途人员，几个月来，议论纷纷，一天比一天厉害。而报考中，有的省份机会没有人报考，有的省份仅有一二人报考，即使有愿意考的，也为同乡所不齿。

有一个叫杨廷熙的小人物，是候选的直隶州知州，直接跑到督察员处呈递条陈，请为代奏。杨廷熙编造说：今年从春季到雨季，久旱不雨，河流枯竭，京城中疾病流行，这不同于以往的灾害呀。说到这里，他语气一转，将灾象之生归咎于同文馆的设立，指出现在京城中人们街谈巷议的，都是关于开设同文馆的。以此为基础，杨廷熙进一步大谈“十不可解”。