“党必须非法地工作。”一开始，马林便指出了这一点。
中国共产党是以推翻当时中国的社会制度从而建立社会主义制度为行动宗旨的，当然不合当时中国的“法”。正因为这样，中国共产党“一大”在极端秘密的状态下举行。任何不慎，都将招来全军覆灭的危险后果。
不得不谨慎行事。最初商定，“打一枪换一个地方”，每日更改开会的场所，以免被密探盯住。
不过，除了李公馆之外，已找不出别的恰当的开会场所——不论老渔阳里二号，还是新渔阳里六号，一个是《新青年》编辑部所在地，一个是外国语学社所在地，都是半公开的红色场所。
无奈，只得继续在李公馆开会。不过，马林和尼柯尔斯基不再出席会议，因为两个外国人进出李公馆，毕竟太惹人注意了。
秘密举行的中国共产党“一大”，在7月22日的预备会、23日晚的开幕式之后，经邵维正考证，大约按以下日程继续进行，开会的地点均为李公馆：
日期 会议次数 主要内容
24日 第二次 各地代表报告工作情况
25日 休会 起草党的纲领和工作计划
26日 休会 起草党党纲领和工作计划
27日 第三次 讨论党纲和今后实际工作
28日 第四次 讨论党纲和今后实际工作
29日 第五次 讨论党纲和今后实际工作
每日会毕，由张国焘向马林、尼柯尔斯基汇报会议情况，听取他们的意见。
会议的气氛，起初是平静的。在第二次会议上，各地的代表汇报着各地的情况，如同一根根平行线似的，没有交叉。毛泽东也作了一次发言，介绍长沙共产主义小组的情况。这是毛泽东在中国共产党“一大”唯一的一次发言。他言语不多，却很留心听着别人的发言。
第二次会议上推选了几个人负责起草中国共产党的纲领和决议。张国焘是会议的主席，当然被选人起草小组。李汉俊懂四国外语，博览马克思著作，刘仁静有着“小马克思”的雅号，也被选入起草小组。据董必武回忆，他也参加了起草工作。他还提及，好像李达也是起草者之一。
在起草纲领和决议的过程中，平行线交叉了，争论开始了。
最激烈的争论，常常是在两位饱读马克思著作的人物——李汉俊和刘仁静之间进行。
争论的焦点在于，中国共产党应当有什么样的党纲。
在李汉俊看来，世界上的革命，既有俄国的十月革命，也有德国社会党的革命。他以为，中国共产党要走什么样的路，最好派人到俄国和欧洲考察，再成立一个研究机构，经过一番研究之后，才能决定。他以为目前中国共产党最实际的做法是支待孙中山先生的革命运动，待这一革命成功之后，中国共产党可以加入议会开展竞选。
刘仁静反对李汉俊的见解，他以为欧洲的议会道路在中国行不通，中国共产党也不应成为一个马克思主义的研究团体。他拿出《共产党宣言》，说中国共产党应该按照马克思、恩格斯所说的那样去做，即以武装暴动夺取政权，建立无产阶级专政，实现共产主义。
虽有陈公博部分地同意李汉俊的意见，但刘仁静的看法受到多数代表的支持。李汉俊有个长处，当他的意见被大多数人否定之后，他并不坚持。
关于中国共产党的组织原则，早在1921年2月，李汉俊便曾与陈独秀发生争执：陈独秀主张中央集权制，李汉俊主张地方分权制。
在这次会上，李汉俊又一次提出，中国共产党中央只是个联络机关。他又一次处于少数地位，被大多数代表所否决。
很自然的，由此便产生了共产国际与中国共产党之间关系的讨论。马林在开幕式上已经把共产国际的意见说得清清楚楚。尼柯尔斯基也从伊尔库茨克的共产国际远东书记处得到明确的指令，中国共产党的会议“必须有他参加”“注释◆◆◆2”。
在这个问题上，代表们倒是赞同李汉俊的意见，即中国共产党可以接受共产国际的理论指导，并采取一致行动，但不必在组织上明确中国共产党是共产国际的一个支部。代表们主张在党纲中写上“联合共产国际”。这“联合”一词，实际上没有接受马林所说的“上、下级关系”。后来，直至一年之后，在中国共产党“二大”上，才通过了《中国共产党加入共产国际决议案》，才明确写上：“中国共产党为国际共产党之中国支部。”
一个意想不到的问题，竟然引起空前激烈的大辩论，那便是在讨论党员条件时，党员能否在现政府中做“官”？陈公博主张可以，因为他正在广东担任“宣传员养成所”所长，而陈独秀正担任广东省教育委员会委员长这样不小的“官”。李汉俊也同意他的意见。不过大多数代表以为，中国共产党是无产阶级政党，党员不应在资产阶级政府里当官。两种意见争执不休。最后，“这个问题有意识地回避了，但是，我们一致认为不应作部长、省长，一般的不应当任重要行政职务。在中国，‘官’这个词普遍应用在所有这些职务上。但是，我们允许我们的同志作类似厂长这样的官”。“注释◆◆◆3”
经过一番又一番争论，党纲和决议的草稿纸上。画满了蜘蛛网般的修改记号，总算接近定稿了。
屋顶花园。张国焘向马林和尼柯尔斯基讲述着讨论的意见，讲述着党纲和决议的初稿。马林听着、听着，当他听到那句“联合共产国际”，顿时双眉紧锁。作为共产国际的执行委员，他以为应当不折不扣地贯彻共产国际的决议。
马林要求出席大会，他要亲自向代表们说明共产国际“二大”所通过的决议……
