他認為中國的根本問題是農民問題，研究中國農業狀況對了解整個中國具有極其重要的意義。佐爾格真是慧眼識珠，報社經理對他的見解大加贊賞，並表示積極支持，他還通過一位朋友為佐爾格搞到一張由德國外交部宣傳處寫給上海德國總領事館總領事的介紹信。
1929年11月，佐爾格離開柏林，途經巴黎去馬賽，在那里登上一艘日本輪船，經由蘇伊士、科倫坡和香港，于1930年元月到達上海。與他一起到達的還有他的一位隨身報務員，稍後不久，四局派來協助工作的無線電技術專家馬克斯?克勞森相繼到達。
30年代的上海分為三個部分︰一為上海城區，一為美、英、法、日等國共同管轄的公共租界，一為單獨劃分出來的法租界。
它既是中國工業的中心，長江流域的主要港口，又是各種勢力範圍犬牙交錯、相互重疊之地。
大批洋貨通過這個港口源源而來，中外投資都集中在這里。
作為中國城市革命的中心，中國**地下中央委員會的總部也設在這里。20年代由于西方爆發革命的希望破滅，上海便成為紅極一時的磁場，吸引著無數向往亞洲革命勝利的歐美進步人士。
因此，新聞記者、自由作家、進出口商、軍火商、冒險家、職業特務、僑民、工人、難民和陰謀家；芸芸眾生、污合之眾一時雲集上海。
佐爾格沒想到他所向往的地方竟是這個樣子，雖出乎意外，但他還是喜歡這塊土地。
佐爾格到達上海的最初幾個月里，雖然表面上顯得不露聲色，但在暗地里卻立即以上海為基地，著手建立情報組織網。他先持外交部的介紹信拜訪德國駐上海總領事，通過領事館又結識了德國農業報的編輯以及許多上海的德國商人和德國外交官。
佐爾格一面廣交朋友，尋找情報的來源，一面潛心研究中國的事務。隨著了解的不斷加深，他深深地愛上了這片土地。
佐爾格以采訪、旅行等名目先後到廣州、漢口、南京等地收集中國的情報，了解中國從城市到鄉村，從經濟發達地區到邊遠落後地區的基本情況。
一次偶然的機會，佐爾格結識了《法蘭克福日報》駐遠東記者、著名美國左翼人士艾格妮絲?史沫萊特女士。通過她，佐爾格物色到不少中國「助手」，也正是通過她，佐爾格結識了日本《朝日新聞》駐華記者、精通中國事務的日本專家尾川秀實。
尾川曾是東京帝國大學馬克思主義學習小組的成員，對中國**持同情態度。他與佐爾格對世界大事的看法比較一致，以後，他成為佐爾格的主要搭檔和最合適的合作者。
1932年元月18日，日本海軍在上海向中國十九路軍開火。佐爾格慷慨激昂，帶著幾分戰士眷戀戰壕的心情，親自給部隊分發手榴彈，同時他還采訪了上海各戰區的戰斗，親自感受了中**隊的力量，並從中國方面的德國教官那里進一步得到有關中國和日本的戰術情報。
上海事變後，日本奪取滿洲後打算征服中國的意圖暴露無遺，英、美政府對蔣介石政府的態度急劇變化。佐爾格的任務變得更重了。他得設法了解日本的真正意圖，詳細研究日本的作戰方式，了解中國政治、軍事狀況，提供有效的情報以有助于共產國際制定對華政策。
佐爾格除了靠中國和日本的情報人員外，還利用歐洲人給他提供情報。這主要是德國商人、領事館官員、南京的軍事顧問小組和歐洲記者。他作為一位記者，常周旋于總領事館的社交圈子和記者聯誼會之中。
他從南京的德**事顧問那里了解到南京部隊的駐地、武器裝備、突擊師的編制、指揮官與蔣介石的關系等。依靠德國教官，加上中國「助手」的一臂之力，他搜集到了有關軍事工業的情報，還得到了南京軍火倉庫的藍圖。
他所收集情報大部分通過哈爾濱取道海參崴，或經廣州取道香港再轉送莫斯科。
1932年下半年，佐爾格被召回蘇聯，提前結束了他的中國之行。別津科夫有更重要的任務要他去干。按佐爾格的說法︰「我喜歡中國，如果不是為了崇高的事業，我將在中國一直呆下去，我已深深地迷戀上這個國家了。」
不管怎麼說，中國的3年之行對佐爾格本人來說是個經受鍛煉的大好時機。離開上海時，佐爾格已是一位精通中國事務的專家，地地道道的中國通了。
經歷了公開的以記者身份在上海這樣特殊的環境和中國內地進行諜報活動的風險，佐爾格的諜報經驗更豐富了，他的勇氣經受住了考驗。然而最有顯著意義的是他有了尾川秀實和馬克斯?克勞森這兩個得力搭擋，這倆人成為他日後在日本完成他的諜報佳作的得力助手。
佐爾格一回到莫斯科，便去四局總部拜見別津科夫。別津科夫對他的到來表示熱烈的歡迎，對他在中國的工作大加贊揚，認為十分令人滿意，在四局內部的影響很大。問他對未來有何設想時，佐爾格倒不急于表態，說等他那本有關中國農業的書寫成後再說。
別津科夫邀請佐爾格當晚到家里做客。在那里，佐爾格受到了熱情的款待。
第二天，別津科夫到他下榻的莫斯科飯店來找他，說他那本書可能寫不完了，總部有重要任務安排給他，要派他出國。別津科夫試探性地問他有什麼選擇。佐爾格說他挑選亞洲，特別華北或滿洲。接著他又半開玩笑地說，他在日本也許也能干點事情。
就這樣，經過與別津科夫的見面後，他在日本的任務就被明確地確定下來。
(