搜索引擎需要對抓取到的結果進行管理。當索引結果越來越多時，保證存儲和查詢速度，保證數萬臺服務器內容一致的難度越來越高。Google于03至06年左右公布了三篇論文，描述了GFS、BigTable、MapReduce三種技術以解決這些問題。由于Google并沒有公布算法細節，因此由雅虎牽頭，在06年左右建立了開源項目Hadoop，seo推廣軟件,seo快速排名軟件,網站seo優化軟件,目的是根據Google的三篇論文，實現一個大規模的管理計算系統。但直到08年，Hadoop同Google公布的一些關鍵指標仍有幾倍的差距。百度曾經由王選院士的一個博士帶領，想基于Google論文獨立實現(金字塔計劃)一個自己的系統，但開發難度過大項目夭折，最終也轉向了Hadoop。如今，Amazon、Facebook、Yahoo包括百度都在大規模應用Hadoop，而Google已經從2010年開始遷移到新的三駕馬車Caffeine、Pregel、Dremel上了。單就搜索技術而言，Google不是領先百度，而是領先全世界。