格格党

手机浏览器扫描二维码访问

第72章 模擬器更新51k大章（第3页）

他盯著陈哲看了两秒，然后问了一个更细的问题：“如果让你设计一个多线程的爬虫系统，抓取一万个网页，你会怎么处理线程池的大小？”

陈哲想了想，开口：“先看瓶颈在哪。

如果是i0阻塞，线程池大小可以设大一点，一般设100到200。

但也要看目標网站的承受能力，不能把人家的伺服器打崩了。

所以要用信號量限流，或者用队列控制並发数。”

“如果伺服器返回429呢？”

“加退避。

指数退避，第一次等1秒，第二次等2秒，第三次等4秒。

如果连续失败超过三次，就把这个url丟回队列，等后面再重试。”

本又问：“那如果队列满了呢？”

“满了就阻塞生產者。

或者用有界队列，满了之后生產者等待，等消费者空出位置。”

本的眉头没有鬆开。

他又写了一行字：“你怎么保证每个线程拿到的url不会重复？”

陈哲的手指在膝盖上轻轻敲了一下。

这个问题比他预想的深一不是问怎么去重，是问分布式的去重。

“用布隆过滤器。”

他说，“每个线程拿url之前先过一遍布隆过滤器，已经爬过的就跳过。

布隆过滤器可以用redis的bitmap实现，多个线程共享。

误差率可以通过哈希函数个数和位数组大小控制，一般能接受千分之一的误判，少爬几个页面问题不大。”

本点了点头。

但他没停。

“如果布隆过滤器误判漏了一个重要页面呢？”

陈哲这次真的停住了。

他沉默了两秒，然后开口，声音很平。

“用確定性去重做备份。

布隆过滤器只是第一层过滤，漏掉的页面可以靠第二层校验，比如把url的哈希存在redis的set里，精確去重。

但set的內存占用太大，所以可以用布隆过滤器做预筛选，set做兜底。”

本盯著他，又问：“那如果set也扛不住呢？”

陈哲的手指停住了。

他看著本的眼睛，沉默了三秒。

然后他嘆了口气，声音里带著一点无奈，又好像只是很坦诚。

“这个我不知道了。”

他顿了顿，又说了一遍，语气更轻，像是自言自语。

“学艺不精。

没做过这么大的量，没碰到过这种级別的瓶颈。”

本的目光在他脸上停了两秒，像是想確认什么。

桌上安静了片刻。

提米在旁边嘖了一声，替陈哲解围：“本，你这题出得也太偏了。

分布式爬虫的去重方案，那是架构师才需要考虑的问题。