本站需要懂技術的朋友幫忙

[edenCC]

从配置上看是web服务器配置有可优化的地方。
这台主机性能应该不错，要不早挂掉了。
showthread.php 这个脚本不应该占用24MB的常住内存，不知最近是否有修改vbb的配置？比如增加插件，或者修改过服务配置等

判断是否是爬虫的问题前，可先分析服务器日志，看看爬虫访问量是否有异常。主要的爬虫比如google可通过对方提供的webmasters接口限制速度。

[edenCC]

robots.txt 里也有个抓取速度的设置，Googlebot会忽略这个设置，其他的spider不清楚。

[weiye]

何不用 .htaccess 檔掉一些不要的 sipder，

像是這裡：http://sofree.cc/htaccess-bot/

[哈啦]

謝謝各位，這些東西對我這個外行來說實在很頭大。

[MiniFoot]

增加搜尋每筆之間的時間不知道有沒有幫助?

有些網站執行 "搜尋" 後, 下一次再執行 "搜尋" 的時間是20秒後或1分鐘後.

[edenCC]

作者: 哈啦

謝謝各位，這些東西對我這個外行來說實在很頭大。

哈大，请Check 刚发的PM。如果方便，小弟可协助检查。

[哈啦]

我剛去vbulletin後台把論壇設定中的「立即更新主題查看次數」改為NO，原來之前都設成YES，不知是否可省下一些資源？

[hginli]

可以把一些沒必要的功能關掉 或拿掉!

像是最下面那個上傳圖片的!!:P

我想大多數人 應該都有自己習慣用的image host

[dmwc]

如果被搜尋引擎的 bot 灌爆，首先先找出來是那些網頁，可能是ㄧ些對搜尋沒用的網頁，但又特別吃資源，例如以我用的 CMS ，在 Tags 頁會相當吃資源，就被 yahoo 和 百度 攻陷

yahoo 或 google ，可以改 robot.txt ，要他們把無用的網頁不要探索，但如百度他們是不管 robot.txt 的，就直接用 .htaccess 擋掉 ( Windows 主機請改用封 ip 或裝 URLrewrite 的相關軟體 )

建議哈大，竟然已經知道超大流量的時間，先去開 apache log 找那段時間的存取紀錄，應該很簡單就可以找到答案

[a40136]

作者: dmwc

如果被搜尋引擎的 bot 灌爆，首先先找出來是那些網頁，可能是ㄧ些對搜尋沒用的網頁，但又特別吃資源，例如以我用的 CMS ，在 Tags 頁會相當吃資源，就被 yahoo 和 百度 攻陷

yahoo 或 google ，可以改 robot.txt ，要他們把無用的網頁不要探索，但如百度他們是不管 robot.txt 的，就直接用 .htaccess 擋掉 ( Windows 主機請改用封 ip 或裝 URLrewrite 的相關軟體 )

建議哈大，竟然已經知道超大流量的時間，先去開 apache log 找那段時間的存取紀錄，應該很簡單就可以找到答案

百度很難擋，我覺得他們家的蜘蛛甚至比谷哥還多。