[TIL] PTT 加上 CloudFlare 來擋爬蟲 Web Crawler ？

May 24th, 2022

爬蟲出問題

原本有弄一個 PTT 爬蟲來爬一些資料，最近發現好像沒有資料可以看到。一下去查就發現，好像有個 CloudFlare 擋在前面。

錯誤訊息

2022-05-25T08:45:46.856731+00:00 app[web.1]: <div class="attribution">
2022-05-25T08:45:46.856731+00:00 app[web.1]: DDoS protection by <a rel="noopener noreferrer" href="https://www.cloudflare.com/5xx-error-landing/" target="_blank">Cloudflare</a>
2022-05-25T08:45:46.856731+00:00 app[web.1]: <br />
2022-05-25T08:45:46.856731+00:00 app[web.1]: <span class="ray_id">Ray ID: <code>710cff2fcebb1962</code></span>

只好先放著，有空再來查查看怎麼辦。有找到一些文章先放著。