# robots.txt — www.leepsyclinic.com # # 修改自 2026-08-18 SEO 稽核。前一版有兩個嚴重問題: # # 1. 整份檔案只有一行 User-agent(Mediapartners-Google),依 robots.txt 規範, # 其後約 150 條 Allow 全部只對 AdSense 爬蟲生效。Googlebot 與 Bingbot # 匹配不到任何群組,原本設想的檢索控管從未生效。 # 2. 檔案長度剛好撞上 Blogger 約 10KB 的服務上限,被從中間切斷 # (結尾停在半行的「Allow: /search/lab」),Sitemap 宣告因此完全消失。 # # 那份標籤白名單已整段刪除,不是修補。原因:標籤頁本來就由樣板輸出 # noindex,follow(已實測確認),索引控管在 meta robots 層已經做對, # robots.txt 只是重複做一次而且做錯。 # # ⚠️ 日後編輯務必注意:這個欄位超過 10,240 位元組就會被無聲截斷。 # 改完請執行:curl -s -w '%{size_download}' https://www.leepsyclinic.com/robots.txt # 確認遠低於上限,且結尾的 Sitemap 行完整存在。 User-agent: Mediapartners-Google Disallow: User-agent: * # 標籤主題頁必須保持可檢索:它們輸出的是 noindex,follow。 # 若封鎖,爬蟲讀不到 noindex,也無法沿著 follow 繼續探索文章, # 等於同時失去索引控管與內部連結傳遞。這行必須排在 Disallow 之前。 Allow: /search/label/ # 站內搜尋結果頁(/search?q=…):無限組合、無獨立價值,不需要檢索。 # 注意:這裡寫 /search 而非 /search?,因為部分剖析器會把問號連同其後 # 內容一併丟棄,導致這條規則被誤讀成封鎖整個 /search/ 目錄。 # 上面那條較長的 Allow 依「最長匹配優先」原則保住標籤頁。 Disallow: /search Allow: / Sitemap: https://www.leepsyclinic.com/sitemap.xml Sitemap: https://www.leepsyclinic.com/sitemap-pages.xml