前言

近期的開發圈，圍繞著「Vibe Coding」的討論不絕於耳，其中 Claude Code 的出現更是將這個概念推向了高峰。這是一種全新的開發典範，開發者透過對話與描述「感覺」來讓 AI 生成程式碼。在這波浪潮中，Google 也推出了自家的殺手級應用：Gemini CLI。

本篇文章將分享我如何透過 Gemini CLI，從零開始打造一個個人化的健身日誌 Web App。你會發現，導入這種與 AI 協作的終端機工具後，開發流程不僅僅是加速，更是從根本上改變了我們與程式碼互動的方式。

本次的程式碼與成果

本次實作的專案是一個簡單的訓練日誌，最終成果如上圖所示。

專案 Repo:

• Gym Daily with Gemini: https://github.com/kkdai/gym-daily-gemini

快速複習 Vibe Coding

在深入 Gemini CLI 之前，我們先快速摘要一下「Vibe Coding」這個概念。傳統開發模式中，我們需要逐行撰寫精確的指令來建構應用程式。然而，Vibe Coding 讓我們能用更自然、更貼近人類思維的方式與 AI 協作。

開發者不再需要專注於每一行語法的細節，而是可以描述更高層次的目標，例如：

我需要一個深色主題、看起來專業的儀表板

或是

幫我建立一個 API 端點來記錄數據

AI 會理解這些意圖，並將其轉換為具體的程式碼與架構。Gemini CLI 正是實現這種開發模式的強大工具。

導入 Gemini CLI 實戰

Gemini CLI: https://github.com/google-gemini/gemini-cli

Google 官方文章: https://blog.google/technology/developers/introducing-gemini-cli-open-source-ai-agent/

接下來，我們將拆解如何利用 Gemini CLI 來完成這個健身日誌專案。

第一部分：從 UI 概念到前端程式碼

一個專案的起點，往往是介面設計。在這個階段，我並沒有自己動手畫圖或寫 CSS，而是採用了以下的流程：

1. 利用 AI Studio 產生 UI Layout：我先到 AI Studio，向它描述我想要的介面風格——簡潔、專注於資訊呈現、易於操作。AI 很快地提供了幾個視覺佈局供我參考。
2. 生成 Tailwind CSS：在確定了喜歡的風格後，我請 AI Studio 將這個設計轉換成 Tailwind CSS 的格式。這是一個現代化的 CSS 框架，能讓我快速建構出美觀且響應式的介面，而我甚至不需要深入了解其語法細節。

可以看得出來，在專案初期，Gemini 生態系內的工具已經能幫助我們快速將模糊的想法具體化為可用的前端程式碼。

第二部分：了解 Gemini CLI 的運作大腦

有了前端的基礎後，接下來就是 Gemini CLI 大展身手的時刻。它不僅僅是一個程式碼生成器，更像是一個常駐在你終端機裡的資深開發夥伴。

它的強大之處在於：

• 專案上下文理解：你只需要在專案目錄下啟動它，它就能夠掃描並理解整個專案的檔案結構與既有程式碼。
• 整合開發工具鏈：它可以直接幫你執行 git 指令來進行版本控制，甚至能透過 gcloud 指令，將你的應用程式一鍵部署到 Cloud Run。
• 建立自動化工作流：你可以和它建立「默契」。例如，我曾對它下達指令：

以後改完程式碼，都幫我 push 到 GitHub，然後直接跑一次本地端伺服器給我驗證。

從此，這個開發、測試、提交的循環就變得完全自動化且極其順暢。

Gemini CLI 的核心是將 Gemini 1.5 Pro 強大的模型能力與開發者熟悉的 CLI 環境深度整合，讓它能理解你的指令，並調用對應的工具來完成任務。

第三部分：根據實戰結果，來分析一下差異

導入 Gemini CLI 後，與傳統開發流程相比，最顯著的差異有兩點：

1. 開發流程的無縫整合與自動化 以往，寫碼、測試、版本控制、部署是幾個獨立的步驟，需要手動切換工具與執行指令。但在 Gemini CLI 的輔助下，這些流程可以被串連成一個單一的對話指令。就像前面提到的，一個「改完就推送到 GitHub 並本地運行」的指令，就取代了過去繁瑣的手動操作，大幅提升了開發效率。

2. 從抽象指令到具體成果的轉譯能力 傳統開發需要我們將需求拆解成非常具體的技術任務。但使用 Gemini CLI，我可以下達更為抽象的指令，例如「幫我把這個列表功能做出來」，它會自己分析現有程式碼，生成對應的邏輯並整合進去。它彌補了從「想法」到「程式碼」之間的巨大鴻溝。

超佛心的免費方案！

看到這裡，你可能會好奇這樣強大的服務是否所費不貲。Google 這次提供了極具誠意的免費方案！

只需使用個人 Google 帳戶登入，即可獲得免費的 Gemini Code Assist 授權。此授權包含：

• 存取強大的 Gemini 1.5 Pro 模型
• 高達 100 萬個 token 的龐大上下文視窗
• 每分鐘 60 次模型請求
• 每日 1,000 次免費請求

這個額度對於個人專案、學習或 POC 驗證來說，綽綽有餘，堪稱佛心！😍

未來的展望

本篇文章主要介紹了如何利用 Gemini CLI 這一新興工具，將 Vibe Coding 的概念應用於實戰，並成功打造出一個 Web App。可以預見，這類與 AI 深度整合的開發工具將會越來越普及。開發者的角色也將從「程式碼的撰寫者」逐漸轉變為「AI 協作的指揮者」。

接下來，我們或許可以探索更多 Gemini CLI 與 Google Cloud 生態系整合的複雜應用。期待這個工具能為開發者社群帶來更多的可能性，我們下次見。

前提

好像是在 Threads 看到有人貼出的貼文，這明明是一個 25 分鐘的短篇演講。 但是我卻花了兩三個小時仔細的看他，並且不斷勾起我以前的回憶。 這是一篇 LeadDev 研討會的演講，主要內容探討到軟體開發人員最害怕的「技術債」（Technology Debt)。

Netflix的Bruce Wang分享技術負債管理經驗：技術負債是創新的自然產物，需建立共通語言與明確定義，公開討論並主動處理。技術負債管理得當可促進業務創新，推動公司成長。

相關內容分享

以下內容大多是針對某幾張投影片，做一些註解並且寫上自己的想法。

以下哪些不是 Tech Debt?

• 商業決策（老闆不做的) - 沒有資源
• 不同 model 間缺乏溝通
• Bug. (很常～～懶得解就說是技術債)
• Bad Code (寫的爛～也不會是技術債) - 效能問題 (效能問題絕對不是技術債)
• 你對這些程式碼不熟…. (好像超多人講這個，好像重寫就沒有技術債一樣 XD)

如何定義與描述「技術債」的準則:

定義上：

• 最重要需要去研究你所謂的「技術債」究竟是什麼？ 不能只是說一句，這是某個舊的框架，所以是個技術債。
• 要「明確」，「可視化」並且「主動」去將技術債都找出並且明確的定義出來。

對於「技術債」的處理方式：

精確的找到它，給它取個名字。

• 某個 Tunnel 資訊流通上的限制 -> Tunnel X Project 不可以遇到事情，就說這是「技術債」。
• 需要清楚的講出來是哪個技術債，不要把技術債當作是不想修復與不想處理上的籠統(suitcase)名詞。

「Maintain/Improve 還是 Migrate?」

軟體開發流程上，許多軟體開發工程師往往接手舊的系統，到了要維護（或是優化）的狀況下，比較沒有經驗的人經常會選擇直接 migrate 到新的系統。 這往往是最有風險的事情，有太多危險可能發生：

• 主管變動（忽然不想改）
• 人員變動（又換了一組人）
• 外在環境變動（生意忽然沒了？ Covid 造成生意大好？）
• 技術變動（AI 忽然跑出來)
• 最大的風險是： 你根本不知道 Migrate 過去。

你所謂的技術債就會消失。 或許根本不會…. 你只會有一堆商業邏輯忘記搬過來。

破解技術債的迷思

• Legacy 不是 技術債，只是你沒花時間去搞懂他。
• 技術債不需要全部清完，而是在必要時候去清除最重要的。
• 技術債因為牽扯重要商業邏輯與更底層的技術，讓專業（資深）的來。
• 技術債發生在任何產品中，新創產品其實更多。
• 導入新的程式語言，新的框架，只會引來更多技術債。
• 面對技術債，每一間公司都是有辦法來面對的。

處理好技術債，面對更多商業挑戰

如果我們可以更有智慧，有積極的面對這些技術債，而不是天天將技術債作為不想維護的藉口。這樣我們才是認真面對這個商業服務，也才能更有信心的對接下來的商業需求說 “YES” 。

後話

雖然是一個 25 分鐘的演講，但是我卻花了兩三個小時慢慢地欣賞跟品味每一段文字。 許多內容也呼應了身為軟體開發的心路歷程與以前的血淚（？）。 蠻推薦大家要好好思考這些相關的內容。

前提：

本來一直有想要去學習 n8n ，但是還沒想到要拿來做什麼。近期去參加了 gai 年會之後，看到不少有趣的應用。決定回來先架起來試試看，本篇快速整理與分享一下近期看到幾個很有用的資訊。

還有我自己拿來做了什麼，希望對大家有幫助。

為什麼需要架設 n8n?

先分享一下，就我自己的為什麼需要架設自己的 n8n ？ 還有他能幫助我什麼部分？

老實說，要架設「自動化服務」，很重要就是在於「自身的需求性」。我原本就有花錢買一些自動化服務 (ifttt) 加上透過自己的 LINE Bot 來打造自己的知識流的架構。

大概是一個這樣的架構，其中 LINE Bot 工作還蠻 Heavy 的，需要爬下整個網頁內容，並且還要做 AI 摘要。

所以本來 IFTTT 經常會自動停掉。本來就有打算要移到 GCP，但是一個個寫成 CloudRun 又太費事，於是一直放著等待更好的解決方案的出現。 最近看到了 n8n ，決定來弄一下。 以下記錄一下我架設伺服器（免費），還有一些設定上需要注意的地方。

架設免費 n8n 伺服器 (HuggingFace + Supabase + Upstash)

這一篇可以看一下，對我幫助很大。總之先看看用量會不會不夠，再決定要不要放上 Google Cloud 。

比較需要注意的地方：

• 大概就是 Supabase 的網址有多一個空白 ，這個真的很雷啊。雖然影片作者有講，但是還是被雷到。 XD

比較需要注意的整合部分：

這邊列出幾個我覺得在 n8n Node 串接上需要注意的：

記得將 Space 打開 Private ，不然不能串接 LINE 跟 TG (等等 POST Services)

安裝好的時候，一開始覺得 WebHook “GET” 沒問題就完事。結果發現 LINE Bot 一直串接不起來，才發現跟 Space 是隱藏的還是公開的有很大的關係。

記得去 Space -> Setting 將它打開。 (這樣就可以接 TG 跟 LINE Bot)

Google Sheet/Doc/Drive 串接

• 可以參考同一位作者分享的這段影片，原來影片三個小時，但是可以跳到這個部分看就好。
• 快速紀錄流程：
  • 進入 “Google Auth Platform”
  • 進入 “用戶端”
  • 增加一個 OAuth 的 “用戶端”
• 需要注意的地方：
  • OAuth2 要串接，因為是測試帳號可能會小心失效。
  • 串接之前，務必要啟動 “Google Drive API”, “Googl Sheet API”, “Gmail API” 這幾個就平常架設 GCP 用戶比較少打開的。

JSON 檔案的處理

這部分算是 n8n 一個很重要的地方，很多時候你會需要使用 Edit Field(Set) Node 來處理。 沒有概念的，可以看這個部分影片。

一些好用的 n8n 相關樣板：

• N8n LINE Bot Webhook node
• n8n 好用的 workflow 整理 (shared by cympotek)

取代掉原本 IFTTT 上面的一些服務

架設完畢也設定完相關的服務之後，就可以開始來取代掉 IFTTT 上面的服務。由於 IFTTT 本來就是比較簡單的 SaaS 服務，所以很快速的將相關的流程轉移到了 n8n 的服務上。

換過去之後，可以帶來的更多好處有：

• 可以一步一步測試，避免因為某些 RSS 資料有問題，造成整個資訊流失敗。（IFTTT 就無法測試）
• 可以增加更多資訊流的串接，我這裡串接了將每一次新的資料都寫在 Google Sheet ，可以之後做一些相關處理。

總結

自動化可以幫助生活上解決很多重複性的工作，是每一個資訊工作者都需要的服務。而 n8n 我認為可以解決許多人生活上的大小困難事物。本篇文章提供一個比較簡單的架設方式，還有自身的問題解決思路。希望能給大家一些幫助，也希望每一個讀者可以儘早解決自己資訊流需要幫助的地方。

前言

之前的文章曾經有分享過如何透過 Google ADK (Agent SDK) 來將你的 LINE 官方帳號 (俗稱： LINE Bot ) 打造成來。 但是其實在 LLM LINE Bot 上，我們有學過不少的 LLM 方式打造。本篇文章，將討論如何將 Function Calling 的 Agent 模式，直接改造成使用 Agent SDK 的方式。

你會發現這樣的修改，程式碼可以變得更精簡。而且由於導入了 Agent SDK ，整個對話也變得更加的靈活，更可以像是真人的對話。

本次的程式碼

本次將有兩個以往用過的程式碼：

• 使用 LangChain 的 Function Call 的股票機器人。
  • https://github.com/kkdai/linebot-langchain
• 轉換為： –> Agent SDK
  • https://github.com/kkdai/linebot-adk-stock

快速複習 LangChain Function Call

各位可以參考一下本篇文章的詳細內容，這裡僅提供相關的快速摘要。

（這個是之前 LangChain Function Calling 的執行成果）

這篇文章介紹了如何利用 LangChain 和 OpenAI 的 Function Calling 來開發一個股價查詢的 LINE Bot，並分享了一個開源套件供大家學習。LangChain 是一個強大的工具，支援多種大型語言模型，讓開發概念驗證（POC）變得更加容易。文章中提到，透過 Flowise 這樣的視覺化工具，開發者可以快速測試架構和 Prompt，並且在不需要重新部署的情況下修改 Prompt。文章還詳細說明了如何在 Heroku 上快速部署 Python LINE Bot，並提供了使用 LangChain 的 ConversationBufferWindowMemory 來實現具有記憶功能的聊天機器人的方法。此外，文章深入探討了如何使用 OpenAI Functions 來查詢股價，包括如何定義和使用工具來實現這一功能。整體而言，這篇文章展示了 LangChain 在開發 LINE Bot 中的應用潛力，並鼓勵讀者利用這些技術打造出「專一」「好用」的聊天機器人。

導入 Agent SDK

接下來會來開始拆解，如何將 LangChain Function Calling 的程式碼，轉換到 Agent SDK 的方式：

第一部分： 講解 Tools 的轉換方式：

我們先來討論一下，如何將 LangChain funciont Calling 中將 Tools 的程式碼，轉換到 Agent 的部分。

def get_price_change_percent(symbol: str, days_ago: int) -> dict:
    """
    Calculates the percentage change in a stock's price over a specified number of days.
    Args:
        symbol (str): The stock symbol (e.g., "AAPL").
        days_ago (int): The number of days to look back for the price change calculation. Must be positive.
    Returns:
        dict: Contains the symbol, percentage change, and period, or an error message.
    """
    if not isinstance(days_ago, int) or days_ago <= 0:
        return {"status": "error", "message": "Days ago must be a positive integer."}

    performance = calculate_performance(symbol, days_ago)
    if performance is not None:
        return {
            "status": "success",
            "symbol": symbol,
            "price_change_percent": performance,
            "period_days": days_ago,
        }
    else:
        return {
            "status": "error",
            "message": f"Could not calculate price change for {symbol} over {days_ago} days. Ensure symbol is valid and data is available for the period.",
        }

可以看得出來，大部分的程式碼並沒有太多修改。 但是主要就是之前在 Function Calling 的說明內容必須寫在這邊。才能讓 Agent 去正確的了解整個 Tools 的運作方式。

第二部分： 來了解整個 Agent 的運作大腦

接下來就要來看整個 Agent 如何去運用這三個工具？

root_agent = Agent(
    name="stock_agent",
    model="gemini-2.0-flash",  # Or your preferred model
    description="Agent specialized in providing stock market information and analysis.",
    instruction="""
        You are an AI assistant specializing in stock market data.
        Users will ask for stock prices, price changes, or the best performing stock from a list.
        Use the provided tools to answer these questions accurately.
        - For current price, use `get_stock_price`.
        - For price change percentage over a period, use `get_price_change_percent`.
        - For finding the best performing stock in a list over a period, use `get_best_performing`.
        Always state the symbol and the period clearly in your response if applicable.
        If a stock symbol is invalid or data is unavailable, inform the user clearly.
    """,
    tools=[
        get_stock_price,
        get_price_change_percent,
        get_best_performing,
    ],
)

這邊有稍微針對不同功能，來跟他解釋應該要呼叫哪個 tools 。但是這裡並不需要跟他解釋那些 tools 有什麼參數，還有回傳什麼資料。並且也不用跟他講解更多其他的資訊。

第三部分：根據實戰結果，來分析一下差異：

有沒有發現兩個的差異在哪些地方：

1. 有了更深層的記憶能力，還有上下文的連貫

這部分主要跟 Agent 預設就有支援 Session Services 有關。透過 Session Services 整個 Agent 不光是記憶著之前的問題之外，還可以跟使用者達成一對一的聊天效果。這也是為什麼上面的聊天出現了

- 我： 其他兩個表現如何？
- Agent: 我很利益告訴你，但為了做到這一點，我需要分別查詢蘋果與超微的....

這樣就知道，他能理解整個對話 Context 中的「其他兩個」是代表什麼意思。這個也是相當的重要。

相關程式碼方式如下：

# Initialize InMemorySessionService
session_service = InMemorySessionService()
active_sessions = {}  # Cache for active session IDs per user

....

# Get or create a session for this user
session_id = await get_or_create_session(user_id)

以上兩個方式，就是主要負責記錄與處理 使用者交談對話匡的 Session_ID 處理的方式。

2. 在回答部分， Agent 變得更加聰明

以往在 Function Calling ，每一層對話本身是根據著使用者當下的問題來處理。就像前文提到的 「其他兩個表現如何？」是無法正確的執行。因為這個對話裡面的兩個，無法對應到 function calling 裡面的參數。

但是在 Agent 中，他不會強迫你每一次的呼叫一定要對應到一個 Function Calling 。而是發現需要使用到的時候，才會呼叫該 Function 的結果。

他會自動知道相關對話的內容，根據 Agent 剛剛定義的 prompt 流程去尋找需要的資料。很重要的是，就算沒有尋找到也會正常跑完一次的對話流程。

另外一個案例 Arxiv 論文小幫手改成 Agent 的案例

程式碼： https://github.com/kkdai/linebot-adk-arxiv

可以看得出來，類似的功能如果透過 Agent ADK 來達成的話。整個原本是 Function Call 的論文小幫手。就變得更加的聰明了，而且程式碼也沒有增加太多。這裡就不詳細解釋相關的功能了，歡迎各位直接去看程式碼。

未來的展望：

本篇文章主要介紹如何將原本使用 LangChain Function Calling 的 LINE Bot 轉換成使用 Agent SDK 的 LINE Bot 。這裡也看得出來，整體出來後的成果相當令人驚艷，不僅僅整個程式碼變得更少的之外，並且在對談中，也變得更加像真人一樣。接下來，我們將會深入 Agent 許多更加複雜的功能，比如說 Multiple Agent 與各種 Agent 中合作的方式。

也會透過 LINE Bot 的相關案例，來分享給每一個在 LINE 官方帳號開發的夥伴們。下次見。

將 PTT 資料爬蟲改用 Firecrawl API 的研究與實作

前提

photomgr 專案（https://github.com/kkdai/photomgr）一直以來都是爬取 PTT Beauty 板資料的得力工具，幫不少人抓取正妹板的文章和圖片。原本我們是用 Google Cloud Platform（GCP）直接連到 PTT 網站抓資料，簡單又順手。不過最近 PTT 把資料架到 Cloudflare 保護後，GCP 的連線常常被擋，可能是因為 Cloudflare 的防爬蟲機制（像是驗證碼或 IP 限制）太強大，導致原本的爬蟲程式完全 GG。為了讓 photomgr 繼續運作，我們研究了幾個替代方案，最後決定改用 Firecrawl API 來爬 PTT 的資料。這篇部落格會講解我們為什麼要做這個改變、怎麼改，以及改完後的程式碼和成果。

相關變動

PTT 最近開始用 Cloudflare 保護網站，加入了像是驗證碼、IP 限制等防爬蟲機制。這些措施讓我們原本用 GCP 直接送 HTTP 請求去抓資料的方式行不通，因為 Cloudflare 會把 GCP 的請求擋掉或限速，導致爬蟲常常失敗。經過一番研究，我們發現 Firecrawl 這個服務很適合解決這個問題。它不僅能繞過 Cloudflare 的防爬，還能把網頁內容轉成乾淨的 markdown 格式，方便我們解析。於是，我們決定把 photomgr 的爬蟲邏輯從原本的直接連線改成用 Firecrawl API 來抓 PTT Beauty 板的文章列表和內文。

什麼是 Firecrawl？

Firecrawl 是一個專為網頁爬蟲設計的 API 服務（https://www.firecrawl.dev/），可以幫你抓取網頁內容並轉成結構化的格式，比如 markdown 或 JSON。它最大的優勢是能處理像 Cloudflare 這種防爬蟲保護，還能模擬瀏覽器行為，抓到動態載入的內容。Firecrawl 的 /v1/scrape 端點讓我們可以送一個網址過去，它就會回傳網頁的主要內容，省去自己處理複雜 HTML 的麻煩。對我們來說，這是個超佛心的工具，因為它讓爬蟲變得更穩定，還能省下不少寫解析邏輯的時間。

要如何修改？

為了讓 photomgr 用上 Firecrawl API，我們需要把原本 ptt.go 的爬蟲邏輯改成呼叫 Firecrawl 的 API。以下是改動的重點：

1. 保留公開 API 不變：ptt.go 裡的公開函數（像是 GetPosts 和 GetPostDetails）已經被其他使用者依賴，所以我們不能改動這些函數的輸入輸出格式，只能改內部的實作邏輯。
2. 使用 Firecrawl API：改用 Firecrawl 的 /v1/scrape 端點來抓 PTT Beauty 板的列表頁（https://www.ptt.cc/bbs/Beauty/index.html）和單篇文章頁（像是 https://www.ptt.cc/bbs/Beauty/M.1748080032.A.015.html）。
3. 解析 markdown 資料：Firecrawl 回傳的資料是 markdown 格式，我們需要把它解析成結構化的 JSON，像是文章標題、網址、作者、日期、推文數（或「爆」標記）等。
4. 環境變數管理 API Key：Firecrawl 的 API 需要一個 key，我們會從環境變數 FIRECRAWL_KEY 讀取，確保安全不硬寫在程式碼裡。
5. 單元測試：新增單元測試來驗證爬蟲和解析邏輯，目標是至少 80% 的程式碼覆蓋率。

關於 over18=1 的 Cookie 寫法

PTT Beauty 板有年齡限制，瀏覽時需要設定 over18=1 的 Cookie 來通過檢查。在 Firecrawl API 的請求中，我們需要在 headers 裡加入這個 Cookie，這樣才能順利抓到頁面內容。具體寫法如下：

{
  "url": "https://www.ptt.cc/bbs/Beauty/index.html",
  "headers": {
    "Cookie": "over18=1",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
  },
  "formats": ["markdown"],
  "onlyMainContent": true,
  "waitFor": 1000
}

這段 JSON 告訴 Firecrawl 在送請求時要帶上 over18=1 的 Cookie，模擬一個通過年齡驗證的使用者。User-Agent 則是模擬瀏覽器，確保 PTT 伺服器不會因為奇怪的請求頭而擋掉我們。

相關程式碼

以下是改用 Firecrawl API 的一些核心程式碼範例，展示如何抓取和解析 PTT Beauty 板的資料：

抓取列表頁

go

package ptt

import (
    "encoding/json"
    "net/http"
    "os"
)

type FirecrawlResponse struct {
    Success bool `json:"success"`
    Data    struct {
        Markdown string `json:"markdown"`
    } `json:"data"`
}

func GetPosts() ([]Post, error) {
    apiKey := os.Getenv("FIRECRAWL_KEY")
    if apiKey == "" {
        return nil, errors.New("FIRECRAWL_KEY is not set")
    }

    url := "https://www.ptt.cc/bbs/Beauty/index.html"
    reqBody := map[string]interface{}{
        "url": url,
        "headers": map[string]string{
            "Cookie":     "over18=1",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
        },
        "formats":       []string{"markdown"},
        "onlyMainContent": true,
        "waitFor":       1000,
    }

    body, _ := json.Marshal(reqBody)
    req, _ := http.NewRequest("POST", "https://api.firecrawl.dev/v1/scrape", bytes.NewBuffer(body))
    req.Header.Set("Authorization", "Bearer "+apiKey)
    req.Header.Set("Content-Type", "application/json")

    client := &http.Client{}
    resp, err := client.Do(req)
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()

    var fcResp FirecrawlResponse
    json.NewDecoder(resp.Body).Decode(&fcResp)
    if !fcResp.Success {
        return nil, errors.New("Firecrawl API request failed")
    }

    // 解析 markdown 成 Post 結構
    posts, err := parseIndexMarkdown(fcResp.Data.Markdown)
    if err != nil {
        return nil, err
    }
    return posts, nil
}

func parseIndexMarkdown(markdown string) ([]Post, error) {
    // 使用正則表達式或 markdown 解析庫解析
    // 範例：提取標題、網址、作者、日期、推文數
    var posts []Post
    // 假設 Post 結構如下
    type Post struct {
        Title     string
        URL       string
        Author    string
        Date      string
        PushCount int
    }
    // 實作解析邏輯（簡化範例）
    lines := strings.Split(markdown, "\n")
    for _, line := range lines {
        if strings.Contains(line, "[正妹]") || strings.Contains(line, "[公告]") {
            // 解析標題、網址等
            post := Post{ /* 填入解析結果 */ }
            posts = append(posts, post)
        }
    }
    return posts, nil
}

抓取單篇文章

go

func GetPostDetails(url string) (PostDetail, error) {
    apiKey := os.Getenv("FIRECRAWL_KEY")
    if apiKey == "" {
        return PostDetail{}, errors.New("FIRECRAWL_KEY is not set")
    }

    reqBody := map[string]interface{}{
        "url": url,
        "headers": map[string]string{
            "Cookie":     "over18=1",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
        },
        "formats":       []string{"markdown"},
        "onlyMainContent": true,
        "waitFor":       1000,
    }

    body, _ := json.Marshal(reqBody)
    req, _ := http.NewRequest("POST", "https://api.firecrawl.dev/v1/scrape", bytes.NewBuffer(body))
    req.Header.Set("Authorization", "Bearer "+apiKey)
    req.Header.Set("Content-Type", "application/json")

    client := &http.Client{}
    resp, err := client.Do(req)
    if err != nil {
        return PostDetail{}, err
    }
    defer resp.Body.Close()

    var fcResp FirecrawlResponse
    json.NewDecoder(resp.Body).Decode(&fcResp)
    if !fcResp.Success {
        return PostDetail{}, errors.New("Firecrawl API request failed")
    }

    // 解析 markdown 成 PostDetail 結構
    detail, err := parsePostMarkdown(fcResp.Data.Markdown)
    if err != nil {
        return PostDetail{}, err
    }
    return detail, nil
}

func parsePostMarkdown(markdown string) (PostDetail, error) {
    // 假設 PostDetail 結構如下
    type PostDetail struct {
        Author    string
        Board     string
        Title     string
        Date      string
        ImageURLs []string
        Content   string
    }
    // 實作解析邏輯（簡化範例）
    var detail PostDetail
    lines := strings.Split(markdown, "\n")
    for _, line := range lines {
        if strings.HasPrefix(line, "作者") {
            detail.Author = strings.TrimPrefix(line, "作者")
        } else if strings.Contains(line, "https://i.imgur.com") {
            detail.ImageURLs = append(detail.ImageURLs, line)
        } // 其他欄位解析
    }
    return detail, nil
}

單元測試範例

go

package ptt

import (
    "testing"
    "github.com/stretchr/testify/assert"
)

func TestGetPosts(t *testing.T) {
    // 模擬 Firecrawl API 回應
    mockMarkdown := `
[正妹] OOO
jerryyuan
5/24
[搜尋同標題文章](https://www.ptt.cc/bbs/Beauty/search?q=thread%3A%5B%E6%AD%A3%E5%A6%B9%5D)
    `
    posts, err := parseIndexMarkdown(mockMarkdown)
    assert.NoError(t, err)
    assert.Len(t, posts, 1)
    assert.Equal(t, "[正妹] OOO", posts[0].Title)
}

總結

PTT 改用 Cloudflare 保護後，讓我們原本的 GCP 爬蟲方案直接陣亡，逼得我們得找新方法來抓資料。Firecrawl API 成了我們的救星，不僅能繞過 Cloudflare 的防爬，還能把 PTT 的頁面轉成乾淨的 markdown，省下不少解析的麻煩。我們改進了 photomgr 的 ptt.go，用 Firecrawl API 抓取 Beauty 板的列表和文章，保留了原本的公開 API 介面，確保現有使用者不受影響。透過環境變數管理 API Key、加上單元測試，程式碼安全又穩定。這次遷移讓我們學到如何應對網站保護機制的挑戰，也證明 Firecrawl 是爬蟲任務的超強幫手。未來我們會持續監控 PTT 的變化，確保爬蟲能一直順利跑下去！

連結: 從石器時代到AI紀元
Nexus : A Brief History of Information Networks from the Stone Age to AI
作者： 哈拉瑞  
原文作者： Yuval Noah Harari  
譯者： 林俊宏  出版社：天下文化 
出版日期： 2024/09/10 

買書推薦網址：

• Readmoo: 由此去購買。

前言:

這是 2025 年第 2 本讀完的書。當初會看這本書只是因為是近期最暢銷的書籍，沒有想過裡面真的有蠻多部分是很值得思索的部分。

蠻建議有興趣的人可以來看看，裡面透過不少歷史故事與相關的說明分享，讓你更了解人類歷史，資訊流的連結關係。

內容摘要：

現在與未來，AI將會做什麼？
哈拉瑞的新巨作《連結》，以激勵人心的方式，
講述了我們如何走到這一刻，
以及現在必須做出的、攸關生存與發展的急迫決擇。
 
《連結》透過人類大歷史的長鏡頭，
檢視資訊網路與資訊流，如何將我們帶到AI紀元。
哈拉瑞引導我們走過石器時代、經歷《聖經》正典化、
印刷術的發明、大眾媒體的興起、以及民粹主義的重燃……
例舉了羅馬帝國、秦帝國、天主教會、蘇聯等體制
如何利用資訊技術來實現目標，無論是好是壞。
資訊，既不是真理真相的原料，也不只是權力與武器；
《連結》探索了許多極端之間、充滿希望的中間立場，
在鐵幕落下、矽幕升起之際，重新發現我們共有的人性。

封面
【開場白】前方的路滿布荊棘
第一部　人類形成的網路
第１章　資訊是什麼？
第２章　故事──無限的連結
第３章　文件──紙老虎也會咬人
第４章　錯誤──絕對正確是一種幻想
第５章　決擇──民主與極權制度簡史
第二部　非生物的網路
第６章　新成員──電腦與印刷機不同之處
第７章　不停歇──網路監控無所不在
第８章　易出錯──存在於電腦間的現實
第三部　電腦政治學
第９章　民主制度──我們還能對話嗎？
第10章　極權主義──權力歸於演算法？
第11章　矽幕──全球帝國、或是全球分裂？
【結　語】打造自我修正機制

心得:

這本書講解著資訊與知識本身，造成人類相互連結與對立的相關故事。作者在以下的採訪中有著相當清楚的解釋：

在許多文案中，可能會讓人以為他是在探討著 AI 與人類的關係，但是其實做作者探討著更深層的問題 — 人與人之間的 「連結」問題。

這本書首先從資訊交換開始說起來，然後透過故事的方式將資訊將以保存以及流傳。這邊一開始有提到大家都有聽說過「歷史是勝者寫的」，也就是一種資訊的連結的傳遞方式。 所有你以為的政治故事其實都是因為勝利的那一方寫下來的，而故事造成傳遞效果會更加的強大。 也有提到聖經上的許多故事也是值得反覆的思考，主要也因為當初的時間與政治背景的不同。

故事能創造出「第三層次的現實」：存在於主體間的現實，主觀現實 與 主體間的現實。

故事造就時事變革

所以希特勒之所以能贏得 1933 年的大選，因為德國經濟危機狀況下，許多人相信了他提出的故事。

回過頭人與人「連結」的方式，就談到了關於「書籍」。書籍是最原始將人與人連結傳遞下來的介質，從「聖經」到各種重大書籍為主。但是隨著人類歷史與各地區政治的變革，聖經的內容也有了不同教義與流派的解釋。甚至也有了不同流傳版本的差異。

書籍與宗教的變革

但是宗教是否有自我修正的機制？宗教的本體是人，人類會有許多的偏見與錯誤，自然也會有相關的修正機制。這也代表著人類彼此間的相互連結，也是存在著許多修復的方式。

連結的修復機制

科學也有自我修復的機制，書中提到謝赫特曼的「準晶體」理論，震驚了整個科學界，並且也受到許多學者的反抗與輿論的壓力。但是著隨著科學技術的進步，整個理論慢慢被澄清。理論本身的連結也因此被修復了起來。

政治上 - 民主 與 極權 產生的連結

回歸到政治上，民主自然也是一種人與人之間的一種連結。人民透過民主制度選舉出的政府單位。如果發生了問題，也代表著人民有機會可以退回自己決定。 這會讓人覺得「民主」是脆弱與妥協的產物？ 作者也提到，民主的本體就在於許多的選擇與討論與妥協下的變革，相比「極權」帶來的“容易二分法”，民主其實是相當的脆弱。所謂的民主，就是人民有著投票與反對的權利。而極權是沒有的：

相反複雜的民主，其實極權反而是簡單

史達林是大家都認為的蘇俄極權統治者，他建立了一個極端的極權組織與統治制度。到了現在許多的國家依舊是依照著相關的方式：

• 秘密警察： 針對資訊的統一管理，並且鼓勵檢舉。讓人與人之間的連結切斷，彼此不相信。（史達林大清洗）
• 剝奪人民的選舉與投票權： 鞏固著自己的政治權利。

但是卻因為自己過度的極權統治，讓自己在病倒的那一天沒有人敢靠近他給他足夠的醫治。

社群媒體造就的資訊不對稱與切斷連結

這邊有提出在社群媒體興盛的這個年代，人們越來越喜歡在社群媒體上「取得同溫層」的鼓勵。但是卻又更喜歡去「異溫層」層裡面爭吵與彼此對立。這其實也是因為 AI 計算出來這就是一個推薦系統上的問題。

使用去中心化的資訊，是否可以達成民主？

這裡也有探討著最新的技術與民主的交互作用，是否可以用去中心化來保存資訊，達到真正的社群民主？但是作者也提出疑問，如果類似史達林的極權統治者，統治著 51% 的人民，是否就可以消除掉其他的聲音？

我們應該如何小心

如同前面提出的：「民主是相當複雜且脆弱的」，相比之下民粹與極權都相對的簡單與易懂。 這也是民主本身需要解決的問題，但是在 SNS 上面我們會看到許多“簡單的暴力”的言論方式，來鼓勵許多對立的情緒。 你之所以會看到，其實並不一定代表那是大部分人的情緒，反而可能是推薦系統所造成的結果。

推薦系統會推薦著「你喜歡的」讓你有同感，但是更傾向推薦「你厭惡的」來讓你回覆文章。對於政治也是如此，如果你看到簡單的贊成與反對，應該要花一點時間去閱讀更多的書籍與資訊。來讓自己充分了解每一方的說法，而不是限於各種的反對與破壞「連結」的說法之中。

不論是你喜歡的資訊，或是你不喜歡的資訊。我們都希望每一個人要有主動研究資訊的能力。 就像是讀書一樣，要能夠取得資訊並且去思考真正的問題。 比較這些政治人物之前與現在的說法，是否只是因為某些政治取向的操作。

最後再次呼應著大家「民主是一個相對的概念」，並不存在的非黑即白的想法。「民主是複雜且脆弱的」，但是保有人民選舉與決定自我投票的權力才是真正的民主。