LV.01 裝備檢查站｜本地 LLM 冒險

先講一個實習第一天的故事

實習第一天，學長姊不會直接叫你開刀，而是先帶你認識病房、教你用開單系統、發給你一支聽診器。這一關也一樣：我們不碰模型，只把「工作環境」準備好。

整個網站的主線，是用合成（完全虛構）的中英夾雜病歷，教一個小模型找出病歷裡的個人識別資訊（PHI），最後在你自己的電腦上斷網執行。要走完這條路，你需要三樣裝備：會用 Terminal、知道自己電腦能撐多大的模型、手邊有一個備用的雲端環境（Colab）。

本站假設你沒有程式背景。每一關都給兩條路：🍎 Mac 版與 ☁️ Colab 版，挑一條適合你的走就好。

Terminal 是什麼

Terminal（終端機）是用「打字」操作電腦的視窗。類比一下：平常用 Finder 點資料夾，像是在病房裡用手指點電子病歷的按鈕；Terminal 則像是直接下口頭醫囑，「幫我建一個資料夾」「幫我跑這個程式」，電腦照字面執行。

它看起來只有一個閃爍的游標，所以第一次開會有點嚇人。這就是本關 Boss「終端機黑盒史萊姆」的由來。擊敗它只需要記住五個指令：

指令	作用	醫療類比
`pwd`	顯示目前所在資料夾	「我現在在哪個病房？」
`ls`	列出這個資料夾裡有什麼	查房時看這間病房有哪些床
`cd`	切換到另一個資料夾	走到另一間病房
`mkdir`	建立新資料夾	開一個新的病歷夾
`python3 --version`	顯示 Python 版本	確認儀器有開機

在 Mac 上，按 Command + 空白鍵 搜尋「Terminal」即可開啟。依序輸入下面幾行（# 後面是說明，不用打）：

pwd                      # 看現在在哪裡，通常會顯示 /Users/你的名字
ls                       # 列出目前資料夾的內容
mkdir hello-ward         # 建立一個叫 hello-ward 的資料夾
cd hello-ward            # 走進這個資料夾
python3 --version        # 看有沒有安裝 Python

逐行解釋：第一行只是「讀取」，不會改變任何東西，可以放心嘗試。第三行會真的建立資料夾，若出現「File exists」代表已經有同名資料夾，不用擔心。最後一行如果顯示 Python 3.x.x，代表已經裝好；如果出現找不到指令，進入下一節安裝。

🍎 Mac：安裝 Python 與測試

本站建議的 Python 安裝方式截至 2026-10 有兩種：用 Homebrew（Mac 的套件管理員，像是藥局的叫貨系統）安裝，或用 python.org 的官方安裝檔。對新手來說，官方安裝檔最直覺，Homebrew 則方便日後更新。兩者擇一即可，不用同時裝。若你選 Homebrew，請直接從其官網 brew.sh 複製最新的安裝指令，不要從別處轉貼的文章複製，因為這類指令會直接在你的電腦上執行。

安裝完成後，跑這一行確認 Python 能用：

python3 -c "print('hello, ward')"

這行的意思是：請 Python 執行引號裡的那一句程式，印出 hello, ward。看到這行字就代表過關。

你的電腦能跑多大的模型

這是本關最重要的觀念。模型本質上是一大包數字（參數），要用的時候得整包放進記憶體。粗略估算：

模型檔大小（GB）≈ 參數量（十億為單位）× 每個參數佔的位元數 ÷ 8

16 位元存放時，每十億個參數約 2GB；壓縮成 4 位元（量化，下一個單元 LV06 會詳細介紹）後，約 0.6 到 0.7GB。例如 Ollama 上標示的 Qwen3.5-9B 4-bit 版本約 6.6GB（截至 2026-10，出處：Ollama 模型頁，研究筆記 03 D1）。

Mac 還有一個特色：統一記憶體（unified memory）。傳統電腦的 CPU 和顯示卡各有一塊記憶體，Apple Silicon 則是共用同一塊。好處是模型不用在兩者之間搬來搬去，代價是模型、作業系統和你開的瀏覽器分享同一個「錢包」。常見說法是 macOS 預設只讓 GPU 使用約三分之二左右的統一記憶體，但這個比例本站尚未實測，標為【實測數據待補】。

你的機型	建議做法（截至 2026-10，部分為推論）
16GB	以約 4B 以下的 4-bit 模型為主，約 9B 的 4-bit 可以推論但會緊；訓練需要降低設定【實測數據待補】（參考：作者 32GB 正式訓練峰值 15.3GB）
32GB	4-bit 約 9B 級舒適，更大的模型要看情況

作者在 M5 32GB 的實測：用 mlx-lm 以 4-bit 的 Gemma 4 E2B 做 LoRA 微調（後面的關卡會教），100 次迭代的峰值記憶體約 14.8GB。換句話說，16GB 的 Mac 在同樣設定下會很吃緊，需要縮小批次與序列長度，這部分在 16GB 機器上的結果【實測數據待補】。這不是要嚇你：16GB 仍然能完成本站的推論與概念關卡，訓練部分則可以改走 Colab。

☁️ Colab：備用的雲端工作站

Colab 是 Google 提供的、在瀏覽器裡跑 Python 的服務，免費版可以暫時借用一張 GPU。操作步驟：

用 Google 帳號登入 Colab，新增 notebook。
選單「執行階段」→「變更執行階段類型」→ 選 GPU。
在第一個儲存格輸入下面這行並執行：

!nvidia-smi

最前面的驚嘆號代表「這行交給 Terminal 執行，不是 Python」。nvidia-smi 會列出分到的顯示卡型號與記憶體。依 Google 官方 FAQ，免費版通常會有 GPU，但類型與數量不保證，單次執行最長約 12 小時，仍視可用性與使用量而定（出處：https://research.google.com/colaboratory/faq.html）。所以才要自己看一眼，而不是假設一定是 T4。

這裡也要先提醒一件重要的事：Colab 會把你上傳的檔案放在 Google 的伺服器上。這個性質在下一關（LV02）會變成重點，因此本站在 Colab 上只使用合成資料。

本關的通關檢查

能在 Terminal 用 pwd 與 ls 說出自己在哪裡、資料夾有什麼。
python3 -c "print('hello, ward')" 成功印出文字，或在 Colab 看到 nvidia-smi 的輸出。
知道自己電腦屬於 16GB 或 32GB 檔位，並寫下大致的模型大小上限。

安裝與版本會一直變動，本章的工具建議是截至 2026-10 的狀態。需要 notebook 時，可從本站下載，在 Colab 選「檔案 → 上傳筆記本」開啟；合成資料集放在 GitHub（或本站下載）。

本關重點

Terminal 是用文字下指令的介面，先會 pwd、ls、cd、mkdir、python3 --version 五個就夠用。
模型大小 ≈ 參數量 × 位元數 ÷ 8，模型檔要明顯小於記憶體，才有空間留給系統與其他程式。
Mac 的統一記憶體是 CPU、GPU 共用；16GB 與 32GB 的可行範圍差很多，訓練尤其明顯。
Colab 免費版 GPU 不保證，每次用之前先 nvidia-smi 確認。
本站全程只使用合成資料，原因在下一關。下一站：PHI 結界。