ChatGPT 圖文混合提問 9 種超能力：程式、教育、學習到行銷應用
ChatGPT 近期正在陸續針對付費版用戶（GPT-4）推出這項功能，在訊息提問時可以「上傳圖片」。看起來好像很簡單？不就是圖片辨識嗎？
但結合 ChatGPT 原本強大的文字提問與生成能力，現在這樣的圖文混合多模態，確實可以有許多意想不到的應用。
或是在行銷領域中，通過分析產品照片，它能夠快速地幫助我們了解目標消費者的喜好，提供更個性化的行銷策略。
所以今天這篇教學文章，就要跟大家分析 ChatGPT 圖文混合提問的 9 種超能力，而且實測案例會從程式開發、圖像設計、教育學習、生活問題到行銷應用，一一提出我實際測試後的經驗談，跟大家分享。
2023/11 更新，ChatGPT plus 不只圖文混合，還能更多功能一起連動：ChatGPT 自動串聯多功能案例：上網＋圖像＋文件組合生成技巧
2024 更新，我實驗了一年的 AI 工作流程總整理：2024 我和 ChatGPT AI 工具如何一起工作，提示語、常用案例指南
01. 寫程式應用：提供一個網站截圖，寫出模擬的網頁程式碼
假如我需要快速寫一個網站首頁的模板，可以這樣試試看：在 ChatGPT （GPT-4V）中上傳一張範例網站的截圖，然後請 ChatGPT 根據截圖寫出類似風格的網頁程式碼。
這樣一來，我們就不用花很多時間用文字寫出自己想要的網頁規格，而是給一張圖，請 AI 去分析出需要的規格。（這就是一圖勝千言的圖文混合提問）
實際上我是這樣提問的（我上傳的是 Notion 首頁的截圖）：
「你是一位網頁程式碼專家，根據這邊提供的網站版面圖片，設計一張網站首頁的完整程式碼。請一步一步分析，先讀取圖片中有哪些內容與版面區塊，分析每個區塊的大小、距離、位置，了解網頁結構後開始設計，如果是文字標題或按鈕盡量符合原始內容並美化，如果是圖片內容就先放上假的框框，最後撰寫出跟原始圖片相近的網頁程式碼。」
我很早之前也在電腦玩物分享過自己如何利用 ChatGPT ，寫出一個我到現在自己都還在用的網頁番茄鐘小工具：「ChatGPT 幫我不懂程式碼也能寫出番茄鐘待辦清單工具，實測心得」。
雖然跟 Notion 網頁不是 100% 一樣，但是基本的樣貌、架構也有一定程度的雛型了。
如果不滿意，其實只要在 ChatGPT 對話中請其繼續修改程式碼即可。
02. 創意應用：分析我的手繪圖，變成設計圖
現在 ChatGPT 可以上傳圖片去分析內容，如果結合最近也陸續推出的 ChatGPT DALL-E 3 繪圖功能（ChatGPT DALL-E 3 的7個特殊 AI 繪圖應用教學，勝過 Midjourney），是否能實現這樣的流程：
用手繪圖畫出自己想像的設計，請 AI 分析，然後請 AI 畫出需要的設計圖。
讓我來試試看，我先手繪出想像的設計圖檔，請 AI 先描述這張圖。
以下是第一次繪圖產出的結果，其中「文字」部分有點小錯誤，但整體的效果則是滿意的。
03. 旅行應用：拍下一個地標，讓 ChatGPT 帶你認識這個地標
在生活中，我們可以試試看利用 ChatGPT 的圖片辨識與文字生成功能，辨識出古蹟、地標，描繪背後的歷史故事，並根據周圍場景進行當下環境的推理判斷。例如下圖這樣的提問，關鍵在於除了 ChatGPT 可以辨識出照片中的內容外，更重要的是結合文字生成能力，他給了我一段非常完整的歷史、意義介紹，並且，最後 ChatGPT 還發現「這不是真的特洛伊木馬，只是遊樂場的裝飾」！
04. 居家應用：在超市、餐廳、家中拍攝食品，計算熱量、提供食譜
圖文混合應用要有效，不僅要能辨識圖片內容，還要有強大的文字生成能力。
所以 ChatGPT 現在可以上傳圖片，請他根據圖片中的內容計算卡路里。
上傳餐廳某道料理照片，請 ChatGPT 分析食譜。
或者，拍一下超市貨架的食品，請 ChatGPT 根據這些食材，設計今天晚上的菜單！
發揮我們的想像力與提問力，圖文混合會有很多直覺的驚奇應用。
05. 教育應用：分析一張圖片的操作、歷史、地理等教學重點
例如我常常要撰寫軟體教學，那麼我可以上傳一張工具的介面圖，然後請 ChatGPT 分析這個工具可能怎麼用？介面中有哪些特殊功能？下圖的結果異常的準確！
如果我是一個地理老師，上傳一張風景照片，然後用 AI 生成照片的地理介紹知識。
只要給他一些基本的提示，例如：「分析這張「台灣舊石器時代復原」照片內呈現的動作與場景，以歷史老師的角度，介紹其中人物的生活與文化知識。」讓 ChatGPT 有一個分析方向，就能在圖文混合提問中，獲得非常有用的結果。
針對學校教學，老師們還可以結合這個工具：Eduaide 免費 AI 課程助教幫老師設計教學、測驗到行政，支援中文
06. 學習應用：教師或學生可以用來解釋複雜的圖表概念或數學問題
有時候，一個複雜的圖表、數學公式看不懂，現在可以試試看上傳圖片到 ChatGPT ，請他試試看能否解釋給我們聽。例如我上傳了下面這張圖表，而且我這一次故意問得很簡單，不給他任何提示：「請分析這張圖表的內容，並解釋這張圖表的理論與案例。」
也就是說：
遇到比較複雜的圖表，想要理解背後的意義，甚至要轉換成教學，可以上傳圖片，利用 AI 來分析解釋。
07. 設計應用：廣告、設計圖像的分析與效果測試
我們有沒有可能請 AI 進行設計、美學、歷史文化背景的分析呢？如果可以，是否就能在設計上獲得許多輔助，也跳脫文字的思考，現在可以進行圖象的腦力激盪？
我嘗試了下面這樣的案例，我先上傳一張星巴克新舊版 LOGO 的比較圖，請他進行美學、設計、文化分析。
08. 行銷應用：消費者分析：理解用戶的生活習慣和喜好
我又進行了下面的挑戰，我拍下某種我想要觸及的消費者會活動的場景照片，然後請 ChatGPT 根據場景照片，分析會到該場所的消費者有什麼特性。
也就是說：
可以讓 ChatGPT 根據照片中的場景與氛圍（圖的分析），分析喜愛到這樣的地方的人，有哪些特質？哪些行為取向？喜愛哪些東西？（文的分析）
09. 機器維修與操作圖的挑戰
下面則是我自己補充的一個小小挑戰，有時候一個問題，照片的傳達更好。
所以我拍下一張電線安裝的照片，問 ChatGPT 可以怎麼做。
ChatGPT 提供給我下面的回答，一開始還會提醒我注意安全。
值得大家試試看。
有興趣的朋友還可以進一步研究：
- ChatGPT 關鍵提示語技巧
- 2024 更新，我實驗了一年的 AI 工作流程總整理：2024 我和 ChatGPT AI 工具如何一起工作，提示語、常用案例指南
- ChatGPT 提示語說明書：通用三層結構與 9 個技巧提高 AI 生產力
- ChatGPT 五種助理教練提示語分享：目標規劃、寫作、學習到教學
- 一般人最好上手且有效的 ChatGPT 提問法，以生成英文練習題為例
- 利用 ChatGPT 提示語突破字數限制教學，深入分析摘要2萬字資料
- 讓 ChatGPT 學會專業邏輯，成為自動完成報告文案草稿的真正助手
- ChatGPT 特殊功能
- ChatGPT 自動串聯多功能案例：上網＋圖像＋文件組合生成技巧
- ChatGPT GPTs 聊天機器人教學：實測防彈筆記助手到三國志 RPG
- ChatGPT Code Interpreter 八種應用：分析 Excel、製作圖表與動畫
- ChatGPT 影片摘要外掛與提示語：自動生成一小時影片重點時間戳
- ChatGPT Shared Links 指南，不只是分享對話的 7 個工作應用案例
- ChatGPT Custom instructions 實例教學，如何客製化我的 AI 助理
- 利用 ChatGPT App 寫語音筆記，提升輸出效率的秘密武器
- ChatGPT 圖文混合提問 9 種超能力：程式、教育、學習到行銷應用
- 用 ChatGPT 語音對話，設計擬真英文會話練習 App ，提示語分享
- ChatGPT 與 AI 工具的第二大腦與學習應用
- 用 ChatGPT 升級學習筆記整理技巧教學，如何有效輔助摘要文章？
- 活用你的第二大腦筆記範本，協作 ChatGPT 生成好內容的 6 個案例
- ChatDOC 中英文獻 PDF AI 摘要問答工具，可一次分析多份論文
- Elicit 與 Consensus： AI 論文搜尋引擎＋摘要讓專業知識觸手可及
- 父母如何用 ChatGPT 設計孩子的英文單字考卷、會話測驗學習單？
- Eduaide 免費 AI 課程助教幫老師設計教學、測驗到行政，支援中文
- 把 Claude AI 當作免費強大的PDF 文件、論文文獻摘要研究工具
- ChatGPT 與 AI 工具的工作效率應用
- 讓 ChatGPT 教你如何利用 ChatGPT ，快速問對問題解決工作痛點
- ChatGPT 幫我不懂程式碼也能寫出番茄鐘待辦清單工具，實測心得
- 用 ChatGPT 快速將會議語音逐字稿轉成完美文章表格的 5 個技巧
- Gamma 用 AI 幫你設計簡報、網頁，瞬間完成戲劇化版面內容
- AI 繪圖工具應用
- ChatGPT DALL-E 3 的7個特殊 AI 繪圖應用教學，勝過 Midjourney
- 我如何訓練 ChatGPT 撰寫 Midjourney 提示語？AI 繪圖四個階段
- Recraft 免費 AI 繪圖工具快速生成獨特 ICON 圖示與向量插圖教學
- Bing AI 大升級，免費支援 GPT-4 與 DALL-E 3 AI 繪圖，實測比較
- Microsoft Designer 免費試用中， AI 設計社群圖片、海報卡片幫手
- AI 相關生產力工具
大家好，我是電腦玩物站長 Esor ，歡迎參考我的系列課程與書籍：
- 「個人數位生產力」線上課程（可使用電腦玩物老讀者折扣碼 ESOR500 ，獲得 500 元折價喔！）。
- 時間管理、筆記系統、AI 工具相關課程：「課程介紹連結」
- 目前最新著作：《防彈筆記法》
- 訂閱追蹤 podcast 節目：「高效人生商學院」（Apple podcast 訂閱、 Google Podcast 訂閱）
- 訂閱「電腦玩物電子報」，不定期出刊。
我的電子郵件是 esorhjy@gmail.com ，如果你有任何關於筆記術、時間管理、提升工作效率的問題，歡迎寫信跟我討論。
（歡迎社群分享。但全文轉載請來信詢問，禁止修改上述內文，禁止商業使用，並且必須註明來自電腦玩物原創作者 esor huang 異塵行者，及附上原文連結：ChatGPT 圖文混合提問 9 種超能力：程式、教育、學習到行銷應用）
.png)
Esor您好
回覆刪除我是Chat-GPT付費用戶，最近還在疑惑圖片上傳功能該怎麼使用﹑會提供什麼幫助。
看到您的分享，真是大開眼界，也學到很多運用的方式。
今後再來好好嘗試&摸索。謝謝Esor:)
老师好，现在一些场景的图片识别，gpt4经常会回答“Sorry, I cannot help with that.”例如您发的08行销的使用～
回覆刪除我暫時不確定原因會是什麼，範例中我用的是自己拍的咖啡館照片，嘗試類似照片是可以的
刪除事實上，GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。
回覆刪除事實上，GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。
回覆刪除