ChatGPT 圖文混合提問 9 種超能力：程式、教育、學習到行銷應用

作者：


在現今資訊化的時代，多模態的資訊表達方式已是不可或缺，我們常常發現，單純的文字無法精確傳達完整的信息，只有融合圖片、影片或聲音才能真正地展現其深度和細節。而之前 ChatGPT 的 AI 提問侷限於文字，許多提問與內容生成上就有侷限。幸好，現在 ChatGPT GPT-4V 開始支援上傳圖片，結合文字提問，無論對於學生、設計師、行銷人員、教育工作者等多數人來說，就能提出「圖文混合的問題」，從而獲得更多超能力般的應用。

ChatGPT 近期正在陸續針對付費版用戶（GPT-4）推出這項功能，在訊息提問時可以「上傳圖片」。看起來好像很簡單？不就是圖片辨識嗎？

但結合 ChatGPT 原本強大的文字提問與生成能力，現在這樣的圖文混合多模態，確實可以有許多意想不到的應用。





例如：當你在寫程式時遇到困難，只需提供一個網站截圖，這款工具就能為你生成相應的模擬程式碼。

或是在行銷領域中，通過分析產品照片，它能夠快速地幫助我們了解目標消費者的喜好，提供更個性化的行銷策略。


而且我實際測試 ChatGPT 圖文混合提問後，生成的內容「很明顯的」優於更早推出類似功能的：「Google Bard 圖片 AI 辨識的 6 種應用案例，用手繪圖寫出簡單網頁」。

所以今天這篇教學文章，就要跟大家分析 ChatGPT 圖文混合提問的 9 種超能力，而且實測案例會從程式開發、圖像設計、教育學習、生活問題到行銷應用，一一提出我實際測試後的經驗談，跟大家分享。

2023/11 更新，ChatGPT plus 不只圖文混合，還能更多功能一起連動：ChatGPT 自動串聯多功能案例：上網＋圖像＋文件組合生成技巧

2024 更新，我實驗了一年的 AI 工作流程總整理：2024 我和 ChatGPT AI 工具如何一起工作，提示語、常用案例指南




01. 寫程式應用：提供一個網站截圖，寫出模擬的網頁程式碼

假如我需要快速寫一個網站首頁的模板，可以這樣試試看：在 ChatGPT （GPT-4V）中上傳一張範例網站的截圖，然後請 ChatGPT 根據截圖寫出類似風格的網頁程式碼。

這樣一來，我們就不用花很多時間用文字寫出自己想要的網頁規格，而是給一張圖，請 AI 去分析出需要的規格。（這就是一圖勝千言的圖文混合提問）

實際上我是這樣提問的（我上傳的是 Notion 首頁的截圖）：

「你是一位網頁程式碼專家，根據這邊提供的網站版面圖片，設計一張網站首頁的完整程式碼。請一步一步分析，先讀取圖片中有哪些內容與版面區塊，分析每個區塊的大小、距離、位置，了解網頁結構後開始設計，如果是文字標題或按鈕盡量符合原始內容並美化，如果是圖片內容就先放上假的框框，最後撰寫出跟原始圖片相近的網頁程式碼。」




ChatGPT 會先分析 Notion 網站首頁的截圖，提供他的結構建議，然後開始撰寫程式碼。

我很早之前也在電腦玩物分享過自己如何利用 ChatGPT ，寫出一個我到現在自己都還在用的網頁番茄鐘小工具：「ChatGPT 幫我不懂程式碼也能寫出番茄鐘待辦清單工具，實測心得」。




而這段程式碼產出的網頁成果如下圖。

雖然跟 Notion 網頁不是 100% 一樣，但是基本的樣貌、架構也有一定程度的雛型了。

如果不滿意，其實只要在 ChatGPT 對話中請其繼續修改程式碼即可。





02. 創意應用：分析我的手繪圖，變成設計圖

現在 ChatGPT 可以上傳圖片去分析內容，如果結合最近也陸續推出的 ChatGPT DALL-E 3 繪圖功能（ChatGPT DALL-E 3 的7個特殊 AI 繪圖應用教學，勝過 Midjourney），是否能實現這樣的流程：

用手繪圖畫出自己想像的設計，請 AI 分析，然後請 AI 畫出需要的設計圖。

讓我來試試看，我先手繪出想像的設計圖檔，請 AI 先描述這張圖。




然後，把這段描述貼到 ChatGPT 的 DALL-E 3 繪圖頻道中，請他根據這段分析，匯出類似的設計圖。

以下是第一次繪圖產出的結果，其中「文字」部分有點小錯誤，但整體的效果則是滿意的。




同樣的邏輯，我們也可以上傳任何設計圖，然後請 ChatGPT 分析背後的設計原理，這樣我們就可以接續設計。





03. 旅行應用：拍下一個地標，讓 ChatGPT 帶你認識這個地標

在生活中，我們可以試試看利用 ChatGPT 的圖片辨識與文字生成功能，辨識出古蹟、地標，描繪背後的歷史故事，並根據周圍場景進行當下環境的推理判斷。

例如下圖這樣的提問，關鍵在於除了 ChatGPT 可以辨識出照片中的內容外，更重要的是結合文字生成能力，他給了我一段非常完整的歷史、意義介紹，並且，最後 ChatGPT 還發現「這不是真的特洛伊木馬，只是遊樂場的裝飾」！






04. 居家應用：在超市、餐廳、家中拍攝食品，計算熱量、提供食譜

圖文混合應用要有效，不僅要能辨識圖片內容，還要有強大的文字生成能力。

所以 ChatGPT 現在可以上傳圖片，請他根據圖片中的內容計算卡路里。




上傳餐廳某道料理照片，請 ChatGPT 分析食譜。





或者，拍一下超市貨架的食品，請 ChatGPT 根據這些食材，設計今天晚上的菜單！

發揮我們的想像力與提問力，圖文混合會有很多直覺的驚奇應用。






05. 教育應用：分析一張圖片的操作、歷史、地理等教學重點

例如我常常要撰寫軟體教學，那麼我可以上傳一張工具的介面圖，然後請 ChatGPT 分析這個工具可能怎麼用？介面中有哪些特殊功能？

下圖的結果異常的準確！




如果我是一個地理老師，上傳一張風景照片，然後用 AI 生成照片的地理介紹知識。




我是一個歷史老師，上傳一張歷史照片、文化古蹟相關圖片，用 AI 生成文化背景的介紹。

只要給他一些基本的提示，例如：「分析這張「台灣舊石器時代復原」照片內呈現的動作與場景，以歷史老師的角度，介紹其中人物的生活與文化知識。」讓 ChatGPT 有一個分析方向，就能在圖文混合提問中，獲得非常有用的結果。

針對學校教學，老師們還可以結合這個工具：Eduaide 免費 AI 課程助教幫老師設計教學、測驗到行政，支援中文





06. 學習應用：教師或學生可以用來解釋複雜的圖表概念或數學問題

有時候，一個複雜的圖表、數學公式看不懂，現在可以試試看上傳圖片到 ChatGPT ，請他試試看能否解釋給我們聽。

例如我上傳了下面這張圖表，而且我這一次故意問得很簡單，不給他任何提示：「請分析這張圖表的內容，並解釋這張圖表的理論與案例。」




結果， ChatGPT 還算正確的回答了圖表中的關鍵內容。

也就是說：

遇到比較複雜的圖表，想要理解背後的意義，甚至要轉換成教學，可以上傳圖片，利用 AI 來分析解釋。





07. 設計應用：廣告、設計圖像的分析與效果測試

我們有沒有可能請 AI 進行設計、美學、歷史文化背景的分析呢？如果可以，是否就能在設計上獲得許多輔助，也跳脫文字的思考，現在可以進行圖象的腦力激盪？

我嘗試了下面這樣的案例，我先上傳一張星巴克新舊版 LOGO 的比較圖，請他進行美學、設計、文化分析。




下面是 ChatGPT 提供給我的比較結果，從我的角度來看，已經非常完整且有用。




然後，我把其中的重點轉換成設計語言，又拿到 ChatGPT 的 DALL-E 3 ，請他用「同樣的設計邏輯」，設計一個「海洋」主題的圖像，下圖就是他生成的結果。






08. 行銷應用：消費者分析：理解用戶的生活習慣和喜好

我又進行了下面的挑戰，我拍下某種我想要觸及的消費者會活動的場景照片，然後請 ChatGPT 根據場景照片，分析會到該場所的消費者有什麼特性。




結果 ChatGPT 分析圖像後，給了我下面的回答。

也就是說：

可以讓 ChatGPT 根據照片中的場景與氛圍（圖的分析），分析喜愛到這樣的地方的人，有哪些特質？哪些行為取向？喜愛哪些東西？（文的分析）





09. 機器維修與操作圖的挑戰

下面則是我自己補充的一個小小挑戰，有時候一個問題，照片的傳達更好。

所以我拍下一張電線安裝的照片，問 ChatGPT 可以怎麼做。




ChatGPT 提供給我下面的回答，一開始還會提醒我注意安全。




以上就是我這幾天利用 ChatGPT 「上傳圖片」功能，完成的幾種不同類型的提問，關鍵在於，有強大的「圖片分析」，以及更強大的「文字生成」，才能讓上述的應用實現。

值得大家試試看。

有興趣的朋友還可以進一步研究：



大家好，我是電腦玩物站長 Esor ，歡迎參考我的系列課程與書籍：
我的電子郵件是 esorhjy@gmail.com ，如果你有任何關於筆記術、時間管理、提升工作效率的問題，歡迎寫信跟我討論。

（歡迎社群分享。但全文轉載請來信詢問，禁止修改上述內文，禁止商業使用，並且必須註明來自電腦玩物原創作者 esor huang 異塵行者，及附上原文連結：ChatGPT 圖文混合提問 9 種超能力：程式、教育、學習到行銷應用）

文章分類：
電腦玩物站長 Esor （異塵行者），在電腦玩物上的文章有別於單純的軟體和服務介紹，而是更強調軟體和服務背後的數位工作思維及方法，並說明實際應用後帶來的生活改變。著有《電腦玩物站長的筆記思考術》、《大腦減壓的子彈筆記術：用Evernote打造快狠準系統》、《比別人快一步的Google工作術：從職場到人生的100個聰明改造提案》等暢銷書籍。

留言

  1. Patty Lai2023年10月16日 上午8:18

    Esor您好

    我是Chat-GPT付費用戶，最近還在疑惑圖片上傳功能該怎麼使用﹑會提供什麼幫助。

    看到您的分享，真是大開眼界，也學到很多運用的方式。

    今後再來好好嘗試&摸索。謝謝Esor:)

    回覆刪除
  2. 匿名2023年10月16日 下午4:53

    老师好，现在一些场景的图片识别，gpt4经常会回答“Sorry, I cannot help with that.”例如您发的08行销的使用～

    回覆刪除
    回覆
    1. Esor Huang2023年10月17日 上午9:55

      我暫時不確定原因會是什麼，範例中我用的是自己拍的咖啡館照片，嘗試類似照片是可以的

      刪除
  3. Suonerie Mp32023年10月20日 下午5:03

    事實上，GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。

    回覆刪除
  4. Suonerie Mp32023年10月20日 下午5:04

    事實上，GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。

    回覆刪除

張貼留言

為了避免垃圾廣告留言過多，開始測試「留言管理」機制，讓我可以更容易回應讀者留言，並更簡單過濾掉廣告，但只要不是廣告留言都會通過審核。

這個網誌中的熱門文章

全家沖印、 7-11 列印照片誰好用？立可得與 ibon教學+比較表

作者：
圖片
現在大家照片都儲存在數位手機、相機、硬碟或雲端，數位欣賞與分享很方便。但有時候就是需要拿到「實際照片」，例如： 小朋友學校的勞作作業 想要製作家庭相框 用照片來當小禮物 把照片貼在紙本手帳上 這時候，有什麼方法可以快速把數位照片「洗」成實體照片？而且最好能不花時間、立即拿到、價格也不貴呢？ 如果家裡沒有印表機（或是沒有好的印表機），又不想跑照相館，那麼這時候 「便利商店」同樣也提供了印照片的服務 ，而且價格不貴，可以立即拿到，操作流程也十分簡單。 之前我在電腦玩物分享過：「 不需買印表機也免隨身碟， 7-11 全家雲端列印超方便教學 」。這篇文章則從印照片出發： 同樣的不需買印表機、不需隨身碟，就能快速印出高品質的照片成品。
........................繼續閱讀全文內容

Google Maps 我的地圖完全教學！規劃自助旅行攻略

作者：
圖片
在之前寫完「 善用 Google 航班搜尋找出理想便宜機票的 10 個技巧 」一文後，我想繼續挖掘 Google 幫我們規劃自助旅行的潛力。 今天這篇文章，就深入的來聊聊 Google 的「我的地圖」服務，這是一個可以讓我們「自訂地圖」的工具 ，在地圖上任意繪製地標、路線，對商務需求來說可以打造出一張一張資料地圖（例如我之前在製作一本新書時建立的「 台灣推薦空拍地點地圖 」），對生活需求來說，則可以讓我們規劃自助旅行路線！ Google 「我的地圖」在規劃自助旅行路線時可以解決許多問題： 國外地點名稱地址常常難懂，用自訂地圖就能自己取一個好辨識的名稱。 在規劃路線之外，自訂地圖還能補充許多旅遊圖文資料，讓這張地圖就是旅遊手冊。 好看的自訂地圖一方面旅行時帶來好心情，二方面事後就是最好的旅遊回憶之一。 自訂地圖還能跟朋友共享合作，讓彼此都能在手機上查看這次旅行地圖。
........................繼續閱讀全文內容

Slack 完整教學與上手心得：找到正確的團隊溝通之道

作者：
圖片
你聽過或用過 Slack 嗎？過去一年， Slack 這一個團隊通訊平台服務不僅在國外爆紅，在台灣我也看過好幾個創業團隊使用 Slack 來做公司內部的訊息管理，到底 Slack 有什麼魅力？它是不是比起 LINE 或 Facebook 或 Email 更能有效率的管理團隊溝通呢？我自己今年也有機會在一個專案合作中使用了 Slack 一段時間，我覺得它吸引人之處有三點： 1. 「 很有趣 」： Slack 裡擁有跟 LINE 或 Facebook 一樣易於讓公司同事聊天打屁、傳送有趣影音圖文的功能。 2. 「 有效率 」：但是 Slack 的頻道、群組機制讓茶水間的聊天，不會干擾工作的討論，並且星號與釘選功能讓每個同事可以從聊天中記錄重點。 3. 「 有彈性 」： Slack 的架構可以讓每一個團隊設計出符合自己需求的通訊平台， Slack 的軟體則讓同事可以在任何地方和公司保持聯繫。 如果你需要中文版的同類平台，可以參考： JANDI 高效率團隊通訊平台完整教學，比 Slack 更適合中文用戶 。 2017/3 新增 ： Sortd for Slack： 改造 Slack 討論串介面變成專案任務排程看板
........................繼續閱讀全文內容

Google NotebookLM 免費中文 AI 筆記實例教學，老師、學生、創作者利器

作者：
圖片
Google NotebookLM 是一個以 AI 筆記本為概念的線上生成式 AI 問答工具。和 ChatGPT 、 Copilot 不同的是， Google NotebookLM 「相對」不會憑空生成內容，也不是上網找答案，而是結合文件資料庫 AI 分析功能（透過  Gemini Pro  分析我們的知識庫），幫助我們根據自己上傳的大量筆記、文件，生成有明確引用的論文摘要、報告企劃、文章大綱。 相較之下很適合自己已經有足夠資料，只是需要 AI 協助分析與輸出的人，例如老師規畫課程、學生製作報告、研究者撰寫論文、創作者撰寫草稿來使用。
........................繼續閱讀全文內容

Google 表單自動關閉回覆教學：時間人數到達就過期

作者：
圖片
Google 表單，是 Google 雲端硬碟裡用來製作線上問卷調查的免費工具。 愈來愈強大、愈來愈漂亮的 Google 表單，可是設計出各式各樣擁有專業問題、滿足特殊調查需求的精美問卷，如果你還不知道怎麼活用他的基本功能，那麼一定要參考下面三篇我在電腦玩物中所寫的一系列教學，從基本功能到隱藏功能，會帶你上手這個好用的工具： 設計問卷調查快速免費，新版線上 Google form 表單教學 不再只有醜醜範本！如何幫 Google 表單美化背景外觀？ Google 表單的 10 個專業問券調查設計秘密教學  也因為寫了一系列實用的 Google 表單教學，所以很多朋友來問我： Google 表單還能不能滿足某某個需求？ 而其中被詢問度最高的就是：「 可不可以讓 Google 表單 自動關閉回覆 ？時間過期了問卷就關閉，填寫人數到達限額了就自動停止。 」如果可以做到，那麼 Google 表單甚至可以用在報名表、抽獎表之類的應用了。好消息是，這個問題有解了，今天開始 Google 表單可以做到限期、限額自動關閉回覆的功能囉！ 2017/8/31 新增 ： 自動移除額滿選項！ Google 表單報名購物限制數量最簡單教學
........................繼續閱讀全文內容

Miro 遠距工作開視覺會議的免費強大白板，專案圖解實例教學

作者：
圖片
團隊一起開會討論專案規劃、產品設計， 為了把大家的想法表達得更清楚，需要將各種思考視覺化，把各種計畫圖解化。 例如用 心智圖 展開專案流程，用 系統思考法 釐清專案關鍵環節，或是畫一張 商業模式精實畫布 。 面對面開會時，我們可以在會議室的大白板上，畫出這些圖解。 但如果想要遠距工作、遠端會議，這時候，就可以利用「線上協同合作的白板工具」 。這類遠距視覺會議的工具其實也不少，我之前介紹過的簡單版工具就有： Witeboard 世界上最簡單快速的協同合作白板，開會上課利器 Awwapp 觸控靈敏線上共用白板，免註冊電腦平板手機立即可用 但說到功能強大，可以滿足各種視覺會議的圖解需求，就不能不提到： 「 Miro 」這個線上視覺圖解白板工具。
........................繼續閱讀全文內容

畫張圖說得更清楚！ Napkin 用 AI 幫你的簡報文章手繪視覺思考圖

作者：
圖片
今天要跟大家介紹一個很有意思，也可能對老師、創作者、常做簡報的職場工作者很有幫助的 AI 工具：「 Napkin （餐巾紙）」，這是一個 AI 會根據我們提供的文字，創作手繪圖表、圖解、圖說的線上工具。 為什麼叫做 Napkin（餐巾紙）？如果你看過可以說是簡報經典著作的《簡報 Show and tell》、《餐巾紙的背後》作者丹‧羅姆（Dan Roam）系列書籍，你應該就能心領神會。
........................繼續閱讀全文內容

少記筆記，減少整理，高效輸出：6 原則打造任務驅動型第二大腦

作者：
圖片
筆記越記越多，卻越來越難找到實用的內容？你是否浪費了大把時間整理從未使用過的資料？其實很多時候： 「放下資料，不整理」，就是最有效的整理方法。 就像「精實管理」中強調的：「需要的東西，在需要的時候，只提供需要的量。」減少庫存、人工的額外浪費。當我們在打造個人第二大腦時，也可以把握這個整理原則。
........................繼續閱讀全文內容

Google 表單的 10 個專業問卷調查設計秘密教學

作者：
圖片
2018 年最新教學整理 ： Google 表單不是只能做問卷， 你沒想到的10個活用案例教學   說到 Google 表單功能，現在愈來愈多人知道可以利用他來製作免費的線上問卷調查，或是利用他來收集學校班級、公司團體裡的各種投票、意見、資料。利用「 Google 表單」，任何人都可以不花一毛錢、不需要寫程式技巧、不需要自己架站，就可以自己完成例如訂便當網頁、線上報名系統，或是線上讓上百上千人一起回答的問卷統計。 而且最新版的 Google 表單還提供了漂漂亮亮的各種新版面，就算不滿意也能讓自己新增照片、影片、調整外觀，製作出實用又好看的問卷： 設計問卷調查快速免費，新版線上 Google form 表單教學 不再只有醜醜範本！如何幫 Google 表單美化背景外觀？ Google 表單的基本功能很好上手，但是大家有沒有深入挖掘一下 Google 表單更多的潛力？或者一些缺少的功能有沒有技巧可以轉個彎補足？我們可以在 Google 表單中做出跳轉答案的心理測驗遊戲嗎？或是可以在 Google 表單限制回答者一定要在郵件欄位填寫電子郵件？ 今天這篇文章，我要總結 Google 表單的新舊功能， 一起來看看可能很多朋友不知道的 Google 表單設計秘密。 2014 補充秘密：讓 Google 表單可以到期自動關閉 ： Google 表單自動關閉回覆教學：時間人數到達就過期 2015/9/6 新增 ： Google 表單新介面你試過嗎？快速設計時尚問卷調查 2015/9/21 新增 ： Excel 記帳雲端進化！ Google 表單比記帳 App 還好用 2016/3/21 新增： 如何讓 Google 表單報名成功後自動寄出確認通知信？ 2016/6/28 新增 ： Google 表單測驗卷製作教學，幫老師自動改考卷評分 2017/1/23 新增 ： 用 Google 表單設計九宮格晨間日記教學：問卷自動轉特殊文件 2017/6/27 新增 ： Google 表單支援中文智慧型問卷，寫好題目自動設計好答案！ 2017/7/9 新增 ： 出國旅行記帳分帳不混亂教學：免裝 App 的記帳表格範本下載   2017/7/11 新增 ： 免費簡單架設報名徵選傳檔網頁， Google 表單上傳檔案開放了 2017/...
........................繼續閱讀全文內容