ChatGPT 圖文混合提問 9 種超能力:程式、教育、學習到行銷應用



在現今資訊化的時代,多模態的資訊表達方式已是不可或缺,我們常常發現,單純的文字無法精確傳達完整的信息,只有融合圖片、影片或聲音才能真正地展現其深度和細節。而之前 ChatGPT 的 AI 提問侷限於文字,許多提問與內容生成上就有侷限。幸好,現在 ChatGPT GPT-4V 開始支援上傳圖片,結合文字提問,無論對於學生、設計師、行銷人員、教育工作者等多數人來說,就能提出「圖文混合的問題」,從而獲得更多超能力般的應用。

ChatGPT 近期正在陸續針對付費版用戶(GPT-4)推出這項功能,在訊息提問時可以「上傳圖片」。看起來好像很簡單?不就是圖片辨識嗎?

但結合 ChatGPT 原本強大的文字提問與生成能力,現在這樣的圖文混合多模態,確實可以有許多意想不到的應用。





例如:當你在寫程式時遇到困難,只需提供一個網站截圖,這款工具就能為你生成相應的模擬程式碼。

或是在行銷領域中,通過分析產品照片,它能夠快速地幫助我們了解目標消費者的喜好,提供更個性化的行銷策略。


而且我實際測試 ChatGPT 圖文混合提問後,生成的內容「很明顯的」優於更早推出類似功能的:「Google Bard 圖片 AI 辨識的 6 種應用案例,用手繪圖寫出簡單網頁」。

所以今天這篇教學文章,就要跟大家分析 ChatGPT 圖文混合提問的 9 種超能力,而且實測案例會從程式開發、圖像設計、教育學習、生活問題到行銷應用,一一提出我實際測試後的經驗談,跟大家分享。

2023/11 更新,ChatGPT plus 不只圖文混合,還能更多功能一起連動ChatGPT 自動串聯多功能案例:上網+圖像+文件組合生成技巧

2024 更新,我實驗了一年的 AI 工作流程總整理2024 我和 ChatGPT AI 工具如何一起工作,提示語、常用案例指南




01. 寫程式應用:提供一個網站截圖,寫出模擬的網頁程式碼

假如我需要快速寫一個網站首頁的模板,可以這樣試試看:在 ChatGPT (GPT-4V)中上傳一張範例網站的截圖,然後請 ChatGPT 根據截圖寫出類似風格的網頁程式碼。

這樣一來,我們就不用花很多時間用文字寫出自己想要的網頁規格,而是給一張圖,請 AI 去分析出需要的規格。(這就是一圖勝千言的圖文混合提問

實際上我是這樣提問的(我上傳的是 Notion 首頁的截圖):

「你是一位網頁程式碼專家,根據這邊提供的網站版面圖片,設計一張網站首頁的完整程式碼。請一步一步分析,先讀取圖片中有哪些內容與版面區塊,分析每個區塊的大小、距離、位置,了解網頁結構後開始設計,如果是文字標題或按鈕盡量符合原始內容並美化,如果是圖片內容就先放上假的框框,最後撰寫出跟原始圖片相近的網頁程式碼。」




ChatGPT 會先分析 Notion 網站首頁的截圖,提供他的結構建議,然後開始撰寫程式碼。

我很早之前也在電腦玩物分享過自己如何利用 ChatGPT ,寫出一個我到現在自己都還在用的網頁番茄鐘小工具:「ChatGPT 幫我不懂程式碼也能寫出番茄鐘待辦清單工具,實測心得」。




而這段程式碼產出的網頁成果如下圖。

雖然跟 Notion 網頁不是 100% 一樣,但是基本的樣貌、架構也有一定程度的雛型了。

如果不滿意,其實只要在 ChatGPT 對話中請其繼續修改程式碼即可。





02. 創意應用:分析我的手繪圖,變成設計圖

現在 ChatGPT 可以上傳圖片去分析內容,如果結合最近也陸續推出的 ChatGPT DALL-E 3 繪圖功能(ChatGPT DALL-E 3 的7個特殊 AI 繪圖應用教學,勝過 Midjourney),是否能實現這樣的流程:

用手繪圖畫出自己想像的設計,請 AI 分析,然後請 AI 畫出需要的設計圖。

讓我來試試看,我先手繪出想像的設計圖檔,請 AI 先描述這張圖。




然後,把這段描述貼到 ChatGPT 的 DALL-E 3 繪圖頻道中,請他根據這段分析,匯出類似的設計圖。

以下是第一次繪圖產出的結果,其中「文字」部分有點小錯誤,但整體的效果則是滿意的。




同樣的邏輯,我們也可以上傳任何設計圖,然後請 ChatGPT 分析背後的設計原理,這樣我們就可以接續設計。





03. 旅行應用:拍下一個地標,讓 ChatGPT 帶你認識這個地標

在生活中,我們可以試試看利用 ChatGPT 的圖片辨識與文字生成功能,辨識出古蹟、地標,描繪背後的歷史故事,並根據周圍場景進行當下環境的推理判斷。

例如下圖這樣的提問,關鍵在於除了 ChatGPT 可以辨識出照片中的內容外,更重要的是結合文字生成能力,他給了我一段非常完整的歷史、意義介紹,並且,最後 ChatGPT 還發現「這不是真的特洛伊木馬,只是遊樂場的裝飾」!






04. 居家應用:在超市、餐廳、家中拍攝食品,計算熱量、提供食譜

圖文混合應用要有效,不僅要能辨識圖片內容,還要有強大的文字生成能力。

所以 ChatGPT 現在可以上傳圖片,請他根據圖片中的內容計算卡路里。




上傳餐廳某道料理照片,請 ChatGPT 分析食譜。





或者,拍一下超市貨架的食品,請 ChatGPT 根據這些食材,設計今天晚上的菜單!

發揮我們的想像力與提問力,圖文混合會有很多直覺的驚奇應用。






05. 教育應用:分析一張圖片的操作、歷史、地理等教學重點

例如我常常要撰寫軟體教學,那麼我可以上傳一張工具的介面圖,然後請 ChatGPT 分析這個工具可能怎麼用?介面中有哪些特殊功能?

下圖的結果異常的準確!




如果我是一個地理老師,上傳一張風景照片,然後用 AI 生成照片的地理介紹知識。




我是一個歷史老師,上傳一張歷史照片、文化古蹟相關圖片,用 AI 生成文化背景的介紹。

只要給他一些基本的提示,例如:「分析這張「台灣舊石器時代復原」照片內呈現的動作與場景,以歷史老師的角度,介紹其中人物的生活與文化知識。」讓 ChatGPT 有一個分析方向,就能在圖文混合提問中,獲得非常有用的結果。

針對學校教學,老師們還可以結合這個工具:Eduaide 免費 AI 課程助教幫老師設計教學、測驗到行政,支援中文





06. 學習應用:教師或學生可以用來解釋複雜的圖表概念或數學問題

有時候,一個複雜的圖表、數學公式看不懂,現在可以試試看上傳圖片到 ChatGPT ,請他試試看能否解釋給我們聽。

例如我上傳了下面這張圖表,而且我這一次故意問得很簡單,不給他任何提示:「請分析這張圖表的內容,並解釋這張圖表的理論與案例。」




結果, ChatGPT 還算正確的回答了圖表中的關鍵內容。

也就是說:

遇到比較複雜的圖表,想要理解背後的意義,甚至要轉換成教學,可以上傳圖片,利用 AI 來分析解釋。





07. 設計應用:廣告、設計圖像的分析與效果測試

我們有沒有可能請 AI 進行設計、美學、歷史文化背景的分析呢?如果可以,是否就能在設計上獲得許多輔助,也跳脫文字的思考,現在可以進行圖象的腦力激盪?

我嘗試了下面這樣的案例,我先上傳一張星巴克新舊版 LOGO 的比較圖,請他進行美學、設計、文化分析。




下面是 ChatGPT 提供給我的比較結果,從我的角度來看,已經非常完整且有用。




然後,我把其中的重點轉換成設計語言,又拿到 ChatGPT 的 DALL-E 3 ,請他用「同樣的設計邏輯」,設計一個「海洋」主題的圖像,下圖就是他生成的結果。






08. 行銷應用:消費者分析:理解用戶的生活習慣和喜好

我又進行了下面的挑戰,我拍下某種我想要觸及的消費者會活動的場景照片,然後請 ChatGPT 根據場景照片,分析會到該場所的消費者有什麼特性。




結果 ChatGPT 分析圖像後,給了我下面的回答。

也就是說:

可以讓 ChatGPT 根據照片中的場景與氛圍(圖的分析),分析喜愛到這樣的地方的人,有哪些特質?哪些行為取向?喜愛哪些東西?(文的分析)





09. 機器維修與操作圖的挑戰

下面則是我自己補充的一個小小挑戰,有時候一個問題,照片的傳達更好。

所以我拍下一張電線安裝的照片,問 ChatGPT 可以怎麼做。




ChatGPT 提供給我下面的回答,一開始還會提醒我注意安全。




以上就是我這幾天利用 ChatGPT 「上傳圖片」功能,完成的幾種不同類型的提問,關鍵在於,有強大的「圖片分析」,以及更強大的「文字生成」,才能讓上述的應用實現。

值得大家試試看。

有興趣的朋友還可以進一步研究:



大家好,我是電腦玩物站長 Esor ,歡迎參考我的系列課程與書籍:
我的電子郵件是 esorhjy@gmail.com ,如果你有任何關於筆記術、時間管理、提升工作效率的問題,歡迎寫信跟我討論。

(歡迎社群分享。但全文轉載請來信詢問,禁止修改上述內文,禁止商業使用,並且必須註明來自電腦玩物原創作者 esor huang 異塵行者,及附上原文連結:ChatGPT 圖文混合提問 9 種超能力:程式、教育、學習到行銷應用

留言

  1. Esor您好

    我是Chat-GPT付費用戶,最近還在疑惑圖片上傳功能該怎麼使用﹑會提供什麼幫助。

    看到您的分享,真是大開眼界,也學到很多運用的方式。

    今後再來好好嘗試&摸索。謝謝Esor:)

    回覆刪除
  2. 老师好,现在一些场景的图片识别,gpt4经常会回答“Sorry, I cannot help with that.”例如您发的08行销的使用~

    回覆刪除
    回覆
    1. 我暫時不確定原因會是什麼,範例中我用的是自己拍的咖啡館照片,嘗試類似照片是可以的

      刪除
  3. 事實上,GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。

    回覆刪除
  4. 事實上,GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。

    回覆刪除

張貼留言

為了避免垃圾廣告留言過多,開始測試「留言管理」機制,讓我可以更容易回應讀者留言,並更簡單過濾掉廣告,但只要不是廣告留言都會通過審核。

這個網誌中的熱門文章

Google 文件推出「分頁」,高效整理專案文件、論文研究資料庫

全家沖印、 7-11 列印照片誰好用?立可得與 ibon教學+比較表

實測用《 ChatGPT x Excel 自動化工作聖經》技巧,設計自動規劃電動車里程電量的 Google 試算表

Google NotebookLM 免費中文 AI 筆記實例教學,老師、學生、創作者利器

Google Maps 我的地圖完全教學!規劃自助旅行攻略

Slack 完整教學與上手心得:找到正確的團隊溝通之道

為什麼大家愛用 Trello ?最佳整理教學讓事情井然有序

畫張圖說得更清楚! Napkin 用 AI 幫你的簡報文章手繪視覺思考圖

ChatGPT Canvas 全新 AI 寫作、程式碼編輯工具,不再只能對話!

Google NotebookLM 影音升級:用 AI 學習英文 YouTube 影片、 整理大量錄音檔最佳工具