ChatGPT 圖文混合提問 9 種超能力:程式、教育、學習到行銷應用



在現今資訊化的時代,多模態的資訊表達方式已是不可或缺,我們常常發現,單純的文字無法精確傳達完整的信息,只有融合圖片、影片或聲音才能真正地展現其深度和細節。而之前 ChatGPT 的 AI 提問侷限於文字,許多提問與內容生成上就有侷限。幸好,現在 ChatGPT GPT-4V 開始支援上傳圖片,結合文字提問,無論對於學生、設計師、行銷人員、教育工作者等多數人來說,就能提出「圖文混合的問題」,從而獲得更多超能力般的應用。

ChatGPT 近期正在陸續針對付費版用戶(GPT-4)推出這項功能,在訊息提問時可以「上傳圖片」。看起來好像很簡單?不就是圖片辨識嗎?

但結合 ChatGPT 原本強大的文字提問與生成能力,現在這樣的圖文混合多模態,確實可以有許多意想不到的應用。





例如:當你在寫程式時遇到困難,只需提供一個網站截圖,這款工具就能為你生成相應的模擬程式碼。

或是在行銷領域中,通過分析產品照片,它能夠快速地幫助我們了解目標消費者的喜好,提供更個性化的行銷策略。


而且我實際測試 ChatGPT 圖文混合提問後,生成的內容「很明顯的」優於更早推出類似功能的:「Google Bard 圖片 AI 辨識的 6 種應用案例,用手繪圖寫出簡單網頁」。

所以今天這篇教學文章,就要跟大家分析 ChatGPT 圖文混合提問的 9 種超能力,而且實測案例會從程式開發、圖像設計、教育學習、生活問題到行銷應用,一一提出我實際測試後的經驗談,跟大家分享。

2023/11 更新,ChatGPT plus 不只圖文混合,還能更多功能一起連動ChatGPT 自動串聯多功能案例:上網+圖像+文件組合生成技巧

2024 更新,我實驗了一年的 AI 工作流程總整理2024 我和 ChatGPT AI 工具如何一起工作,提示語、常用案例指南




01. 寫程式應用:提供一個網站截圖,寫出模擬的網頁程式碼

假如我需要快速寫一個網站首頁的模板,可以這樣試試看:在 ChatGPT (GPT-4V)中上傳一張範例網站的截圖,然後請 ChatGPT 根據截圖寫出類似風格的網頁程式碼。

這樣一來,我們就不用花很多時間用文字寫出自己想要的網頁規格,而是給一張圖,請 AI 去分析出需要的規格。(這就是一圖勝千言的圖文混合提問

實際上我是這樣提問的(我上傳的是 Notion 首頁的截圖):

「你是一位網頁程式碼專家,根據這邊提供的網站版面圖片,設計一張網站首頁的完整程式碼。請一步一步分析,先讀取圖片中有哪些內容與版面區塊,分析每個區塊的大小、距離、位置,了解網頁結構後開始設計,如果是文字標題或按鈕盡量符合原始內容並美化,如果是圖片內容就先放上假的框框,最後撰寫出跟原始圖片相近的網頁程式碼。」




ChatGPT 會先分析 Notion 網站首頁的截圖,提供他的結構建議,然後開始撰寫程式碼。

我很早之前也在電腦玩物分享過自己如何利用 ChatGPT ,寫出一個我到現在自己都還在用的網頁番茄鐘小工具:「ChatGPT 幫我不懂程式碼也能寫出番茄鐘待辦清單工具,實測心得」。




而這段程式碼產出的網頁成果如下圖。

雖然跟 Notion 網頁不是 100% 一樣,但是基本的樣貌、架構也有一定程度的雛型了。

如果不滿意,其實只要在 ChatGPT 對話中請其繼續修改程式碼即可。





02. 創意應用:分析我的手繪圖,變成設計圖

現在 ChatGPT 可以上傳圖片去分析內容,如果結合最近也陸續推出的 ChatGPT DALL-E 3 繪圖功能(ChatGPT DALL-E 3 的7個特殊 AI 繪圖應用教學,勝過 Midjourney),是否能實現這樣的流程:

用手繪圖畫出自己想像的設計,請 AI 分析,然後請 AI 畫出需要的設計圖。

讓我來試試看,我先手繪出想像的設計圖檔,請 AI 先描述這張圖。




然後,把這段描述貼到 ChatGPT 的 DALL-E 3 繪圖頻道中,請他根據這段分析,匯出類似的設計圖。

以下是第一次繪圖產出的結果,其中「文字」部分有點小錯誤,但整體的效果則是滿意的。




同樣的邏輯,我們也可以上傳任何設計圖,然後請 ChatGPT 分析背後的設計原理,這樣我們就可以接續設計。





03. 旅行應用:拍下一個地標,讓 ChatGPT 帶你認識這個地標

在生活中,我們可以試試看利用 ChatGPT 的圖片辨識與文字生成功能,辨識出古蹟、地標,描繪背後的歷史故事,並根據周圍場景進行當下環境的推理判斷。

例如下圖這樣的提問,關鍵在於除了 ChatGPT 可以辨識出照片中的內容外,更重要的是結合文字生成能力,他給了我一段非常完整的歷史、意義介紹,並且,最後 ChatGPT 還發現「這不是真的特洛伊木馬,只是遊樂場的裝飾」!






04. 居家應用:在超市、餐廳、家中拍攝食品,計算熱量、提供食譜

圖文混合應用要有效,不僅要能辨識圖片內容,還要有強大的文字生成能力。

所以 ChatGPT 現在可以上傳圖片,請他根據圖片中的內容計算卡路里。




上傳餐廳某道料理照片,請 ChatGPT 分析食譜。





或者,拍一下超市貨架的食品,請 ChatGPT 根據這些食材,設計今天晚上的菜單!

發揮我們的想像力與提問力,圖文混合會有很多直覺的驚奇應用。






05. 教育應用:分析一張圖片的操作、歷史、地理等教學重點

例如我常常要撰寫軟體教學,那麼我可以上傳一張工具的介面圖,然後請 ChatGPT 分析這個工具可能怎麼用?介面中有哪些特殊功能?

下圖的結果異常的準確!




如果我是一個地理老師,上傳一張風景照片,然後用 AI 生成照片的地理介紹知識。




我是一個歷史老師,上傳一張歷史照片、文化古蹟相關圖片,用 AI 生成文化背景的介紹。

只要給他一些基本的提示,例如:「分析這張「台灣舊石器時代復原」照片內呈現的動作與場景,以歷史老師的角度,介紹其中人物的生活與文化知識。」讓 ChatGPT 有一個分析方向,就能在圖文混合提問中,獲得非常有用的結果。

針對學校教學,老師們還可以結合這個工具:Eduaide 免費 AI 課程助教幫老師設計教學、測驗到行政,支援中文





06. 學習應用:教師或學生可以用來解釋複雜的圖表概念或數學問題

有時候,一個複雜的圖表、數學公式看不懂,現在可以試試看上傳圖片到 ChatGPT ,請他試試看能否解釋給我們聽。

例如我上傳了下面這張圖表,而且我這一次故意問得很簡單,不給他任何提示:「請分析這張圖表的內容,並解釋這張圖表的理論與案例。」




結果, ChatGPT 還算正確的回答了圖表中的關鍵內容。

也就是說:

遇到比較複雜的圖表,想要理解背後的意義,甚至要轉換成教學,可以上傳圖片,利用 AI 來分析解釋。





07. 設計應用:廣告、設計圖像的分析與效果測試

我們有沒有可能請 AI 進行設計、美學、歷史文化背景的分析呢?如果可以,是否就能在設計上獲得許多輔助,也跳脫文字的思考,現在可以進行圖象的腦力激盪?

我嘗試了下面這樣的案例,我先上傳一張星巴克新舊版 LOGO 的比較圖,請他進行美學、設計、文化分析。




下面是 ChatGPT 提供給我的比較結果,從我的角度來看,已經非常完整且有用。




然後,我把其中的重點轉換成設計語言,又拿到 ChatGPT 的 DALL-E 3 ,請他用「同樣的設計邏輯」,設計一個「海洋」主題的圖像,下圖就是他生成的結果。






08. 行銷應用:消費者分析:理解用戶的生活習慣和喜好

我又進行了下面的挑戰,我拍下某種我想要觸及的消費者會活動的場景照片,然後請 ChatGPT 根據場景照片,分析會到該場所的消費者有什麼特性。




結果 ChatGPT 分析圖像後,給了我下面的回答。

也就是說:

可以讓 ChatGPT 根據照片中的場景與氛圍(圖的分析),分析喜愛到這樣的地方的人,有哪些特質?哪些行為取向?喜愛哪些東西?(文的分析)





09. 機器維修與操作圖的挑戰

下面則是我自己補充的一個小小挑戰,有時候一個問題,照片的傳達更好。

所以我拍下一張電線安裝的照片,問 ChatGPT 可以怎麼做。




ChatGPT 提供給我下面的回答,一開始還會提醒我注意安全。




以上就是我這幾天利用 ChatGPT 「上傳圖片」功能,完成的幾種不同類型的提問,關鍵在於,有強大的「圖片分析」,以及更強大的「文字生成」,才能讓上述的應用實現。

值得大家試試看。

有興趣的朋友還可以進一步研究:



大家好,我是電腦玩物站長 Esor ,歡迎參考我的系列課程與書籍:
我的電子郵件是 esorhjy@gmail.com ,如果你有任何關於筆記術、時間管理、提升工作效率的問題,歡迎寫信跟我討論。

(歡迎社群分享。但全文轉載請來信詢問,禁止修改上述內文,禁止商業使用,並且必須註明來自電腦玩物原創作者 esor huang 異塵行者,及附上原文連結:ChatGPT 圖文混合提問 9 種超能力:程式、教育、學習到行銷應用

留言

  1. Esor您好

    我是Chat-GPT付費用戶,最近還在疑惑圖片上傳功能該怎麼使用﹑會提供什麼幫助。

    看到您的分享,真是大開眼界,也學到很多運用的方式。

    今後再來好好嘗試&摸索。謝謝Esor:)

    回覆刪除
  2. 老师好,现在一些场景的图片识别,gpt4经常会回答“Sorry, I cannot help with that.”例如您发的08行销的使用~

    回覆刪除
    回覆
    1. 我暫時不確定原因會是什麼,範例中我用的是自己拍的咖啡館照片,嘗試類似照片是可以的

      刪除
  3. 事實上,GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。

    回覆刪除
  4. 事實上,GPT聊天現在正在展現其在AI方面的優越性。 我認為沒有任何人工智慧可以打敗它。

    回覆刪除

張貼留言

為了避免垃圾廣告留言過多,開始測試「留言管理」機制,讓我可以更容易回應讀者留言,並更簡單過濾掉廣告,但只要不是廣告留言都會通過審核。

這個網誌中的熱門文章

全家沖印、 7-11 列印照片誰好用?立可得與 ibon教學+比較表

Google Maps 我的地圖完全教學!規劃自助旅行攻略

Facebook Groups新版社團功能,和一小群朋友建立臉書秘密空間

Acer Chromebook 台灣開箱 Google Chrome OS 心得

Fences 1.0 正式版推出!管理桌面圖示從此井然有序,美化優化桌面的收納盒

如何在 Rainlendar 2.6 桌面行事曆添加RSS、天氣預報、倒數計時面板?

LINE App PC電腦版下載設定教學,手機電腦彈性即時通

Comodo Internet Security 4.0 免費防毒防駭防火牆新版心得

Rainlendar 2.2 桌面行事曆基本安裝設定完全攻略

Comodo Firewall + AntiVirus:全中文免費防火牆+防毒軟體上手教學