Google Gemini 圖片 AI 辨識的 6 種應用案例,用手繪圖寫出簡單網頁



Google Bard AI 助理昨天又有了許多的更新,其中一個很讓人期待的是支援「 Google 應用服務外掛」,讓 Bard 助理可以連結我們的 Gmail、雲端硬碟、地圖等等不同 Google 符合,產出像是找出文件並改寫、連結地圖與航班工具完成旅行規劃等等任務。不過,這個看起來很厲害的功能,目前只有英文版可以使用。但中文版的 Google Bard 用戶也有一個值得試試看的更新,就是支援中文的「上傳圖片進行 AI 分析處理」的功能。

今天這篇文章,就來試試看 Google Bard 中文版的「上傳圖片進行 AI 分析處理」功能,可以有哪些應用方式,有機會達成什麼樣的效果。

基本上,辨識圖片的功能其實就是行之有年的 Google Lens 智慧鏡頭,所以我們理所當然可以想像能辨識出圖片中的文字、圖像。而當跟 Bard AI 生成結合,這些辨識出的內容可以延伸做出哪些更進一步的整理呢?

如果想了解 Google Bard 幾種關鍵功能與應用方式的朋友,歡迎參考:

2023/10/15 更新,ChatGPT 現在還可以圖片、文字混合提問,而且效果更好ChatGPT 圖文混合提問 9 種超能力:程式、教育、學習到行銷應用






1. 圖片文字 OCR,中文手寫也能辨識

之前 Google Bard 圖片上傳功能只支援英文版,現在開始中文版也能使用,理所當然的,就能用 OCR 去辨識圖片內的中文文字內容。

例如我可以上傳一張公告圖檔,請 Bard:「整理現在上傳的這張圖片中的文字內容。」

如果這張圖片內的文字沒有太多變化的版面,基本上可以很快速完整的辨識出來。(這樣的 OCR 工具也很多,例如:節省從影片圖表複製翻譯資料時間,桌面端 Google 智慧鏡頭超活用




而簡單的中文手寫筆記,只要夠清晰、結構不複雜,也能順利辨識出內容,還能請 AI 幫忙直接整理。





2. 把流程圖圖片整理成文字大綱

如果是比較複雜的流程圖「圖片」,有辦法利用 Google Bard 進行辨識嗎?這邊如果要 Bard 直接整理圖片上的流程圖,會很容易失敗,但可以分成兩步驟來做。

先單純辨識文字:「辨識下面這張流程圖圖片中的所有文字內容,並列出所有文字。」




然後請 Bard 用 AI 把散亂的文字重新整理成大綱:「根據流程圖把上述文字整理成大綱清單。」

不過太複雜的流程圖,辨識文字有一定難度外,也很難整理成有條理的大綱。





3. 看圖說故事,用照片寫出文章

Google Bard 目前似乎不允許上傳有人物的照片去做分析,但其他內容可以。

這時候,我們可以試試看請 Bard 根據圖片來寫出一段介紹:「根據這張圖片,撰寫一篇旅行文章。」





4. 根據手繪圖片,設計簡單網頁程式碼

還有一個有趣的利用,我們可以試試看手繪出一個簡單的網頁版面,請 Google Bard 分析圖片後,寫出網頁程式碼。

當然,目前 Bard 還無法進行很複雜的版面分析與設計,但像是下圖這樣的結果,是可以順利產出的。






5. 照片內容分析,介紹動植物或產品

原本的 Google Lens 智慧鏡頭就可以一定程度的辨識照片中的動物、植物、產品,現在這個功能結合到 Google Bard ,我們就可以在辨識出照片內容後,再請 AI 進行進一步的分析與介紹。





6. 描述需要的圖片情境,讓 Bard 幫你找出來

而且現在 Google Bard 除了可以上傳圖片進行 AI 辨識分析,也可以在回答時顯示圖片。

所以或許我們可以這樣問:「我需要一張可以呈現"在辦公桌上專注工作"的圖片。」

這時候 Bard 就會根據這個邏輯去找到有適合內容情境的圖片檔案,這背後也是包含了圖片內容分析的技術。




Google Bard 這一系列更新,確實有不少特別的功能,而且目前都是免費帳號即可應用。

不過實際使用上, Bard 在提問與回答上相較於 ChatGPT ,還是比較無法處理一些複雜有邏輯的任務生成。所以基本上我還是主要使用 ChatGPT 作為 AI 助理,特別情況下才會 Google Bard 獨有功能來解決問題,就像這篇文章提到的圖片辨識與延伸內容生成需求時。



大家好,我是電腦玩物站長 Esor ,歡迎參考我的系列課程與書籍:


我的電子郵件是 esorhjy@gmail.com ,如果你有任何關於筆記術、時間管理、提升工作效率的問題,歡迎寫信跟我討論。

(歡迎社群分享。但全文轉載請來信詢問,禁止修改上述內文,禁止商業使用,並且必須註明來自電腦玩物原創作者 esor huang 異塵行者,及附上原文連結:Google Bard 圖片 AI 辨識的 6 種應用案例,用手繪圖寫出簡單網頁

留言

  1. 以一樣的做法上傳圖片要求擷取文字,只得到「我是語言模型,沒有能力幫這個忙。」不知道是否為選擇性開放試用新功能

    回覆刪除
  2. 可以用簡單的圖片, 用AI轉換成網頁程式碼,很方便!謝謝分享!

    也歡迎逛逛我的網站:
    https://hk-computer-repair.com/

    回覆刪除

張貼留言

為了避免垃圾廣告留言過多,開始測試「留言管理」機制,讓我可以更容易回應讀者留言,並更簡單過濾掉廣告,但只要不是廣告留言都會通過審核。

這個網誌中的熱門文章

全家沖印、 7-11 列印照片誰好用?立可得與 ibon教學+比較表

Google Maps 我的地圖完全教學!規劃自助旅行攻略

Slack 完整教學與上手心得:找到正確的團隊溝通之道

Google NotebookLM 免費中文 AI 筆記實例教學,老師、學生、創作者利器

Miro 遠距工作開視覺會議的免費強大白板,專案圖解實例教學

Google 表單自動關閉回覆教學:時間人數到達就過期

畫張圖說得更清楚! Napkin 用 AI 幫你的簡報文章手繪視覺思考圖

少記筆記,減少整理,高效輸出:6 原則打造任務驅動型第二大腦

Excalidraw 免費 AI 生成流程圖,一鍵畫出知識圖表、專案流程、寫作大綱

ChatGPT Canvas 全新 AI 寫作、程式碼編輯工具,不再只能對話!