[論文心得] 什麼是 LLaVA 與 LLaVA-Interactive

img

前提:

LLaVA-Interactive 週末又在看微軟發表的新的 POC (還有論文) , LLaVA ( (Large Language-and-Vision Assistant: 可以讓你對一圖片透過 LLM 跟他對話,聽說是 GPT-4V 面向的能力),而微軟更依據這個打造黃金三角:

- Visual Chat: 針對圖像來理解 - Grounded Editing: 針對原有圖像的修改 - Interactive Segmentation: 透過一些互動的修改

你可以針對圖片去修改,重新生成後,再來針對新產生的圖片去理解並且去做 Visual Chat 。

論文, Github 跟 demo 都在 https://llava-vl.github.io/llava-interactive/

註解: LLaVA 是根據這個 repo https://github.com/haotian-liu/LLaVA

相關論文摘要:

LLaVA-Interactive是一個用於多模態人工智能互動的研究原型系統。該系統可以通過接收多模態用戶輸入並生成多模態回應,與用戶進行多輪對話。LLaVA-Interactive不僅僅局限於語言提示,還可以通過視覺提示對人類意圖進行對齊。該系統的開發非常節省成本,因為它結合了LLaVA的視覺聊天、SEEM的圖像分割以及GLIGEN的圖像生成和編輯等三個多模態技能,而無需進行額外的模型訓練。通過展示多種應用場景,我們展示了LLaVA-Interactive的潛力,並激發了未來在多模態互動系統方面的研究。

實際展示:

image-20231103215916067

  • 左邊上傳一張湖邊的圖片

  • 透過畫線的方式去修改(增加鳥跟船)。

  • 然後在右邊可以去根據新產生的圖片去聊天跟理解。

[論文心得] MM-VID : Advancing Video Understanding with GPT-4V(ision)

論文名稱:MM-VID : Advancing Video Understanding with GPT-4V(ision)

image-20240116094241013

image-20240116094251678

MM-VID : Advancing Video Understanding with GPT-4V(ision)

微軟對於 LMM 火力展示又來了,他們公開一套框架叫做 MM-VID 。

可以對於 Multiple Model 更強大的綜合應用。

不論是看動影片劇情,找尋某個片段。更有影片與聲音的綜合理解功能。第二張圖是架構,基本上透過兩個方面來綜合理解:

- 每一個 clip 的理解 (GPT-4V)

- 對於Metadata 的理解 (GPT-4)

最後產生總結與推論的相關工作

[好書分享] 重新想像教育的未來

重新想像教育的未來 - 世界教育部長肯.羅賓森最後演講,對教育、環保、文化的深刻洞見
作者: 肯.羅賓森  凱特.羅賓森  
原文作者: Sir Ken Robinson  Kate Robinson  
譯者: 廖建容  
出版社:天下文化 

買書推薦網址:

前言:

這是 2023 年第14本讀完的書。 對於 肯.羅賓森 (Sir Ken Robinson) 你可能有看過他在 TED 上面的演講(據說是 TED 目前最多人看過的影片)。關於「學校是否扼殺了創意!」。 肯.羅賓森 是一個致力於教育的偉大教育家,並且透過許多演講與書籍來分享關於教育的看法,這一本是他最後一本創作(因為身體因素,後期都是女兒協助完成)。

內容摘要:

▎教育,需要重新想像

現行教育體制有如「工業化農場」,過度看重服從、測驗和考上名校,
更甚於健康快樂、創造力和學習,忽視孩子的焦慮、壓力和迷茫。

如同我們正在破壞自然資源的多樣性,現行教育體制也在毀滅人類天賦的多樣性。

教育是活的系統,為活生生的人培育心智和心靈。
教育必須使學生了解周遭的世界,以及自己擁有的獨特天賦,
才能提高孩子的成就,使他們能在即將承接的世界發光發熱。

父母和老師是孩子最重要的擁護者;大人對孩子的信任必須高過對教育體系的信任。
當土壤對了,農牧系統就會順利發展;當教育對了,孩子便會順利成長。

一個教育制度能夠成功,不是因為考試,而是個體受到肯定,天賦的多元性受到重視。

在校園裡創造創意性的連結,用跨越年齡、跨越課程、多學科的方式學習,顧及個人的興趣,
以及每個人選擇的獨特路徑,不再教出一代又一代一模一樣的孩子,讓成長、發展和學習自然發生。

這就是像田地一樣充滿生機的「野化教育」,
讓孩子在健康的土壤學習與成長,不再看重標準化,而是發展多樣性。

教育的目標是培養八個核心能力:好奇心、創造力、評判力、溝通力、合作力、同情心、內心的平靜和公民權。
使學生離開校園之後,有能力迎接一生中必然要面對的個人、文化、經濟和社會的挑戰。

▎學校,需要重新想像

學校不該扼殺創意,而要成為活潑的學習場域,幫助學生真正認識自己的獨特天賦和興趣。

學校不該把學科分成「主科」(像是國文、數學、英文與科學)和
「副科」(像是藝術、音樂、體育)。「智商」並非「智力」的全貌。
人類的智力是多元的,鼓勵孩子發展多元智力,
才能發揮創造力。智力的最高形式,是創造性思考。

學校就像一個健康蓬勃的生態系統;
看重老師、跨學科教學、課表有彈性、以正確角度看待評量,
才能達成個人化學習的目標。

學校是廣義的文化生態系統的一部分。
優秀的農民會培育植物的自然生態系統,
同樣的,優秀的學校會致力與外界的更大社群有更緊密的連結。

▎未來,需要重新想像

強大的想像能力讓人類創造出影響深遠的成就,
改變了地球的面貌,但同時也把我們帶到懸崖邊緣。

這個時代的挑戰既真實又急迫,而且人類就是問題的源頭。
氣候變遷危機和地球困境是我們漠視大自然的結果。
要迎接地球與人類存亡的挑戰,我們必須發揮創造力,
讓經濟的發展能夠多元與永續,使生態系能夠平衡與蓬勃發展。

人類既然創造了目前居住的世界,就一定有辦法改造它。
長期以來我們一直用同樣的方式,不斷消耗人類資源和地球自然資源;
必須立刻解決這兩個問題,才能想望未來。

人類的優勢

人類天生的能力:

  • 想像力
  • 創造力
    • 過程
    • 原創
    • 價值

許多相關的創造力,在於現今社會許多不同媒體與事物的變革上。

你比你所想的更豐富

智力是多元的:

  • 在某些層面比較強,相較出來的其他層面就會比較弱。
  • 相關的智力也跟天生的環境有關。

智力是動態的:

  • 根據不同事情,不同環境的刺激。會有相關智力的表現。
  • 將智力與學習科目綁在一起,就會忽略了「創造力」

創造力的迷思:

  • 不是只有藝術相關的才是創造力,任何科目與項目都跟創造力有關。
  • 創造力來自於環境,各種遺傳也會影響著創造力的呈現方式。

教育的盲點:

  • 試著有條理地整理他們需要的知識,但是卻忘記了他們喜愛的事物。
  • 如何培養著相關創造力的產生。
  • 教育需要了解每一個學生:
    • 你了解的周遭世界
    • 因為你而存在的內在世界(創造力與智力

教育主要的方向:

  • 個人:
    • 了解並尊重每一個人,讓孩子樂於接受教育。
  • 文化:
    • 肯定自己的文化,了解其他文化與做法。
  • 經濟
  • 社會

八個重要的能力:

好奇心: 提處問題與探索世界運作方式的能力。

創造力: 產生新的想法和付諸實踐的能力。

  • 試著引導孩子們去探索,產生興趣。

判斷力: 分析資訊和想法,形成合理的論點與判斷力。

  • 幫助孩子們如何去尋找正確,並且來具有批判性思考。

溝通力:以不同方式清楚自信地表達想法和感受的能力。

合作力: 以建設性方式與他人共事的能力。

同情心: 對他人感同身受並因此採取行動的能力。

內心的平靜:與內在感受連結和培養內在和諧平衡的能力。

公民權: 以正向行動投入社會以及參與社會維繫過程的能力。

從工廠到農場的教育: 野化教育

工廠教育:

  • 大量生產的方式
  • 線性生產
  • 每個人(老師)有自己負責的項目(科目)
  • 預先定義,一成不變,嚴格控管

工廠化教育的缺點:

  • 把孩子當成商品來教育(到大學),但是往往在「成品」之前,他們的人生以經開始了一大半。
  • 透過固定化的教育,許多孩子變得更不快樂。

野化教育:

  • 好的農夫不會限制生長的框架
  • 反而會準備最好土壤,讓植物去成長茁壯。
  • 優秀的學校會專注於創造讓孩子成長茁壯,發光發熱的條件。

讓學校變成生態系統:

  • 尊重生態系統的多樣性(孩子們的多樣性)

  • 看重老師,就像孩子本身是教育的主體一樣。 老師也是教育裡面完全無法被剝奪的一環。老師就像是一個良好有經驗的農夫,需要被尊重與給予良好的待遇。

    • 老師的價值在於促進學習動機。(不是讓孩子拿高分)
    • 老師需要針對不同的學生給予不同的誘因與促進他們學習的動機。

    image-20231102221801598

    image-20231102221804284

  • 透過個人化教育:

    • 多樣性
    • 多面向,多元的智力發展
    • 更有彈性。
      • 如果有一家公司 40 分重要規定員工要做不同的事情,可能會倒閉。但是學校正在這樣做!

image-20231102222252110

心得:

如果說這是一本來自於「肯.羅賓森」的一本書,不如說這是他一輩子在做的事情的總結。就像他的三場改變數千萬人的 TED 演講一樣。整本書圍繞著這三個重要的概念,透過這三個主要的分享,帶來了三個概念:

  • 教育本身需要保有個人化
  • 如何透過野化教育來讓每一個小孩獲得最適合他的教育。
  • 如何讓學校變成良好的生態系統,而尊重老師也是重要的一環。

真的會讓每一個父母深思的一本書,我也相當感謝肯.羅賓森帶來的教育的震撼。也希望每一個兒童能夠受到更適合他們,更發人深省的教育系統。

[遊戲天國] P 的謊言

img

只有 18.3 全破了,應該算是蠻難的吧?

img

最後的身為大魔王的老爸,還是捨不得讓裝有兒子心臟的 P 被殺死。

前情提要:

剛打完魂3,本來決定要把 2077 來打破。偏偏最近紅了一個美型的「類魂」遊戲,就讓我很心動。 結果在 XBox Game Pass 試玩了一下,發現真的蠻好玩的。 於是還是去 Steam 把他買了下來。

這個玩法跟類魂真的完全不同,一開始的主角就像是點了「迴避距離-3」的技能一樣。基本上不會迴避,一定得靠完美格擋才能玩。然後整個完美格擋的判斷又很爛。 基本上要打過一個王就是要把他的所有攻擊都背招背起來,真的是很難。(不過我還是過了!!看來我很會被招誒)

攻略清單:

攻略請看: https://www.gamersky.com/handbook/202309/1646639_70.shtml

巴哈心得文 - 有把王排序

P 的謊言,除了主線之外,還有以下東西

有著許多好寶物的加密容器

P的謊言(Lies of P)-全部加密容器與解密位置

三一鑰匙跟房間也是有很多裝備跟寶物

P的謊言攻略|帶你收集所有三一鑰匙!|Lies of p

刷魂(刷等

以下比較後期

P的謊言 快速刷等 30秒一千經驗 Lies of P

王的逃課方式

https://forum.gamer.com.tw/C.php?bsn=71348&snA=135

[好書分享]養出內心強大的孩子 - 全球都在學的矽谷教養法,幫孩子配備未來最重要的人生實力

養出內心強大的孩子 - 全球都在學的矽谷教養法,幫孩子配備未來最重要的人生實力
How to Raise Successful People
 共 72 人評分
作者: 艾絲特.沃西基  
原文作者: Esther Wojcicki  
譯者: 韓絜光  
出版社:天下雜誌出版 

買書推薦網址:

前言:

這是 2023 年第14本讀完的書。 當初會看到這本書,就是他的索引介紹,他是如何養出獨立又具有思考力的三個女兒。並且都成為美國高科技公司的重要職場角色。 因為我的女兒,就是太粘人。這件事情也一直困擾著我們夫婦,在思考著需要透過哪些方式才能正確的教育女兒適合後的成長。當然,內心深處或許我們也還不希望他太早獨立。

內容摘要:

長成大人的路波折起伏,
孩子很努力,父母也盡了全力。
但怎麼才能確保孩子活出自信快樂的人生?
給所有努力家長的21世紀自信教養寶典

艾絲特‧沃西基被封為矽谷教母,她在加州矽谷的高中教書邁入第三十七年,不只教出好萊塢巨星詹姆斯‧法蘭科、籃球好手林書豪、賈伯斯女兒等多位頂尖人物,更影響了無數學生的人生。

被學生暱稱為「沃姊」的沃西基,也教養出三位超級女兒,大女兒蘇珊是Google元老、現任YouTube執行長;二女兒珍妮是頂尖醫界學者;三女兒安妮則是基因生技公司23andMe的共同創辦人。

沃姊的方法不只幫助孩子在學校成功,更能培養孩子練成出社會後被需要的能力──面對陌生挑戰,能持續自我學習、善於與人合作解決難題。全球教育界、企業界都想到沃姊的教室取經,找出成功的祕密方程式。

沃姊的方法不同於其他教養書,特別強調價值觀,她提出的「T.R.I.C.K」基本價值,分別是信任(Trust)、尊重(Respect)、獨立(Independence)、合作(Collaboration),與善良(Kindness);每一項都能直接對應到孩子在現實世界最需要的能力。這也是為什麼有愈來愈多的跨國企業與各級學校,紛紛開始採用這套方法。書中以故事引導,搭配實際方法,解答父母在教養各階段的疑惑。

自信教養,從相信自己開始──只有你最清楚怎麼做對孩子最好。

孩子無法睡過夜、不敢自己睡?
從睡眠開始的各階段發展,孩子最需要的其實是信任感。
父母的任務是提供安全的環境,然後相信孩子有辦法自己照顧自己。

與孩子溝通未來志願,總是以鬧翻收場?
尊重孩子想走與你預期不同的路,同時要求孩子對自己的選擇負責。
找到熱情之前,一定有混亂、繞遠路的時期,重點是孩子「有在做事」。

孩子的作業,後來都變成家長之間的較勁?
練習把手放開,讓孩子引路。幫孩子做太多,孩子長大反而會害怕自己做決定。
訓練獨立,也是在培養耐挫力,寧可孩子趁早體驗失敗、也趁早把膽子練大。

孩子不會處理情緒、不知道如何跟人相處,怎麼辦?
把親子關係變成合作關係,讓孩子參與更多決定,在家就在學習合力解決問題。
鬧情緒、黏手機、難改壞習慣,都不能只有改孩子,爸媽一起改變才有效。

孩子除了功課以外的事物都不關心,也不太願意分享、表達感謝?
成績很重要,但同理心才真正能幫助孩子在求學與工作上成功。
在最自戀卻也最不快樂的時代,教孩子從付出中找到意義與成就感。

面對不可預測的未來,我們無法確保孩子做足萬全準備,
父母可以做的,是為孩子建立核心價值觀,
無論遇到什麼挑戰,孩子都能相信自己有辦法克服。

內容摘要:

TRICK (Trust, Respect, Independence, collaboration, kindness)

作者的教養準則,對於小孩子專注在「信任」「尊重」「獨立」「合作」「善良」。其中 「信任」更是放在第一位。

教養的第一步: 重新檢視你我的童年

作者小時候,家中是貧困並且媽媽是處於單親家庭。並且沒有比較好的教育。 使得一場意外帶走了作者的弟弟。 因為作者的父親是個相當男女不平等的人,並且經常在家中去傳遞男生比較重要,幸好作者是個喜歡讀書的人,因為不喜歡待在家裡於是將所有的精神留在圖書館。 有了自己的家庭後,作者對於自己的期許就很多。 由於小時候的不安全感,並且對於教育的感嘆,讓他之後有了「依附理論」。

檢視自己成長經驗中不好的部分,找出問題並且試著在自己的家庭中要避免發生。因為「依附理論」讓許多在家庭暴力中成長的小孩,長大也會有著高機率對於自己的家庭依附暴力處理事情。

依附理論:

由 1970 由明尼蘇達大學心理學家提出,「依附經驗為態度,動機和情緒這三個方面的核心組成奠下基礎,這也是進入同儕世界,應付後續考驗的跳板」。

TRUST: 孩子最深的情感連結從「安全感」開始

回顧自己,讓你最深刻的親子對話是什麼。可能都是跟著「安全感」有關。不論是父母不信任你,或是他們主動認為你長大了。都是內心深處最深的連結。我們的小孩也會是如此。

關於安全感的有趣小故事

這邊有個很誇張的小故事,作者現在已經是奶奶了。有一天帶著孫子去學校。他先送 12 歲孫子去剪頭髮,讓他自己跟設計師討論髮型。然後帶著兩個八歲孫女去百貨公司。讓他們兩個人自己去逛街。採買他們需要的文具。

雖然最後被他的女兒罵得要死,但是真的也看得出來作者真的是相信著孩子可以自己將事情處理完畢。 (當然,我也不能接受。)

RESPECT: 尊重孩子,讓他活出屬於他的樣子

這裡也有分享一個小故事原本他的女兒- 安妮大學畢業後拿到了在生技投資部門的職位。 但是安妮卻不想要辭掉目前手上兼差的保母工作。 這也讓作者相當的緊張,明明一個大好前途機會的工作,卻要做保姆?! 不過作者也是很有耐心,尊重他的選擇。

最重要的是,安妮果然在幾個禮拜後開始覺得自己的選擇是錯的。 這時候也千萬不要說著「 I Told you so」。 讓小孩自己選擇與反悔他的決定。才能讓他們自己更加專注於後來的選擇。

INDEPENDENCE: 別急著出手

國外的父母在小孩哭的時候,不會馬上去抱起來。 小孩子吵鬧的時候也是,不需要憤怒地對他,但是需要跟他好好溝通知道他的需求。給予他主導然後要自行負責。

科技十誡

  • 一起制定計劃,不是幫孩子訂規矩。
  • 吃飯時候不用手機。
  • 就寢時間過,就不能用手機。
  • 四歲開始會使用手機,小學三年級開始學習如何使用手機來完成作業。
  • 遇上家庭旅行,也要制定手機使用規矩。
  • 八歲以後應該要會自我控制。
  • 家長也要以身作則
  • 了解哪些可以拍攝,哪些可以錄音。
  • 解釋網路霸凌。
  • 教導孩子不要隨意透露個人資訊。

恆毅力(Grit)

堅持做一件事情,不論多辛苦,也不論過程中必須面對多少阻礙。

COLLABORATION: 適度給孩子選擇權,養成判斷力跟合作力

兩歲的兒童在幫助其他孩童完成目標後,也可以感受到達成自己目標的相同喜悅。三歲以後,應該就要學會夥伴得責任與合作方式。

KINDNESS: 處理情緒,改變習慣等難題。

  • 守時很重要
  • 如何呈現外在,表示你對於對方的尊重程度。
  • 大人如果都很溫和跟小孩交談,小孩也會很友善。
  • 生活能力要示範給孩子看
  • 父母如何使用 3C 產品,小孩也會學習。
  • 如何經營家庭,也是會讓孩子學習。
  • 如何溝通與討論,也會讓孩子學習。
  • 失控大吼,孩子都會觀察。
  • 我們無法控制運氣,但是我們可以控制如何回應。

心得:

這一本真的是作者分享了不僅僅是他作為三個有成就的女兒的家長教育方式,也分享了他身為學校老師的教育理念, 兩者是完美結合的。 首先要給子女有良好的教育,必定要審視自己的成長狀況與教育狀況。 要思考自己是否有一些不好的經歷,也希望不要有類似的事情發生在自己身上。

之後,使用 TRICK (Trust, Respect, Independence, collaboration, kindness) 的教育方式。

  • 對於小孩子首要在於「信任」,其中家長自己的身教更是重要。

  • 其次在尊重部分,千萬不可倚仗自己是父母就幫小孩決定他的未來。畢竟就像是你心中記憶最深刻跟著長輩的親子對話可能都是不尊重對話,可能是信任的對談。

最後裡面有提到對於 3C 家電的掌控部分: 經常可以看到許多父母透過 3C 來管教小孩,但是那也是因為他們自己都是手機不離手,造成小孩也會有類似的問題。

試著傾聽孩子的想法,不要過分的失控大吼,畢竟我們可能也都記得長輩跟我們大吼的場景,相對的那些也都會在孩子們的心靈中常駐的。我想這一些都是家長們需要不斷學習的課程。

[AI Engineer Summit 2023 - Note] The Weekend AI Engineer

前情提要

AI Engineer - Summit 有趣議程分享 “Hassan El Mghari, AI Engineer, Vercel, “The Weekend AI Engineer” https://youtu.be/qw4PrtyvJI0?t=8632 Hassan 分享他如何在過去兩年開發 AI 相關應用,裡面有幾個蠻有趣的

image-20231017112245817

相關 side project

image-20231017112457548

QRGPT: 幫你做任何生成式 AI QR Code

image-20231017112602506

TechCruch Summary (收到律師函被拿下): 輸入網址,直接給文章摘要

image-20231017112642063

幫忙找眼鏡 - Find-Gasses

image-20231017112825773

網址: https://find-glasses.vercel.app/

AI Commit Message

AI Commits

github: https://github.com/Nutlope/aicommits

Twitter Bio generator using ChatGPT

image-20231017124344783

Website: https://threadcreator.com/tools/twitter-bio-generator

讓你照片更清晰 - Restoring old Photos

image-20231017125833097

Architecture

image-20231017130042702

重新裝潢家裡 - RoomGPT

image-20231017130227025

其他人分享的文章

  • From 布丁(hlb)

    • Day 1

      • Pydantic is all you need https://www.youtube.com/live/veShHxQYPzo?si=z3b1OHPqk3EOeIcO&t=11825, deck: https://tome.app/fivesixseven/pydantic-is-all-you-need-cllufwp8p08qoo75rx0omiybh, by Jason Liu
      • The Hidden Life of Embeddings https://www.youtube.com/live/veShHxQYPzo?si=h_LSxYK9LOqzuilV&t=13957, by Linus Lee, AI Lead of Notion

      Day 2

      • Move Fast, Break Nothing https://www.youtube.com/live/qw4PrtyvJI0?si=qNU0zljp_L8TTYo5&t=1531, by Dedy Kredo, CPO of CodiumAI
      • Climbing the Ladder of Abstraction https://www.youtube.com/live/qw4PrtyvJI0?si=mBV_4fRALkwNQEB1&t=3367, by Amelia Wattenberger, Design of Adept
      • 120k players in a week: Lessons from the first viral CLIP app https://www.youtube.com/live/qw4PrtyvJI0?si=0DfWVl3PBrhffSx2&t=9594, by Joseph Nelson, CEO of Roboflow
      • Pragmatic AI With TypeChat https://www.youtube.com/live/qw4PrtyvJI0?si=aaf-xSCH14S3wdDt&t=15538, Daniel Rosenwasser, TypeScript PM of Microsoft
      • Open Questions for AI Engineering https://www.youtube.com/live/qw4PrtyvJI0?si=TRx6cfn7NisrbGY4&t=24951, Simon Willison, Creator of Datasette; Co-creator of Django
  • AI Engineer Summit 特輯 by ihower