[GAI 年會] GAI 生成式 AI 年會影片快速整理

image-20230912130052391

(影片playlist: https://www.youtube.com/playlist?list=PLlHO_3K3NaJczxCPMOcG_c8j8e1e05Dkg)

https://www.youtube.com/playlist?list=PLlHO_3K3NaJczxCPMOcG_c8j8e1e05Dkg 2023 生成式 AI 年會 Generative AI Conference Taiwan 在 08/11 已經上線了。 今年的 GAI 年會有不少蠻有深度的議題,我覺得可以找時間慢慢了解。分享幾個我覺得很酷的:

非技術相關:

技術相關:

[好書分享]從鬱金香到比特幣的泡沫狂歡 - 大宗商品市場400年投機史

從鬱金香到比特幣的泡沫狂歡 - 大宗商品市場400年投機史
From Tulips to Bitcoins: A History of Fortunes Made and Lost in Commodity Markets
作者: 托爾斯登.丹寧  
原文作者: Torsten Dennin  
譯者: 呂沛憶  出版社:大寫出版 

買書推薦網址:

前言:

這是 2023 年第11本讀完的書。 當初會看這本書,好像是因為許多大宗商品的暴漲讓我不是很了解其中的原因,並且也想要了解一下以往鬱金香的故事, 於是就買了這本書來看。但是因為這本書是財務理財書籍,我就會看得非常的慢。也就到了現在才終於完食這一本書。

內容摘要:

速讀橫跨四世紀的投機和商品期貨市場!
鉅虧與暴富的循環,比股票市場更古老的交易領域!
凡是能貨幣化的東西,就會有對賭漲跌的投機神話──大通膨週期裡,人們必須溫習的一本金融史書
 

收錄原油、貴金屬、農作物、加密貨幣的交易常識
一窺商品炒家與大型機構交易員的預期與意料之外……
從「荷蘭鬱金香狂熱」到今天的比特幣等重大財經市場商品的迷人觀察。 本書涵蓋了如「白銀星期四」和亨特兄弟及許多投資機構的厄運;見證銅和黃金、稀土、能源金屬和比特幣,在一年內上百倍的漲跌幅。
商品市場的定價往往處於歷史與地緣等大趨勢的十字路口上,緊急的事件與人為的炒作往往使其高度偏離實際交易的價格。本書通過研究和學習這個市場的災難及狂歡,了解一個比股票市場更為驚人的投機場域,也從中見證了政治、經濟與天候對對重要資源世界的金融化效應。

關於鬱金香的暴漲

第一次大宗物資的 FOMO (Fear Of Missing Out) 也就是瘋狂追從的狀況,就是來自於 17 世紀的荷蘭。那時候因為鬱金香相當的美麗,但是鬱金香生長速度非常得緩慢,使得供給相當不足。價格瘋狂飆漲的結果,鬱金香球莖變成了炒作的物品。 原本是農民在買賣的鬱金香球莖,也變成是許多貴族與商人拿來買賣的商品。

到了 1637 年 99顆鬱金香球莖要價 9 萬荷蘭盾,也就是目前的一百萬美元。忽然到了某一天,拍賣市場上完全沒有買家願意去買鬱金香球莖。於是乎第一個市場紀錄的崩盤就開始。但是泡沫後,目前鬱金香球莖還是荷蘭最重要的出口農產品之一。

芝加哥大火與小麥

在美國小麥是在芝加哥期貨交易所跟堪薩斯交易所進行交易,由於 1871 芝加哥發生大火,造成小麥價格高漲,並且當年價格持續上揚到七月初。但是價格高漲造成每個農民都拼命的採收小麥,造成交貨量狂生,也讓價位快速回跌。

心得:

這一本書雖然洋洋灑灑列出 42 個章節(42 章經?!) 來分享關於歷史以來大宗商品的變化,但是許多的暴漲跟暴跌的原因沒有很詳細的敘述。反而像是讓你知道某一年發生了某一些大宗物資的變化而已。 這樣對我來說其實不是很喜歡。 所以這也算是難得我不太推的書籍之一。

[好書分享] The Staff Engineer's Path: A Guide for individual contributors navigating growth and change

The Staff Engineer's Path

The Staff Engineer's Path
By Tanya Reilly

TOPICS: Leadership and Management
PUBLISHED BY: O'Reilly Media, Inc.
PUBLICATION DATE: September 2022

網址:

前言:

這是 2023 年第十本讀完的書。最近被牛牛推坑這本書,覺得相當的有趣。 也覺得裡面有相當有趣的內容,近期應該會整理一下讀書心得。

內容摘要:

For years, companies have rewarded their most effective engineers with management positions. But treating management as the default path for an engineer with leadership ability doesn't serve the industry well--or the engineer. The staff engineer's path allows engineers to contribute at a high level as role models, driving big projects, determining technical strategy, and raising everyone's skills.

This in-depth book shows you how to understand your role, manage your time, master strategic thinking, and set the standard for technical work. You'll read about how to be a leader without direct authority, how to plan ahead to make the right technical decisions, and how to make everyone around you better, while still growing as an expert in your domain.

By exploring the three pillars of a staff engineer's job, Tanya Reilly, a veteran of the staff engineer track, shows you how to:

- Take a broad, strategic view when thinking about your work
- Dive into practical tactics for making projects succeed
- Determine what "good engineering" means in your organization

Creating the big picture

Image

感覺是個理想職業 (大心)

有限的時間

Image

Image

管理能量跟更有效的 dive 相當的重要..

你現在是一個榜樣 (Role Model)

Image

我喜歡要求“ELI5”,這個術語來自 Reddit,意思是“像我五歲一樣解釋它”。這是一個有用的捷徑,意思是“看,不要猜測我的理解程度,只需為我拼出它即可。如果你告訴我我已經知道的事情,我保證不會生氣。” (這裡的社會契約是,如果他們從主題的基礎知識開始,你就不會被冒犯。)

作為一個組織的榜樣

Image 作為一個組織的榜樣,你應該注意的部分: from “The Staff Engineer Path”

展現你的影響力部分

Image

  • 文章與公開演講比起 1 on 1 可以幫助人
  • 想要私下給個別建議,不如寫成通用的文章
  • 建立制度高過於自己下來當審核者

最後關於生涯規劃的部分

Image

  • 挑選自己想做的來投資
  • 不要設限,盡可能投資有最大回報
  • 找尋自己最好的職涯指引

心得:

[好書分享]血淚無比的遊戲產業-世界十大傳奇電玩的製作祕辛

血淚無比的遊戲產業
世界十大傳奇電玩的製作祕辛
Blood, Sweat, and Pixels : The Triumphant, Turbulent Stories Behind How Video Games Are Made
 共 2 人評分
作者: 傑森.史奈爾  
原文作者: Jason Schreier  
譯者: 李函  孫得欽  
出版社:好人出版 

買書推薦網址:

前言:

這是 2023 年第九本讀完的書。當初會買這一本書,是看到網路上出版商的廣告。但是真正讓我想要看的就是其中一篇關於「星露谷物語」的開發過程。因為大家都知道星露谷物語是獨立開發者(也就是只有一位開發者),其中的心酸與辛苦到底是如何? 是什麼能夠讓他支撐下去? 就是我想要買這本書的主要原因。

此外,這也是我第一次使用博客來電子書平台來買書。他們的 App 真的不太友善,使用起來相當不方便。

  • 每次讀取都要經過頁面。
  • 網頁版本不能改字體?!
  • Android App 預設竟然沒有支援音量鍵換頁。(就是不打算給電子紙就是)

內容摘要:

美國國家暢銷書榜之唯一的遊戲開發紀實書籍
亞馬遜近五千個高評分,遊戲愛好者一致推薦
史上最神秘的數位產業,葫蘆裡到底在賣什麼藥?
那些你我都玩過的遊戲又是怎麼做出來的?

魂系遊戲、ARPG、FPS等現今耳熟能詳,玩家們早已玩爛的這些遊戲背後,到底是怎麼被製造出來的? 每位玩家的童年,都有一顆打到「喬丹之石」的夢,但是這種裝備又該如何設計出來?又為何需要設計極度稀有的機制或道具?這是一本從遊戲設計師角度,再經由新聞編輯採訪整理而成,而從玩家角度的來看,這些設計雖帶來了正面效益,通常也都有其負面效應,而遊戲設計師耗費他們的心神、汗水,將人生注入於設計遊戲中,為的就是將最好的遊戲內容呈現給玩家。
  
本書特色

  1.《暗黑破壞神III》當年轟動全球的Error37事件內幕
  2.《星際大戰1313》被盧卡斯影業廢案的背後故事
  3.《巫師》系列如何從世界知名奇幻小說《獵魔士》改編而成
  4. 以《最後生還者》系列聞名全球的頑皮狗工作室如何在這十年統整內部矛盾  

星露谷物語:

巴隆尼一個喜歡『牧場物語」的玩家。該遊戲因為版權的因素,造成遲遲沒有新的版本推出,於是自己想要打造可以在Windows 與 Xbox 上面的遊戲。 透過自己不眠不休四年的打造,總算好不容易推出了。本來說一年專心拿來打造的遊戲,後來因為真的完整獨立製作,從音樂的打造,圖形介面的更換。 這樣反覆優化,花了四年來打造。

後來巴隆尼遇到一個幫他代理的遊戲公司,幫他處理了各個平台的法條與相關的上架流程。也對他提出了許多建議,提早釋出 alpha 版本給使用者開始反饋。

鏟子騎士:

透過 Kickstarter 募資的遊戲案例,本來是小型遊戲工作室的數位工程師。因為想要打造一個有趣的遊戲類型,一個類似瑪莉兄弟但是拿著鏟子的騎士,但是又有類似用洛克人的增強能力手法,於是開始了他們的募資之旅。 發售後一開始也沒有爆發性的成長,但是隨著好評逐漸地增加,他們也開始新一輪的募資,並且加入了使用魔王的點子(真的滿有趣的)。

心得:

整本的書籍內容很精彩(當然博客來App使用者體驗,讓我以後不敢買他們家電子書),讓我深深感受到遊戲開發者的偉大。雖然都是從事相關的軟體開發工作,但是遊戲開發者似乎報酬率又更低了一點,往往都是依靠著「真愛」來打造出自己的遊戲。

但是能夠打造一個自己的遊戲,往往是讓人嚮往的。 身為遊戲愛好者,或許… 或許有一天我也會想要成立獨立遊戲開發者(但是我的美術感真的很慘)。

[YouTube] Practical Data Considerations for building Production-Ready LLM Applications - 整理

投影片: https://docs.google.com/presentation/d/1wTEt3sy7ZHk3rYO3nFYhPZEFrfpG70l6WzY12wIaycE/edit?usp=sharing

image-20230905141355527

簡單摘要:

RAG (Retrieval Augmented Generation) 主要講的是透過查詢資料,透過 LLM 做為結果的生成回覆。

準備資料: 讀取資料,切割成 chunk ,加上 Embedding ,放入 Vector DB 讀取資料: 輸入轉換成 Embedding 比對 Vector ,找出 Chunk ,放入 LLM 來生成回答

困難點:

  1. 檢索(Retrieval) 的資料不夠好,就算你 model 用 gpt20 (講者真的這樣說)也沒救。
  2. 如何在系統層上面做到即時資料更新?

改善方式:

  • 挑選好切割工具(parser) : 推薦 LlamaHubUnstructured-IO/unstructured
  • 加強檢索的資料(放一些 metadata) : e.g. 頁碼,章節敘述 ….
  • 建立一個 data pair (doc_hash_id, ver_num),更新比較快。

產品介紹: LlamaIndex https://www.llamaindex.ai/

image-20230905141916740

關於 Llama-Index 教學資源

[Podcast] a16z Crypto最新研究:AI與區塊鏈共融下,四大新商業模式 - 整理

image-20230829114535672

資料來源

中文翻譯新聞: https://news.cnyes.com/news/id/5292495

原文來自 podcast 是前 Google Tensorflow 核心開發者之一 - Ali Yahya,很推薦聽 。

想法

裡面提到一些想法蠻有趣的,透過四個面向來講解未來商機: (相互排斥,現狀挑戰,如何合作形成新的商業模式,AI與社交圖譜) 我挑幾個有趣的提出

  1. 透過 zk 加密的方式 (ZKML, 中文文章) ,來讓 LLM 可以達到分散式 AI 訓練。並且可以讓原來的人才拿到正確資料。 (這邊我不是很懂 zk / zkml ,有空再來了解)
可以設想這樣一種情況:Alice 有一個想要保護的模型。她想把模型以加密的形式發送給 Bob,Bob 現在收到加密模型,需要在這個加密模型上運行自己的數據。如何做到這一點呢?那就要利用所謂的全同態加密計算加密數據。如果用戶擁有加密模型和明文數據,那麼就可以在明文數據上運行加密模型,接收並獲得加密結果。你將加密結果發回給 Alice,她就能解密並看到明文結果。
  1. 裡面有提到一個激勵機制:
    1. 大型 LLM 開放給大家使用。
    2. 單獨用法使用者提供更好的客製化資料,讓模型優化。(得到激勵)
    3. 讓模型變得更好。
  2. 以往音樂平台透過 blockchain 加密讓創作者可以跟大家交流,現在透過 LLM AI 每個參與者都可以變成「創作者」。他們也有了新的交流模式。