前提
大家好，我是 LINE Taiwan DevRel 團隊的 Evan Lin。很開心在這裡跟各位分享本年度的第三場開發者小聚。 這也是疫情後第一次在新竹舉辦的線下聚會的活動。 也是 LINE 台灣工程團隊第一次來到交通大學舉辦線下的活動。 本篇分享的就是該活動中由 LINE 台灣資料工程團隊的 Shawn Tsai ，跟大家分享機器學習如何的讓 LINE 的服務能更貼近使用者。
KKTIX 活動網頁: 活動網址
活動全文網址： TBD
投影片
影片
LINE 台灣資料工程團隊的組成
首先 Shawn 先跟大家分享 LINE 台灣資料工程團隊的組成，主要由以下三個角色所構成：
資料工程師 (Data Engineer)
身為資料工程師需要有一手強大的工程技能，不論是資料的截取，抓取與前處理 (Pre-processing) 。甚至是資料探索的部分，到最後機器學習模型的部屬都缺少不了資料工程師的協助。
資料科學家 (Data Scientist)
資料科學家的工作就是要協助資料工程師來擷取資料，並且一同討論如何前處理之後。將機器學習模型學期出來。
資料分析師 (Data Analyst)
資料分析師的重點在資料的探索，尋找出真正能解決問題的數值。並且針對完成的模型來做相關的測試與修正。
資料工程團隊與專案的合作方式
資料工程團隊主要由以上三個角色所組成，所有的資料工程團隊會因為不同的產品需求有不同的任務小組。 有些產品還在資料討論與擷取的階段，有些產品可能已經進入機器學習模型的調教。 針對不同產品線，每一個成員在日常的工作都可以參與許多有趣的產品與專案，更能學習新穎的機器學習模型方法來套入每一個日常工作之中。
資料工程團隊面臨的挑戰
由於 LINE 使用者超過兩千一百萬， LINE TODAY 上面一年產出一百萬篇文章， LINE 購物上每個月有五百萬筆商品查詢。這麼多的資料就是資料工程團隊要面臨的問題。 而機器學習本身可以是簡單的，也可能是相當複雜的。接下來就會根據產品的不同稍微解釋所使用到的機器學習技術。
LINE 客服小幫手
「糟糕…換手機要怎麼移動帳號？ 」
「怎麼購買貼圖送給親友？」
這些問題都是使用者每天都會想要了解的操作問題，但是要如何能及時的找尋到解答呢？ 這時候就可以透過「客服小幫手」機器學習的能力來幫你快速回覆。 手機點此加入LINE 客服小幫手帳號或搜尋 @linehelptw加入好友。 更多使用方面的介紹可以參考 「LINE 客服小幫手」智能客服全新升級～對談中解決用LINE大小事。
由於同樣的問題可能會有各種詢問方式，比如說：
- 為什麼有時候賴都不會通知?
- 訊息都跑不出來是怎樣?
- LINE 都不會叫也不會震動?
這三種完全不同的問法，可能導向的都是當初 iOS 11 更新造成的問題。這些如果要透過人力來回覆相當的費時，就需要使用自然語言理解 (NLU: Natural Language Understanding) ，並且是用到 LSTM 來了解文字在前後文中的相關性，並且透過 CNN 來獲取文字與其他文字的特徵。 這是第一個版本的解法，但是效果不算是令人滿意。 後來透過了使用 seq2seq ， CBoW ， DSSM與 BERT達成的 Esemble 的解決方案，這樣的方式大幅度的得到比較好的效果。
LINE 訊息查證小幫手
「LINE 訊息查證」平台在去年七月份正式上線，不僅有官方網站，更串聯 LINE 官方帳號，用戶只需把在聊天室中收到的訊息「轉傳」至「LINE 訊息查證」官方帳號。如過去已有查核報導在資料庫中，查證小幫手會自動判斷其真偽，系統將即時提供查證結果；如訊息尚未查核，將提報給專業查核單位，待釐清後再盡快回傳正確資訊給予用戶，提供最即時的訊息辨別服務，協助用戶辨識可疑訊息真偽，降低假訊息再次散播的機會。
每天收到的訊息量高達四萬則，但是人工辨識每天只能夠 300 則，所以這時候需要機器學習大量的協助。 透過了 Near-Duplication 與 Classification 兩種方式來尋找與分類訊息。現在訊息查證的效率也進步了十倍以上，並且成功的釐清了 46% 使用者所發送的可疑訊息。 不想要變成假訊息的傳播者嗎？ 一起加入 「LINE 訊息查證」官方帳號。
透過機器學習專案的學習
許多學生朋友都會好奇，真正在 LINE 來從事資料工程團隊的工作倒底每一天的時間都在做什麼？ 講者也很大方的跟大家分享了，身為資料工程團隊每一天大部分的時間真的都是花在訓練機器學習模型嗎？ 這張圖可以讓各位了解，大部分的時間都是花在機器設定（ Configuration) ，資料擷取 (Data Collection) ，並且相當多時間在資料的驗證 (Data Verification) 甚至是模型建立後的建置能夠不斷的更新最近的機器模型的基礎建設 (Serving Infratructure) 也會花費相當多的時間。 真正拿來做模型訓練往往是整個專案中少少的一個部分而已。 也可以知道資料科學家主要的時間與專業在於如何找出與辨識「關鍵的資訊」。
相關文章:
