1005 資訊工業講座 AI applications in Biomedicine 游濟華助理教授

講師介紹

游教授畢業於國立台灣大學土木工程學系博士班,還曾在麻省理工擔任過2年的博士後研究員,研究範圍包括人工智慧、破壞力學、材料設計等等範圍,目前為國立成功大學工程科學系的助理教授。

機器學習的NLP流程:

1. 語料預處理:中文有4步驟,英文有6步驟

2. 特徵工程:特徵提取、特徵選擇

3. 建模/測試

深度學習的NLP流程:

1. 語料預處理

2. 特徵工程:詞嵌入(word embedding)

3. 建模/測試

NLP的挑戰:歧義(Ambiguity)

*發生時機:NLP的各步驟都有可能

1. 一字多義 ex.我家門前有條水溝很難過

2. 斷詞歧義 ex.數大便是美

3. 句法歧義

4. 代名詞解析 ex.我們把香蕉給猴子,因為牠們餓了 or 我們把香蕉給猴子,因為它們熟透了

embeddings from language models:

非監督語言模型

雙向詞向量

預訓練模型

bidirectional encoder representations from transformers

自然語言理解-NLU的五個困難點:

1. Diversity(多樣性)

2. Ambiguity(歧義)

3. Robustness(強健)

4. Knowledge dependence(知識倚賴)

5. Context(上下文)

自然語言生成-NLG的六個步驟:

1. Context Determination(確定內容)

2. Text Structuring(文字結構)

3. Sentence Aggregation(句子聚合)

4. Lexicalizatiion(符合語法)

5. Referring Expression Generation(參考表達生成)

6. Linguistic Realization(語言實現)

NLP Challenges

1. 語言是沒有制式規律的,或者說規律是錯綜複雜的。

2. 語言是可以自由組合的,可以創造複雜的語言表達。

3. 語言的使用要基於環境和上下文。

4. 缺乏知識:語言需要領域知識,有一定程度依賴知識。

5. 缺乏資料:對於特定領域/目的的訓練資料集與評估。

心得

第一組

這次的講師帶給我們與人工智慧相關的三個主題,第一個是藉由研究蜘蛛網的建構方式,來找出更加堅固的結構,我們常見的蜘蛛網都是2D,而講師的團隊利用蜘蛛怕水的特性,迫使蜘蛛建構出3D蜘蛛網,並將這樣的架構運用在生醫上—結合蛋白質成分的水膠與人體幹細胞來生出人體器官。而第二個則是我們很感興趣的研究--將組成蛋白質的氨基酸轉換成音樂,並將這一系列的音樂放進深度學習的模型中讓電腦來去找出其特徵。由於蛋白質的具體架構是不容易模擬的,這樣的做法說不定能利用人工智慧找出新的蛋白質架構,其中講師還將轉換成音樂的氨基酸序列放給我們聽,這樣的音樂聽起來比想像中輕快得多,像這樣將音樂運用在人工智慧上面也是一個非常吸引人的想法。 最後是目前講師與醫生的合作,把一些需要醫生做診斷的病人影像(像是X光照片、CT影像等)結合人工智慧,透過電腦學習做判斷能夠減輕醫生的負擔,甚至是檢測出醫生不小心忽略的部分,像是藉由血管收縮來預測栓塞等,講師提到像這樣將人工智慧應用在其他領域上想必是未來的趨勢之一。講師在講座最後有提到他的人生經歷,從中原大學畢業生到麻省理工的博士後研究、從土木系到人工智慧,中間橫跨了很多領域,這樣與眾不同的人生經歷很吸引我們,畢竟我們通常覺得大學讀什麼科系,未來想必也會走同樣的道路,這讓我們最後教授還提到:「專長不是你喜歡做什麼,而是你做什麼事情能夠花比別人少的時間,卻有更好的結果」,這帶給我們很大的啟發,鼓勵我們可以在人生的道路上不斷嘗試,說不定未來會找到更適合自己的領域,甚至是可以當一個與講師一樣跨資工與其他領域的人才。

第二組

這禮拜的講座在講關於醫療技術與AI的整合,而且兩者的結合還透過了音樂,一個我在聽到這個分享之前沒有想過的途徑,竟然可以成功的建構出我們沒有發現在蛋白質。 然而,最讓我印象深刻的不是甚麼內容,而是講師能夠在台上侃侃而談。在聽到這位講師之前,中原到台大已經夠遙遠了,甚至不用去想MIT,然而這位學長都完成了我所認知的不可能的任務。即使在中原延畢也透過自己的努力,還是有辦法達到全球第一學府,讓我現在正在準備考延的我感到羞愧,怎麼會再沒有努力之前就放棄了考MIT的美夢。讓我深深的了解,現在開始努力向上也不會嫌晚。也讓我理解了不要看不起現在成績不好的同學,他們可能只是受到誘惑,等到他們屏除這些外務後,也有可能有一番作為。

第三組

本次講座就像是講師歷年來的成果發表,值得一提的是他橫跨的領域非常多,重點還是非資工本科出身,不得不令人佩服。而教授還很好的將AI與建築、生醫結合,有些是我根本沒想過的應用,最讓我印象深刻的莫過於把蛋白質結構轉換成樂譜,而我也實際去使用於講座中提到的APP,每一種蛋白質結構就像是一個鋼琴鍵,透過不同結構排列就能創造出不同的音樂。 最後講師提到的與醫學結合的應用,我想這是許多資工人都想過的研究方向,但由於我們沒有專業的醫學背景知識,因此很難能給出專業的醫療診斷,況且在醫學領域上最專業的還是醫生,我們只能充當在旁輔助的角色,盡可能減少醫生的工作量,而教授的所做的系統就是透過醫療人員輸入一些病患的疾病特徵,利用模型預測出結果給醫生參考,幫助他們能更快速地進行診斷,我想這在未來會成為另一個AI於醫學上的重要應用。

第四組

這次的演講讓我受益很多,講者很細心地解釋各項經手的專案及流程,其中大部分都與生物或醫學結合AI有關,並且在基礎的化學及相關原理上也是聚細靡遺的說明給大家聽,各項比喻也很恰當,讓我們能夠很好的去理解。 在各項專案之中,最讓我印象深刻的是,蛋白質的構成及蜘蛛絲的製作,沒想到蛋白質的振動頻率也能成為讓AI學習、判斷的依據,甚至能夠反向用頻率來模擬蛋白質的結構,真的非常讓我震驚,也讓我對團隊的想像、執行力非常的佩服。 在最後講者也提供了自身的經歷,以及對於未來AI的發展趨勢的想法,例如,現在已經很很多好用的模型可以使用,重要的是如何把模型結合雲端以提供服務,給了我們很好的方向去學習、精進自己。非常感謝講者來到中原演講,拓寬了我們不一樣的視野,也讓我們得以理解技術的實際應用及規劃。

第五組

這週莊秀敏助理教授講授了有關NLP(natural language processing)自然語言處理的內容,讓我耳目一新,身為資工系的我們,想必大家都很熟悉,高階語言到機器語言的過程,也就是programmer 與機器間的溝通,一開始我還誤會了莊秀敏教授是在講這種類型的compiler 我還想說這種東西有什麼好講的,後來我才意會到,原來是一般的自然語言,轉換成機器語言的過程,如果成功的話,竟然能讓一般不會程式語言的人,也可以進行簡單的coding。 而講座的實際內容又讓我對這個課程更加的有興趣,莊秀敏助理教授竟然要使用中文當作自然語言的辨識,眾所皆知,中文是數一數二難學的語言,用來當偵測的來源更是困難重重,因為中文有許多同音不同意的字詞,很容易讓電腦發生誤解,造成程式的錯誤或是理解偏差。 若是有機會修這堂課,很期待自己著手解決這些問題,想必一定會讓自己的程式實力更上一層樓,也會是一個十分有趣的體驗

第六組

此次有幸請到游濟華教授作為講師,本次的講座十分有趣,講員以幽默的口吻和各種比喻來講解至今為止他所做過的各項研究和專案,使得艱澀的主題有了親和力,讓大家在理解方面有著良好的體驗。 以蜘蛛網作為研究的起點,從當初作為建材的發想,到以結合人工智慧分析蛋白質的構造及結構並轉換為樂譜,每一種不同的結構就有不同的音色,依照聲音的快慢再將蛋白質的模型展現出來,如此創意實在讓人耳目一新。 最後講員也對現在生醫領域和人共智慧方面的發展提供看法,最近在台灣智慧醫療方面開始扎根,人工智慧在現今已成為非常重要的工具,但在這方面發展的已經算完善,甚至是過度炒作,好用的模型已經十分多了,重要的是如何將他們做整合成雲端或商業模式以提供服務和套件。如果對這方面有興趣的同學,也能有更好的方向去發展。 曾經在中原土木延畢,但後來卻就讀台灣大學,甚至是到MIT擔任博士後研究員,或許世上沒有白走的路,努力與勇於多方嘗試確立了成功,他的故事讓我們看到自己身上的可能性。

第七組

這周的講座由游濟華教授作為講師,剛開始讓我最印象深刻的是通常來演講的講師通常都是資訊相關背景,橫跨的各種領域後,而是後來才開始作人工智慧,曾經在中原延畢,但是後來在台灣大學研究和到MIT,也時時的告訴我們只要堅持,不輕言放棄,就可以走出自己的一條路,最後就會成功。在這次的講座我覺得十分有趣,老師非常幽默的和我們講解他所做過的研究,讓本來覺得有些複雜的問題,都輕輕鬆鬆地了解。橫跨多領域的他,可以把他自己的所學都應用在研究中,像是結合AI、生醫、建築,還有用音樂來分析蛋白質的結構方法,這些都是令我非常敬佩而且也覺得有趣的項目。也讓我們了解我們現在所學的資訊領域並不是單單純純的寫程式、修電腦,結合各種不同的領域就可以變成一個非常好用的工具。我相信現在的同學們都在思考自己未來畢業的出路,我們也可以好好思考如何將在學校的所學結合自己本身的興趣和技能,或許也可以是很好的發展或研究。

第八組

在這場演講中,講者為中原大學土木系的學長,畢業後橫跨多個領域後,決定鑽研人工智慧,如此豐富且將的經歷帶給我們很好的啟發,我們可以不被現在的領域所限制,多方嘗試,方能找到屬於自己的一條道路,最重要的是決定後也不要輕易說放棄,講師從土木系到生物科技方面的道路中也是因為堅持不懈才能達到今日的成果。其中,在演講中最有印象的為將蜘蛛絲運用在生物醫學上,利用蛋白質成分的水膠與人體幹細胞所結合的成果來模擬出人體器官;將蛋白質結構結合人工智慧轉換為樂譜,不同的結構就有不同的音色,因而創造出聽得見的音樂。最後也提到了與結合醫學的應用,透過輸入病患疾病的特徵來預測出結果,給於醫療上的幫助,相信這個領域也值得我們去探討,也是未來很重要的發展之一。

第九組

這周邀請到的講師為中原畢業的學長,為我們演講的內容為:生醫領域給予的啟發,令人意外的是大學就讀於土木系的講師,未來卻朝向非常不同的領域就業。整場的內容非常精彩,講師提及了許多在美國研究的成果,從蜘蛛和蛋白質延伸到了音樂,從聲音就可以感受到蛋白質的結構,快慢與強弱都可以代表不同的結構組成,這是用圖像所無法表達的,如此創新的想法研究令人大開眼界。在演講的過程中也了解到,雖然講師的工作看似就是工程師,只需要寫程式就好,但事實上,他現在的工作比一般的工程師需要用到更多溝通的技巧,不只是與實驗室的夥伴或學生溝通,還需要與完全不同領域的人,也就是醫生溝通,需要了解到醫生的需求,會所面對到的問題,以及操作上使用,皆是講師所要面對的!也許現在所學習的並非是你真正所喜愛的,但讓現在所學成為你未來的養分,說不定哪天你便會用上呢。

第十組

這週的講師跟我們分享他的一些研究,他曾經交換去MIT做了兩年研究,主要在觀察蜘蛛的行為,也在探討蜘蛛絲是如何將重量是自己上百倍重的物品支撐起來,於是便有了要自行製造蜘蛛絲的想法。 讓人眼睛為之一亮的是,講師的團隊利用音樂的概念,「聽見」蛋白質的結構,用聽的能夠直觀理解此蛋白質的結構,不只如此,他們還將相對應的聲音轉換成蛋白質,能夠客製化也很精準。 這麼厲害的講師是成功大學的教授,就讀台灣大學,也曾到MIT交換。不說不知道,一說不得了。他其實是我們的大學長,他大學時就讀於中原大學土木系。也因為一些原因延畢,但這並沒有影響到他繼續向前的腳步,因為覺得單純讀土木沒有出路,於是毅然決然往生物科技方面求學,即使茫然但是堅持下去便有如今豐碩的結果。

第十一組

這次的演說很有趣,讓我們學到了很多,我認為之後會有統整資訊或是資訊表達的市場,如何準確的了解資訊是種趨勢,當然身為資訊人不是普通的整理,是以更直覺的方式傳達資訊,我就從來都沒有想過,可以使用音樂表達蛋白的立體結構,這是很有創意的方式,如何讓這個音樂更直覺,轉換的更自然,或是在學習或認知上有幫助,一開始使用音階,後來使用各種樂器去表達,甚至回推時還可以設計蛋白,製造疫苗,就像是未來的圖片摩斯密碼,最後講師提到的與醫學結合的應用,我想這是許多資工人都想過的研究方向,但由於我們沒有專業的醫學背景知識,因此很難能給出專業的醫療診斷,況且在醫學領域上最專業的還是醫生,我們只能充當在旁輔助的角色,盡可能減少醫生的工作量,而教授的所做的系統就是透過醫療人員輸入一些病患的疾病特徵,利用模型預測出結果給醫生參考,幫助他們能更快速地進行診斷,我想這在未來會成為另一個AI於醫學上的重要應用。

第十二組

在這場演講中,通過講者的生平經歷講述,了解到了讀資工系畢業後可以不單單是成為了一名工程師,還可以利用許多不同性質方面的領域去結合資訊的專業知識,做到最好的發揮及應用,並通過多元的發展與學習,可以讓我們在未來的求職階段,擁有更多的籌碼與條件和其他人競爭。講者在此次的演講中有一句話讓我印象非常深刻,他說我們只能在我們現有的決定中選擇一個最合理的選項,一旦做好選擇就不要輕易放棄。因為我們都無法預測未來的自己將會遇到甚麼樣的事,所以我們只能盡我們所能地把我們眼前的事情做好,祝福即將畢業的我們在未來了人生道路上,都可以運用我們的智慧與能力,去化解在我們面前的所有困難與阻礙,成為我們自己心中最想成為的人。

第十三組

說實在,這次聽講讓本組五味雜陳: 從研究意義來看,見證了音樂既能撫慰心靈,可以生動活潑讓自己更有動力面對挑戰,還讓平乏無味且嚴肅的研究跳脫傳統學術的死板框架,又可跟電腦科學畛域的立體 (常稱3D) 投影和軟硬體應用擦出絢彩火花——也不難怪,他們相關研究踏出的一小步,正有可能成為生醫科技變革的一大步; 聚焦到生活上,除了以往要費時剖析而燒腦的工作,如今人工智慧 (常稱AI) 也來參一腳,讓過程事半功倍之外,還有透過跟其它醫院合作,來根治程序效率低落且技術慢半拍的問題來看,更凸顯民間企業和團體「團結力量大」的精神——民眾即使罹病也不至於孤立無援; 觀察了一下我國醫療體系,卻讓人揪心——工作環境和制度、法治等荒腔走板不在話下,卻自恃有個萬年健保 ( 本身就很刺耳 )——如今水深火熱並不自知!特別是天下雜誌八月底封面故事《迎戰癌症海嘯》和報導者、風傳媒等相關深度報導,再配合多重完美風暴的情節,讓本組毫無把握,政府和企業會就此換個腦袋來防弊興利 ( 說白了就是我行我素...... )。 彙整以上視角:科學技術進化固然賦予生活便捷的可能,亦可造福全人類福祉和永續發展,但要達成可不能仰賴民間咬牙苦撐,而是在產、學、官得相互配合之外,並善用權力與權利持續與民間、業界打通溝通渠道,才能在技術變革同時,社會跟著蛻變。 也因此是這次聽講後,本組半喜半憂的原因了。

第十四組

  這禮拜的主題很有趣,教授研究的方向也很多,整個內容聽下來很有層次,而且包含很多層面,學到了原來其實很多東西都可以拿去做CNN深度學習,我覺得最有趣的是一開始研究蜘蛛網結構以及利用音樂製作出蛋白質的地方,原來蜘蛛網的結構是像蛋白質一樣,由簡單的物質堆疊成複雜的構造,不知道未來是不是真的可以有辦法製作出如同蜘蛛網那樣堅固又可回收利用的物質來作為建築物的材質,還有解析各種蛋白質聲音的部分真的很有趣,轉換成人類聽得到的音頻後,可以透過一段音樂製作出可能未知的一種蛋白質,這樣是不是可以在治療人體激素的問題上面有很大的進步?畢竟人類的激素分泌跟蛋白質有很大的關係,最實用的是後來跟醫師合作,利用深度學習出來的模型就可以預測出未來變成重症的風險是多少,我覺得這是我們目前做得到,也可以幫助目前社會醫療資源的東西,也希望未來我能夠做出對這個社會上有幫助的一些東西出來。

第十五組

此次演講中請到了成功大學的游濟華教授,很巧的是他本來是我們上學期所負責的對象,所以有事前了解過他的經歷,但因緣際會取消了那次演講,很開心這學期終於能夠聽到他的分享。 他原來還是我們中原的大學長,雖然延畢過但依然讀到了台大土木博士,出去工作後還抓住機會到MIT擔任博士後研究員,這次跟我們分享的就是在MIT做的研究內容和一些趣事,從生活中隨處可見的蜘蛛絲為發想,研究其構造再延伸至胺基酸和蛋白質組成並轉化成音樂及樂譜同時結合AI,讓生活所見的事物可以運用到建築和醫學等方面。後期還跟醫生合作開發可預測病人是否轉重症的輔助工具,實現AI和專業醫學的結合應用。 我們覺得最特別的還是教授本人,感覺他不受框架所限制,被延畢了也不退縮、踏入跟本身科系不太一樣的領域,工作後也依然會去抓住新的機會,給我們展現了各種可能性。

第十六組

在這次講座還沒開始的時候,講員就主動來找我們講話,說他很懷念腳蹤,以前他都抄別人的,讓我們覺得這個講師十分的親切,而且我們完全沒想到講員原本居然是土木系的,從土木系到自學程式,最後變成講師真的讓我們覺得很厲害,把AI用在醫學在現在這個時間真的很重要,在新聞上常常看到重症的病人延誤治療然後就去世了,所以像講員開發的那個可以用來預測染疫(不論是新冠肺炎還是登革熱)後轉為重症的機率就可以用來降低這種事情發生的機率,還有”可以用來預測嬰兒是否會早產”和”是否有血栓”這兩個程式也讓我們覺得很厲害,光要學習如何看懂超音波照和讓AI看懂就要花上不少的時間,但這次的講座最讓我們印象深刻的還是用3D列印來製造蜘蛛網,尤其是講員在講蜘蛛跑出研究室那段讓我們笑了很久

第十七組

聽完這次的講座讓我受益良多。講師從一位不認真上課且延畢的學生到後來成為去國外頂尖大學做專業研究的專家,其中的原因實在值得讓人思考。我覺得最主要的原因是要把握機會,重大的選擇往往只有一次,只要把握機會就能達成目標,同時也提醒了我們不要小看自己,任何事都有可能發生。 蜘蛛網的研究我覺得蠻有趣的,能夠運用大自然最原始的智慧改造成人類的技術,未來很有機會能夠做得出來。 將各種氨基酸震動所產生的聲音轉換成音樂,並隨意結合不同結構來產生新的氨基酸是非常創新的想法,我認為若有辦法把模擬出的新的氨基酸實際上合成出來的話,那又是另一大創舉。 演講後半段有講到使用人工智慧的技術來幫助醫師來解決許多實務上的問題,主要都是為了幫助醫師節省時間,或是能讓病患的疾病早點被發現,可見人工智慧可以廣汎的運用在各個領域。

第十八組

這禮拜的演講十分精彩演講,講員講解的很流暢,並且我對這一塊也很有興趣,講解內容就是近年來因為新冠病毒肆虐下興起的與醫療結合的資訊技術,如何用更易懂的方式了解幾萬種的蛋白結構,以聲音去判斷結構相對視覺更直覺,我認為這是未來的趨勢,我們未來的資訊只會更加複雜,所以我認為之後會有統整資訊或是資訊表達的市場,如何準確的了解資訊是種趨勢,當然身為資訊人不是普通的整理,是以更直覺的方式傳達資訊,我就從來都沒有想過,可以使用音樂表達蛋白的立體結構,這是很有創意的方式,如何讓這個音樂更直覺,轉換的更自然,或是在學習或認知上有幫助,一開始使用音階,後來使用各種樂器去表達,甚至回推時還可以設計蛋白,製造疫苗,就像是未來的圖片摩斯密碼,說實話感覺十分跨時代,這就是未來可以去鑽研的方向。

第十九組

這次的講座中提到了BMP和EIP的相關知識,雖然這是比較有關資訊管理的部分,但講師還是盡他所能的範圍細心的講述 給我們理解,用比較簡單理解的方向切入。在演講中講師有提到因為我們資工人在大學四年中受到的課程大多是培養工 程邏輯等等,所以在商業管理這部分可能相對較弱一些。但就是因為如此,我們更要運用自己的特長去展現自己的能力 ,加上多汲取多領域的知識來豐富自己。而在職場上往往各個公司用的程式語言不全然相同,例如有的公司用Python, 但另一間公司可能用的卻是JAVA,亦或者是多重語言的應用也說不定。因此我們更可能需要能在短時間內熟悉另一種程 式語言的應用。在面對主管的任務或是工作也需要在最短得時間內滿足要求,這都是我們在進入職場後所需要面對的問 題,在講座中講師也分享了很多如應對的方法等等,讓我們未來如果在進入職場後能更迅速的解決問題。

第二十組

這周的演講從講師大學時並不是讀資訊相關的科系甚至是延畢,到後來做資訊與生醫領域結合的研究,並且研究出了用音樂來分析蛋白質結構的方法。在演講過程中,在演講的過程中講師也有說到他發現了自己擅長的地方,就是寫程式。也因為他發現了自己這方面的能力,並且付出時間去學習,才有辦法做出最後的那些成果。 因為不同蛋白質結構能夠產生不一樣的音樂,反過來也可以用音樂來製作想要的結構的蛋白質,我覺得這是一件非常有趣的事。而且能夠製作出想要的蛋白質對醫學方面也有很大的貢獻,這樣就可以針對不同的疾病去製作相對應的解藥。雖然目前我們還沒有實質的成果,但是希望我們未來若是去做研究,也能夠做出對社會、對醫療方面有貢獻的成果。聽完這次的演講也讓我了解到資訊領域不是個單獨的領域,而是可以結合到各個領域並創造出更多有用的成果。

講座圖片