ChatGPT是GPT嗎?別再傻傻分不清
大家好,我是ChatGPT,目前的我可以說是無人不曉,但是我總是被誤認爲成是GPT,實在慚愧,哈哈哈哈。
話不多說,我今天就來告訴大家我和GPT究竟是什麼?
1、 ChatGPT是什麼?
全国房价比峰顶下降16%,57城连降3个月,南京、昆明和郑州还在跌
想必很多小夥伴都用過ChatGPT了,它不僅能夠幫忙寫論文、翻譯文章、寫代碼,還根據不同的題目思考回答,並且具有自己的邏輯性。
除了有時候回答的答案是錯的外,其他方面都看似完美。
台积电社会责任报告 曾资助美国疫苗研究
那麼創造出這個超強大ChatGPT的公司正是美國的人工智慧研究實驗室——OpenAI。
這個組織由薩姆·阿爾特曼、裡德·霍夫曼、Jessica Livingston、伊隆·馬斯克、伊爾亞·蘇茨克維、沃伊切赫·扎倫巴、彼得·泰爾等人在舊金山成立,他們共同認捐了$10億美元。
當時這個組織的目標是和其他的研究者「自由合作」,並且同時公開所有的專利和研究成果,所以取名"Open"AI。
不過馬斯克2018年離開這個組織後,OpenAI就設立了子公司,以營利爲目的。
馬斯克在推特上表示,OpenAI的做法與過去的目標大相逕庭,他覺得十分失望
在2019年微軟向 OpenAI LP 提供了$10億美元的投資,並在2023年1月向其提供了第二筆多年投資,據報導爲$100億美元。
也許正因爲有微軟的大力贊助,ChatGPT才能取得今天的成就。
提督love大井亲
陈仪深自清 李远哲当时不是院长
同時,其旗下還有DALL-E(AI繪圖)、Whisper(開源語音識別模型)等優秀的產品。
DALL-E
2、 ChatGPT和GPT區別
GPT跟ChatGPT是兩件事
ChatGPT是基於GPT-4(本文以GPT-4爲例)的變種,專門用於生成對話和交互式對話。它通過學習大量的對話數據和用戶輸入來預測下一個合適的回覆,並儘可能提供有意義和連貫的回答。ChatGPT旨在模擬人類對話,具有更加交互式和對話式的特性。
通俗點來講GPT-4是一個大型語言模型LLM(Large language model),那麼ChatGPT則是基於GPT-4,對其進行再一次的開發後的產物。
所以ChatGPT是GPT-4加上人類互動行爲之後,所設計的一種AI聊天機器人程序。
2K高分10bit专业级 HKC微边框液晶评测
其實目前使用GPT技術的產品有很多,不僅僅只有ChatGPT,下面圖片便展示了基於GPT-4的demo。
所以說,不僅僅有ChatGPT,開發人員還可以根據GPT可以開發出來不同類型的AI系統,來滿足各種場景的需求。
那麼這個GPT又是什麼呢?
GPT(Generative Pre-trained Transformer)是一種基於Transformer架構的預訓練語言模型。它通過大規模的無監督學習來預訓練,使其具備對各種自然語言任務的通用理解能力。GPT學習了大量的互聯網文本數據,能夠自動生成連貫的文本輸出。
簡單點來講,GPT是一種大型語言模型,它是自然語言處理技術其中一種。
大型語言模型就像是一個非常聰明的語言專家,它們在訓練時讀了大量的文章、書籍和網頁等文本,從中學習了很多詞語的意義、詞語之間的關係以及語法規則。所以它們能夠理解人們說的話,並根據上下文生成合理的回答。
自然語言便是我們生活中所應用的語言,比如中文、英文、法文等。
讀到這裡的朋友可能就比較好奇了,人類能理解問題是因爲人類能夠思考,那麼這種語言模型是如何做到思考的呢?
那麼接下來便介紹GPT的運作方式。
3、 GPT的運作方式
《两岸星期人物》中国版欧普拉 陆知名变性主持人金星
GPT的運作方式是基於Transformer架構的。Transformer是一種注意力機制(attention mechanism)的神經網絡模型,用於處理序列到序列(sequence-to-sequence)的任務。它由多個編碼器(encoder)和解碼器(decoder)堆疊而成。
在GPT中,編碼器負責對輸入文本進行編碼,解碼器則根據編碼器的輸出生成文本序列。編碼器和解碼器由多個相同的自注意力層(self-attention layer)和前饋神經網絡層(feed-forward neural network layer)組成。自注意力層用於捕捉輸入序列內部的關聯關係,前饋神經網絡層用於對注意力層的輸出進行處理和映射。
GPT使用自迴歸訓練方式,即通過將輸入序列的一部分作爲上下文來預測下一個詞或標記。模型根據已經生成的部分序列預測下一個詞,然後將預測的詞添加到序列中,並繼續預測下一個詞,以此類推,直到生成完整的序列。這種方式可以使模型學習到文本序列中的潛在模式和語言規律。
看到這裡的時候,想必一些朋友大概已經懵圈了。
通俗點來講,GPT的主要目標是對語言進行分析和生成,它可以理解和解析語句,並根據事先訓練好的模型自動生成下一個字、下一句話,甚至回答整篇文章。
這點與手機輸入法中的自動選字功能類似,GPT也是一種語言模型。
科创100赛道迎来重量级玩家,华泰柏瑞上证科创板100ETF获批
當你輸入一個“你”字時,手機輸入法已經爲你匹配了下面的“咋”、“說”、“們”、“的”、“家”、“好”等字。
但是,GPT不僅僅是提供下一個字的選項,它會綜合分析前面的整句話,根據訓練好的模型輸出完整的回答。GPT的核心概念是根據前文判斷下一個字的生成。
不同於手機輸入法只根據最後一個字提供選項,GPT會全面分析前面的整句話,回答完整的問題或生成連貫的文章。
首先,我們將一個起始文本輸入給模型,比如說:”今天天氣很”。模型接收到這個輸入後,會利用自注意力機制來理解輸入文本的上下文信息。自注意力機制會考慮輸入序列中不同位置之間的關係,併爲每個位置分配一個權重,表示其與其他位置的相關性。
模型根據這些權重和輸入文本的編碼,預測下一個詞或標記。在這個例子中,模型可能預測下一個詞是”晴朗”。然後,我們將預測的詞添加到輸入序列中,得到更新後的序列:”今天天氣很晴朗”。
接下來,我們再次將更新後的序列輸入給模型。模型會再次運用自注意力機制,但這次它不僅考慮到輸入文本的上下文,還考慮到包含了預測詞”晴朗”的上下文。基於這個擴展的上下文信息,模型會進一步預測下一個詞。
妻心如故 雾矢翊
两款新手游下季上膛 明年绩昂
我們可以繼續這個過程,每次都將預測的詞添加到序列中,並不斷生成下一個詞,直到達到我們設定的長度或生成一個特定的結束標記。
這樣,GPT模型通過在每個時間步預測下一個詞的方式,逐步生成出一個完整的句子。它通過學習輸入文本的統計規律和語義表示,能夠生成連貫、有意義的文本輸出。
舉一個簡單的例子:
GPT根據資料內容去學習,根據“今天”、“天氣”、“很”這三組關鍵字,來進行一個回答。
我們假設GPT會回覆“美麗”、“晴朗”、“多變”、“炎熱”這四種答案,並且每種概率都是25%。
宝藏与文明
高国辉「Men’s Talk」王念好释放压力敲首安 笑称怕比林佳纬慢
那麼當你再GPT,“今天天氣很”的時候,GPT會在這四種答案裡面隨機的選擇一個,所以這就是每次GPT回答都會不一樣的原因。
她不懂表姐為何出國堅持帶枕頭 過來人曝原因:一天都要帶
GPT的訓練過程分爲預訓練和微調兩個步驟。預訓練階段,GPT會通過大量的文本資料進行訓練,不斷調整模型參數,提高預測下一個字的準確度。
預訓練後,GPT可以根據之前學到的知識,根據輸入的前文生成合理的下一個字。
金正恩儿时高清照曝光?网看完惊叹:难以置信!
需要注意的是,GPT模型的生成是基於概率的,每個詞的預測都有一定的概率分佈。模型會根據先前的上下文和概率分佈選擇最合適的下一個詞。這使得模型在生成文本時可以具有一定的多樣性和靈活性。
4、 GPT是如何訓練出來的、微調
《名偵探柯南》茱蒂聲優「一城美由希」離世 享壽76歲
當GPT完成對工程師提供的所有資料的分析後,爲了使其能夠完成翻譯、寫小說、繪畫、編寫程序等多種功能,需要進行微調。
微調就像是GPT在正式考試之前先閱讀大量題目和範例題。在微調階段,工程師會提供帶有特定”標籤”的文本,讓GPT學習。例如,當我們說”請幫我翻成中文”時,通過標記讓GPT理解”Apple”是蘋果的英文,”蘋果”是中文,從而正確理解翻譯成中文的意思。之後,只要我們再次說”請幫我翻成中文”,它就能正確回答問題。
安倍晋三访杜特蒂家 参观卧室享用点心
在原始架構中,微調需要大量的人工工作,並且每次遇到新任務都需要耗費人力進行訓練,非常耗時費力。然而,當GPT從GPT-1升級到GPT-2時,OpenAI嘗試減少甚至去除了微調的步驟。
美女主播访美大选结束返台 曝隔离14天心声
他們增加了GPT-2的文本訓練量,並增加了參數數量,將GPT-1的1.17億參數增加到GPT-2的15億參數。GPT-2變得更加強大,不僅學習能力更強,甚至在沒有微調的情況下,也能理解人類提出的問題,這讓人們感到震驚。
果断出手干预无理提案,中国联合国展露锋芒,美印愤怒但无可奈何
OpenAI團隊基於相同的原則,再次將GPT-2的參數增加了135倍,創建了擁有1750億參數的GPT-3,成爲目前最強大的大型語言模型。
在沒有人工微調的情況下,它在一次嘗試和零次嘗試的表現中表現出色。一次嘗試表示帶有少量範例題,而零次嘗試表示完全沒有範例題,只有問題。可以明顯看到,隨着模型參數量的增加,即使沒有微調,正確度也會提高。這顯示了大型語言模型的集體力量和強大能力。
2024年起,做好“潮水退去”的准备?内行:明年房价或将超出想象
更令人驚訝的是,這種大型語言模型不僅僅是簡單地回答問題。
如果要求它詳細解釋推理過程,它會告訴原因來給你一個合理的解釋。比如你問它爲什麼會下雨,它會告訴下雨是由於水蒸氣在大氣中冷卻凝結形成水滴,然後這些水滴聚集在一起形成雲和降水的過程。這顯示出它能夠提供完整的思維過程。
科學家推測,在大型語言模型中,AI可能已經建立起一種思考鏈,能夠以邏輯推理的方式回答簡單的數學問題和常識推理題目。AI對”思考”的模擬變得越來越真實。
5、 GPT訓練的資料是怎麼來的
业界热议亚太地区能源绿色低碳转型:深化国际交流合作 加强科技协同创新
GPT之所以能夠變得如此龐大,依賴於超過45TB的訓練數據。但你是否曾思考這些數據是如何獲得的呢?
GPT的數據大約有20%來自Reddit。
OpenAI收集了在Reddit上Karma值大於3的用戶帖文作爲訓練數據。這些數據經過人類整理,文章清晰易懂,類似於帶有完整標記的文本,是優秀的參考材料。
除了Reddit,Twitter和維基百科也是OpenAI的數據收集來源。超過60%的數據來自非營利組織Common Crawl的爬蟲程序收集的數據。
Common Crawl定期抓取網絡上公開的所有網頁信息,供搜索引擎、AI研究人員等使用。然而,這超過300TB的數據是雜亂無章的,並不是高質量的數據。由於Common Crawl沒有篩選數據,它抓取的內容五花八門,這也導致GPT出現了許多抄襲和智慧財產權的爭議。
CNN、華爾街日報等多家主流媒體曾指控OpenAI在未經許可的情況下使用他們的文章來訓練GPT。然而,像GPT-3這樣龐大的模型並不是人人都能擁有的。GPT-3龐大的數據量和參數使其訓練成本超過百萬美元,這還不包括服務器維護成本。
爲了減少服務器負載,Bing瀏覽器限制了用戶數量和每日查詢量。
双詹冠军气势旺 武汉赛直闯8强
不僅微軟採取了這個措施,在Bing發佈的同一天,Google也做了類似的準備。
至尊妖娆:无良废柴妃 小说
除了可能面臨未來競爭對手的挑戰外,GPT本身還存在許多不足之處。
英特爾 Meteor Lake 為40年來最大的架構轉變 18A製程瞄準領導地位
OpenAI在論文中特別提到他們非常擔心這樣的工具會被有心人士濫用,並且無限制地收集數據會受到網絡數據的影響。
OpenAI進行了一項調查,研究文本中對亞洲人、黑人、白人、拉丁裔等人種的形容詞,給予正面形容詞正分,負面形容詞負分。
引育龙头强链延链
他們發現描述黑人的形容詞得分明顯低於其他人種。這種現象並不會隨着參數增加而改善,類似的問題在性別、宗教等方面也存在。
宜蘭隧道恐怖連環撞1死11傷 傷者曝:逃都沒地方逃
此外,如果網絡上的錯誤信息比正確信息更多,會影響樣本的有效性。
針對這些問題,OpenAI的技術長Mira Murati在接受TIME雜誌的採訪時表示,這是一個關鍵時刻,類似OpenAI的公司應受到一定程度的規範。我們必須確保AI爲人類服務,並且我們必須傾聽來自哲學家、社會科學家、藝術家、人文學專家等不同領域的建議。OpenAI將審慎確保AI不會對人類造成傷害。
稳房市 陆推一人购房全家帮 用公积金助直系亲属买房