3 月 19 日消息,IT之家從中國信通院官方微信公眾號獲悉,為摸清大模型的幻覺現(xiàn)狀,推動大模型應(yīng)用走深走實(shí),中國信息通信研究院人工智能所基于前期的 AI Safety Benchmark 測評工作,發(fā)起大模型幻覺測試。
大模型幻覺(AI Hallucination)是指模型在生成內(nèi)容或回答問題時(shí),產(chǎn)生了看似合理,實(shí)則與用戶輸入不一致(忠實(shí)性幻覺)或者不符合事實(shí)(事實(shí)性幻覺)的內(nèi)容。隨著大模型在醫(yī)療、金融等關(guān)鍵領(lǐng)域廣泛應(yīng)用,大模型幻覺帶來的潛在應(yīng)用風(fēng)險(xiǎn)日益加劇,正得到業(yè)界的廣泛關(guān)注。
本輪幻覺測試工作將以大語言模型為測試對象,涵蓋了事實(shí)性幻覺和忠實(shí)性幻覺兩種幻覺類型,具體測評體系如下:
測試數(shù)據(jù)包含 7000 余條中文測試樣本,測試形式包括對應(yīng)于忠實(shí)性幻覺檢測的信息抽取與知識推理兩類題型,以及對應(yīng)事實(shí)性幻覺檢測的事實(shí)判別題型??傮w涉及人文科學(xué)、社會科學(xué)、自然科學(xué)、應(yīng)用科學(xué)和形式科學(xué)五種測試維度。
中國信通院邀請各相關(guān)企業(yè)參與模型測評,共同推動大模型安全應(yīng)用。
發(fā)布日期: 2024-01-23
發(fā)布日期: 2024-03-27
發(fā)布日期: 2024-05-17
發(fā)布日期: 2024-05-17
發(fā)布日期: 2024-09-13
發(fā)布日期: 2024-01-15
發(fā)布日期: 2025-02-26
發(fā)布日期: 2024-05-11
發(fā)布日期: 2025-05-19
發(fā)布日期: 2025-05-19
發(fā)布日期: 2025-05-19
發(fā)布日期: 2025-05-19
發(fā)布日期: 2025-05-19
尋找更多銷售、技術(shù)和解決方案的信息?
廣州綠測電子科技有限公司(簡稱:綠測科技)成立于2015年11月,是一家專注于耕耘測試與測量行業(yè)的技術(shù)開發(fā)公司。綠測科技以“工程師的測試管家”的理念向廣大客戶提供專業(yè)的管家服務(wù)。綠測科技的研發(fā)部及工廠設(shè)立于廣州番禺區(qū),隨著公司業(yè)務(wù)的發(fā)展,先后在廣西南寧、深圳、廣州南沙、香港等地設(shè)立了機(jī)構(gòu)。綠測科技經(jīng)過深耕測試與測量領(lǐng)域多年,組建了一支經(jīng)驗(yàn)豐富的團(tuán)隊(duì),可為廣大客戶提供品質(zhì)過硬的產(chǎn)品及測試技術(shù)服務(wù)等支持。
技術(shù)工程師
020-22042442