<address id="zxpbr"></address>
              <form id="zxpbr"><nobr id="zxpbr"></nobr></form>
              人工智能

              數據投毒致人工智能失控,AI殺毒軟件市場尚為一片藍海

              作者:來源:科技日報發布時間:2020-05-06 10:34我要評論

              一輛正常行駛的自動駕駛汽車,突然駛入了逆行車道;胸前貼一款特殊貼紙,猶如披上隱形斗篷,在監控系統中成功遁形;戴上一幅特制眼鏡,輕松騙過人臉識別系統后,用別人的手機也可實現刷臉解鎖或刷臉支付……

              小心,這可能是遇上了難纏的AI病毒!

              近日,清華大學人工智能研究院孵化企業推出了針對人工智能算法模型本身安全的RealSafe安全平臺,據介紹,該平臺可快速緩解對抗樣本的攻擊威脅。

              人工智能感染的是什么病毒?其安全問題有哪些特點?人工智能時代,殺毒軟件如何修煉才能化作身懷絕技的病毒獵手?

              是敵又是友 對抗樣本戴著雙重面具

              RealSafe人工智能安全平臺,是針對AI在極端和對抗環境下的算法安全性檢測與加固的工具平臺,包括模型安全測評、防御解決方案兩大功能模塊。平臺內置AI對抗攻防算法,提供從安全測評到防御加固整體解決方案。

              北京理工大學計算機網絡及對抗技術研究所所長閆懷志接受科技日報記者采訪時表示,上述平臺目前側重于模型和算法安全性檢測與加固,可以說是人工智能算法的病毒查殺工具。

              閆懷志說,針對人工智能系統實施對抗樣本攻擊的這類惡意代碼,常被稱為“AI病毒”。對抗樣本是指在數據集中通過故意添加細微的干擾所形成的輸入樣本,會導致模型以高置信度給出一個錯誤的輸出。

              “其實在實驗室中,使用對抗樣本可以檢測許多訓練學習類人工智能方法的分類有效性,也可以利用對抗樣本來進行對抗訓練,以提升人工智能系統的分類有效性。”閆懷志告訴科技日報記者。也就是說,對抗樣本可以看成是訓練人工智能的一種手段。

              “但是在現實世界,攻擊者可以利用對抗樣本來實施針對AI系統的攻擊和惡意侵擾,從而演變成令人頭疼的‘AI病毒’。”閆懷志表示,對抗樣本攻擊可逃避檢測,例如在生物特征識別應用場景中,對抗樣本攻擊可欺騙基于人工智能技術的身份鑒別、活體檢測系統。2019年4月,比利時魯汶大學研究人員發現,借助一張設計的打印圖案就可以避開人工智能視頻監控系統。

              在現實世界中,很多AI系統在對抗樣本攻擊面前不堪一擊。閆懷志介紹,一方面,這是由于AI系統重應用、輕安全的現象普遍存在,很多AI系統根本沒有考慮對抗樣本攻擊問題;另一方面,雖然有些AI系統經過了對抗訓練,但由于對抗樣本不完備、AI算法欠成熟等諸多缺陷,在對抗樣本惡意攻擊面前,也毫無招架之力。

              對訓練數據投毒 與傳統網絡攻擊存在明顯不同

              360公司董事長兼CEO周鴻祎曾表示,人工智能是大數據訓練出來的,訓練的數據可以被污染,也叫“數據投毒”——通過在訓練數據里加入偽裝數據、惡意樣本等破壞數據的完整性,進而導致訓練的算法模型決策出現偏差。

              中國信息通信研究院安全研究所發布的《人工智能數據安全白皮書(2019年)》(以下簡稱白皮書)也提到了這一點。白皮書指出,人工智能自身面臨的數據安全風險包括:訓練數據污染導致人工智能決策錯誤;運行階段的數據異常導致智能系統運行錯誤(如對抗樣本攻擊);模型竊取攻擊對算法模型的數據進行逆向還原等。

              值得警惕的是,隨著人工智能與實體經濟深度融合,醫療、交通、金融等行業對于數據集建設的迫切需求,使得在訓練樣本環節發動網絡攻擊成為最直接有效的方法,潛在危害巨大。比如在軍事領域,通過信息偽裝的方式可誘導自主性武器啟動或攻擊,帶來毀滅性風險。

              白皮書還提到,人工智能算法模型主要反映的是數據關聯性和其特征統計,沒有真正獲取數據之間的因果關系。所以,針對算法模型這一缺陷,對抗樣本通過對數據輸入樣例,添加難以察覺的擾動,使算法模型輸出錯誤結果。

              如此一來,發生文章開頭所談到的一類事故就不足為奇了。

              此外,模型竊取攻擊也值得注意。由于算法模型在部署應用中需要將公共訪問接口發布給用戶使用,攻擊者就可以通過公共訪問接口對算法模型進行黑盒訪問,并且在沒有算法模型任何先驗知識(訓練數據、模型參數等)的情況下,構造出與目標模型相似度非常高的模型,實現對算法模型的竊取。

              閆懷志在采訪中表示,AI安全更突出功能安全問題(safety),這通常是指人工智能系統被惡意數據(比如對抗樣本數據)所欺騙,從而導致AI輸出與預期不符乃至產生危害性的結果。“AI功能安全問題與傳統的網絡安全強調的保密性、完整性、可用性等信息安全問題(security),存在本質不同。”

              預防“中毒”困難重重 AI技術也可構筑網絡安全利器

              閆懷志表示,目前種種原因導致了預防人工智能“中毒”困難重重,原因具體表現在三個方面。

              一是很多AI研發者和用戶并沒有意識到AI病毒的巨大風險和危害,重視并解決AI病毒問題根本無從談起;二是由于AI正處于高速發展階段,很多AI研發者和生產商“蘿卜快了不洗泥”,根本無暇顧及安全問題,導致帶有先天安全缺陷的AI系統大量涌入應用市場;三是部分AI研發者和供應商雖然意識到了AI病毒問題,但由于技術能力不足,針對該問題并無有效的解決辦法。

              “當然,網絡安全本來就是一個高度對抗、動態發展的領域,這也給殺毒軟件領域開辟了一個藍海市場,AI殺毒行業面臨著重大的發展機遇。”閆懷志強調,殺毒軟件行業首先應該具有防范AI病毒的意識,然后在軟件技術和算法安全方面重視信息安全和功能安全問題。

              “以現實需求為牽引,以高新技術來推動,有可能將AI病毒查殺這個嚴峻挑戰轉變為殺毒軟件行業發展的重大契機。”閆懷志強調,AI技術既會帶來網絡安全問題,也可以賦能網絡安全。

              一方面,人工智能的廣泛應用帶來了許多安全風險。由技術性缺陷導致的AI算法安全風險,包括可導致AI系統被攻擊者控制的信息安全問題;也可導致AI系統輸出結果被攻擊者任意控制的功能安全問題。

              但另一方面,人工智能技術也可以成為構筑網絡空間安全的利器,這主要體現在主動防御、威脅分析、策略生成、態勢感知、攻防對抗等諸多方面。“包括采用人工神經網絡技術來檢測入侵行為、蠕蟲病毒等安全風險源;采用專家系統技術進行安全規劃、安全運行中心管理等;此外,人工智能方法還有助于網絡空間安全環境的治理,比如打擊網絡詐騙。”閆懷志說。

              中國信息通信研究院安全研究所的專家稱,為有效管控人工智能安全風險并積極促進人工智能技術在安全領域應用,可從法規政策、標準規范、技術手段、安全評估、人才隊伍、可控生態等方面構建人工智能安全管理體系。


              責任編輯:馬利亞
              相關鏈接

              首屆世界顯示產業大會

              作為工業和信息化部、中國國際貿易促進委員會、安徽省人民政府聯合主辦的第十三屆中國(合肥)國際家用電器暨消費電子博覽會的重要板塊,首屆世界顯示產業大會于11月22日在合肥開幕。

              2019世界VR產業大會

              10月19日,由工業和信息化部和江西省人民政府聯合主辦的2019世界VR產業大會在南昌隆重開幕。開幕式上,中共中央政治局委員、國務院副總理劉鶴發表重要講話。

              第二屆全球IC企業家大會暨第十七屆中國國際半導體博覽會

              9月3日,由工業和信息化部、上海市人民政府指導,中國半導體行業協會、中國電子信息產業發展研究院主辦的第二屆全球IC企業家大會暨第十七屆中國國際半導體博覽會在上海開幕

              2019世界VR產業大會新聞發布會

              6月20日,工業和信息化部、江西省人民政府在北京聯合召開新聞發布會,介紹2019世界VR產業大會有關情況及籌備工作進展。

              第十一屆中國中部投資貿易博覽會電子信息產業發展論壇

              5月19日,第十一屆中國中部投資貿易博覽會電子信息產業發展論壇在江西南昌召開。南昌市人民政府副市長楊文斌、江西省工信廳副廳長王亦斌出席并致辭。

              2019世界超高清視頻產業發展大會

              5月9日,2019 世界超高清視頻(4K/8K)產業發展大會在廣州召開。大會由工業和信息化部、國家廣播電視總局、中央廣播電視總臺、廣東省人民政府共同主辦。工業和信息化部部長苗圩出席大會并致辭。

              第七屆中國電子信息博覽會

              本次峰會主題是“創新驅動發展 智慧賦能未來”,將邀請政府行業主管部門、國內外著名專家學者和企業家發表主題演講,深入探討產業創新發展新模式、新動能、新路徑,推動電子信息產業高質量發展。...

              首屆全球IC企業家大會

              12月11日,由工業和信息化部、上海市人民政府指導,中國半導體行業協會、中國電子信息產業發展研究院主辦,北京賽迪會展有限公司、中國電子報社、上海市集成電路行業協會承辦的“首屆全球IC企業家大會暨第十六屆中國國際...

              2018世界VR產業大會

              10月19日,2018世界VR產業大會在南昌盛大開幕。開幕式上,全國政協副主席盧展工宣讀國家主席習近平賀信,工業和信息化部部長苗圩,江西省委書記劉奇,江西省委常委、南昌市委書記殷美根分別致辭。

              第二屆中國虛擬現實創新創業大賽啟動...

              8月20日,在中國創新創業大賽組委會辦公室指導下,由虛擬現實產業聯盟、國科創新創業投資有限公司共同舉辦的第二屆中國虛擬現實創新創業大賽啟動新聞發布會在北京舉行。

              2018年上半年家電網購分析報告發布會

              8月2日,工業和信息化部賽迪研究院、中國電子報社在北京發布了《2018年上半年家電網購分析報告》(以下簡稱《家電網購報告》)。報告顯示,2018年上半年,我國B2C家電網購市場(含移動終端)規模達2641億元...

              2018制造業“雙創”高峰論壇

              6月22日,2018制造業“雙創”高峰論壇在北京舉辦。本次論壇由中國電子信息產業發展研究院、中國制造企業雙創發展聯盟和中國軟件行業協會工業互聯網分會主辦,中國電子報社、北京云道智造科技有限公司和中國船舶工...

              2018世界VR產業大會新聞發布會

              5月21日,記者從在北京人民大會堂召開的2018世界VR產業大會新聞發布會上獲悉,由工業和信息化部、江西省人民政府共同主辦,中國電子信息產業發展研究院、江西省工業和信息化委員會、南昌市人民政府、虛擬現實產業...

              2020年第一季度中國家電市場報告

              4月27日,中國電子信息產業發展研究院發布了《2020年第一季度中國家電市場報告》(以下簡稱《報告》)。《報告》顯示,2020年第一季度,我國家電市場在抗擊新冠肺炎疫情中奮力前行,零售額規模達1204...

              推進數字基建·釋放經濟新動能

              3月4日,中央政治局常務委員會會議指出,加快5G網絡、數據中心等新型基礎設施建設進度。為響應中央決策部署,推進我國新型數字基礎設施建設,中國電子報特推出“推進數字基建·釋放經濟新動能”專欄,圍繞5G、...

              “新基建新動力新增長”專題報道

              中國電子報從2020年3月開始,特別策劃推出“新基建新動力新增長”大型專題報道和系列推介活動,詳細報道新基建在激發市場主體活力、增強發展動能、促進經濟增長等方面的重要作用,權威推介在推動新基建進程中發...

              2019年中國家電市場報告

              2月28日,中國電子信息產業發展研究院發布了《2019年中國家電市場報告》(以下簡稱《報告》)。《報告》顯示,2019年,我國家電市場零售額規模達到8910億元,顯示出較強的韌性,高端產品和農村市場大...

              2020年全國工業和信息化工作會議

              12月23日,全國工業和信息化工作會議在京召開。會議以習近平新時代中國特色社會主義思想為指導,全面貫徹黨的十九大和十九屆二中、三中、四中全會精神,認真落實中央經濟工作會議部署,傳達學習貫徹國務院領導同...

              1分鐘看懂軌道交通“新基建”

              1分鐘看懂軌道交通“新基建”...

              1分鐘看懂特高壓“新基建”

              1分鐘看懂特高壓“新基建”...

              90秒看懂新能源汽車“新基建”

              90秒看懂新能源汽車“新基建”...

              友情鏈接
              關于我們 | 聯系我們 | 廣告服務
              電子信息產業網LOGO
              黄色电影国语完整版 - 视频 - 在线观看 - 影视资讯 - 新赏网