手機版
你好,游客 登錄 注冊
背景:
閱讀新聞

PyTorch 1.3 發布,張量,8位模型量化和PyTorch Mobile

[日期:2019-10-13] 來源:Linux公社  作者:醉落紅塵 [字體: ]

在10日的PyTorch開發者大會上,Facebook宣布發布PyTorch 1.3。此版本具有三個實驗功能:張量,8位模型量化和PyTorch Mobile。除了這些令人興奮的功能,Facebook還宣布了Google Cloud TPU支持的全面可用性以及與阿里云的最新整合。

PyTorch 1.3 發布,張量,8位模型量化和PyTorch Mobile

PyTorch 1.3中的主要更新

命名張量以獲取更易讀和可維護的代碼

盡管張量是現代機器學習的基礎,但研究人員認為它們是“殘破的”。張量有其自身的缺點:它們公開了私有維度,基于絕對位置進行廣播,并將類型信息保留在文檔中。

PyTorch 1.3試圖通過引入對命名張量的實驗支持來解決此問題,這是康奈爾技術學院副教授Sasha Rush提出的。他建立了一個名為NamedTensor的庫,用作Torch張量上的“thin-wrapper”。

此更新對API進行了一些更改。現在,維度訪問和縮小使用“ dim”參數代替索引。構造和添加尺寸需要一個“name”參數。現在,功能是基于集合操作而不是啟發式排序規則進行廣播的。

針對移動設備優化的AI的8 bit模型量化

深度學習中的量化是通過使用較低精度數字格式的神經網絡來近似使用32位浮點數的神經網絡的方法。它用于減少帶寬并計算深度學習模型的需求。對于內存大小和計算數量有限的設備上應用程序,這是至關重要的。

PyTorch 1.3通過渴望的模式Python API帶來了對8位模型量化的實驗支持,可在服務器和邊緣設備上進行有效部署。此功能包括訓練后量化,動態量化和量化感知訓練等技術。從32位轉換為8位可以使計算速度提高2到4倍,而內存使用量只有四分之一。

PyTorch Mobile可實現更高效的設備上機器學習

直接在邊緣設備上運行機器學習模型非常重要,因為它可以減少延遲。這就是PyTorch 1.3引入PyTorch Mobile的原因,PyTorch Mobile支持“從Python到在iOS和Android上部署的端到端工作流”。

當前版本是實驗性的。在未來的發行版中,我們可以預期PyTorch Mobile將具有構建級優化,選擇性編譯,對QNNPACK量化內核庫和ARM CPU的支持,進一步的性能改進等。

PyTorch 1.3中的模型可解釋性和隱私工具

Captum 和 Captum Insights

Captum是PyTorch易于使用的模型可解釋性庫。它具有最新的可解釋性算法(例如,集成梯度,DeepLIFT和Conductance)的支持,以幫助開發人員改進和排除模型故障。開發人員可以識別有助于模型輸出并改進其設計的不同功能。

Facebook還發布了Captum Insights的早期版本。它是建立在Captum之上的可解釋性可視化窗口小部件。它適用于圖像,文本和其他功能,以幫助用戶了解功能歸因。

查看Facebook的公告,以了解有關Captum的更多信息。

加密貨幣

通過基于云的平臺進行的機器學習帶來了各種安全和隱私挑戰。 Facebook寫道:“特別是,這些平臺的用戶可能不希望或無法共享未加密的數據,這使他們無法充分利用ML工具。” PyTorch 1.3附帶CrypTen,這是一種用于保護隱私的機器學習框架。它旨在使機器學習從業人員可以使用安全的計算技術。

您可以在GitHub上找到有關CrypTen的更多信息。

多模式AI系統的庫

  • Detectron2:這是在PyTorch中實現的對象檢測庫。 它具有對最新模型和任務的支持,并具有增加的靈活性以輔助計算機視覺研究。 為了支持生產用例,可維護性和可伸縮性也得到了改進。
  • Fairseq獲得了語音擴展:在此版本中,Fairseq是用于語言翻譯等序列到序列應用程序的框架,其中包括對語音和音頻識別任務的端到端學習的支持。

以上是PyTorch 1.3中的一些更新。你可以查看Facebook的官方公告以了解更多信息。

Linux公社的RSS地址http://www.nluszu.live/rssFeed.aspx

本文永久更新鏈接地址http://www.nluszu.live/Linux/2019-10/160995.htm

linux
相關資訊       pytorch  PyTorch 1.3 
本文評論   查看全部評論 (0)
表情: 表情 姓名: 字數

       

評論聲明
  • 尊重網上道德,遵守中華人民共和國的各項有關法律法規
  • 承擔一切因您的行為而直接或間接導致的民事或刑事法律責任
  • 本站管理人員有權保留或刪除其管轄留言中的任意內容
  • 本站有權在網站內轉載或引用您的評論
  • 參與本評論即表明您已經閱讀并接受上述條款
彩票投注骗局