任務模型數據集一步到位

編者按：本文來自微信公眾號 量子位（ID：QbitAI），創業邦經授權發布。

AI學數學，確實有點火。

【資料圖】

且不論這兩大領域的大拿紛紛為其站臺，就是每次相關進展一出爐，就受到眾多關注，比如AI求解偏微分方程。

△

既然如此，AI學數學到底學得怎么樣了。

現在有團隊專門梳理了十年發展歷程，回顧了關鍵任務、數據集、以及數學推理與深度學習交叉領域的方法，評估現有的基準和方法，并討論該領域未來的研究方向。

值得一提的是，他們還很貼心的整理了相關資源，在Github上放上了閱讀清單以供食用。

接下來，就帶你一文看盡。

一文看懂AI數學發展現狀

在這篇調查報告中，作者回顧了深度學習在數學推理方面的進展，主要包括了幾個方面。

任務和數據集； 神經網絡和預訓練語言模型； 大型語言模型的語境學習； 現有基準和未來方向。

首先，作者梳理了目前可用于深度學習數學推理的各種任務和數據集，大體任務主要分為這幾個大類。

1、數學應用題MWP

幾十年來，開發自動解決數學應用題的算法，一直是NLP研究方向所在。一個涉及人物、實體和數量的簡短表述，可用一組方程來模擬，方程的解法揭示了問題的最終答案。

MWPs對NLP系統的挑戰在于對語言理解、語義解析和多種數學推理能力的需求。

大多數MWP數據集都提供了注釋方程來解決。為了提高求解器的性能和可解釋性，MathQA用精確的操作程序進行注釋；MathQA-Python則提供具體的Python程序；還有數據集采用多步驟的自然語言，來對問題進行注釋，這樣更適合人類的閱讀。Lila用Python程序的原理注釋了許多前面提到的MWP數據集。

2、定理證明TP

即問題是通過一連串的邏輯論證來證明一個數學主張的真理。最近，人們對于交互式定理證明器（ITP）中使用語言模型來進行定理證明的關注越來愈多。

為了在ITP中證明一個定理，首先需用編程語言來陳述，然后通過生成 “證明步驟 “來簡化，直到它被簡化為已知事實。其結果是一個步驟序列，構成一個驗證的證明。

其數據源包括與ITP對接的交互式學習環境，從ITP庫證明中得到的數據集，比如CoqGym、Isabelle、Lean、Lean-Gym、miniF2F等。

3、幾何問題解決GPS

與數學單詞問題不同，幾何問題解決（GPS）是由自然語言和幾何圖組成。多模態輸入包括了幾何元素的實體、屬性和關系，而目標是找到未知變量的數學解。

基于這樣的特性，用深度學習來解決GPS問題就頗具挑戰，因為它涉及解析多模態信息、符號抽象、使用定理知識和進行定量推理的能力。

早期數據集相對較小或不公開，也就限制了深度學習方法的發展。為應對這一限制，有包括Geometry3K（由3002個幾何問題組成，并對多模態輸入進行了統一的邏輯形式注釋）、以及新出爐的GeoQA、GeoQA+、UniGeo的引入。

4、數學問答MathQA

數字推理是人類智力中的一種核心能力，在許多NLP任務中發揮著重要作用。除了定理證明、數學應用題之外，還有一系列圍繞數學推理的QA基準。

近段時間相關數據集大量誕生，比如QuaRel、McTaco、Fermi等，但最新研究表明，最先進的數學推理系統可能存在推理的脆性，即模型依靠虛假信號來達到看上去令人滿意的性能。

為了解決這一問題，在各個方面誕生了新基準，比如MATH，由具有挑戰性的競賽數學組成，以衡量模型在復雜情況下的問題解決能力。

除此之外，還有一些其他的數學任務，作者還專門匯總了表格，梳理了各個任務的相關數據集。

三大深度神經網絡模型

接著，團隊梳理在數學推理任務中，主要使用的幾大深度神經網絡模型。

Seq2Seq網絡，已成功應用于上述四種關鍵任務當中。它使用編碼器-解碼器架構，將數學推理形式化為一個序列生成任務，基本思路是將輸入序列（如數學問題）映射到輸出序列（ 如方程式、程序和證明）。常見的編碼器和解碼器包括LSTM、GRU等。

基于圖的數學網絡。一些特定的數學表達式（比如AST、圖）所蘊含的結構化信息，并不能被Seq2Seq方法明確地建模。為了解決這個問題， 基于圖的神經網絡來模擬表達式中的結構。比如Sequence-to-tree模型、ASTactic等模型。

基于注意力的數學網絡，注意力機制已成功應用于NLP、CV等問題中，在解碼過程中考慮了輸入的隱藏變量。最近，研究人員發現，它可以用來識別數學概念之間的重要關系，已被應用于數學應用題（MATH-EN）、幾何題、定理證明。

除此之外，還有CNN、多模態網絡等，在這個領域，視覺輸入使用ResNet或Faster-RCNN進行編碼，而文本表示則通過GRU或LTSM獲得。隨后，使用多模態融合模型學習聯合表示，如BAN、FiLM和DAFA。

在特定任務中，有使用擅長空間推理的GNN，用于幾何問題解析；WaveNet被應用于定理證明，由于其能夠解決縱向時間序列數據；還有Transformer生成數學方程等。

這其中，頻頻出現進展的，效果驚艷的大語言模型，在數學推理上表現得又是如何呢？

事實上存在一些挑戰，首先，因為模型訓練并非專門針對數學數據的訓練，所以在數學任務的熟練程度低于自然語言任務。而且相較于其他任務數據，數學數據相對較少；其次，預訓練模型規模的增長，讓下游特定任務從頭訓練成本很高；最后，從目標來看，模型可能很難學習數學表示或高級推理技能。

作者分析了自監督學習、特定任務微調兩種表現。

而在現有數據集和基準的分析中，研究團隊看到了一些缺陷，包括對對低資源環境的關注有限、不充分的數字表示、不一致的推理能力。

最后，團隊從泛化和魯棒性、可信的推理、從反饋中學習、多模態數學推理等方面探討了未來的研究方向。

還整理了份AI數學閱讀清單

這篇關于AI數學的調查報告，由UCLA、圣母大學、華盛頓大學等機構的研究人員共同完成。

第一作者是來自UCLA的Pan Lu，目前正讀博四，受到KaiWei Chang、朱松純等教授指導，此前曾獲清華碩士學位。

共同作者還有同樣是UCLA的邱亮，今年畢業已是亞馬遜Alexa AI的應用科學家，曾受朱松純和Achuta Kadambi教授的指導，是上海交大校友。

他們還整理了份數學推理和人工智能研究課題的閱讀清單，放在GitHub上。

關鍵詞： 人工智能