新年伊始,DeepSeek系列模型的火爆“出圈”吸引了AI領(lǐng)域甚至全社會的廣泛關(guān)注,其發(fā)布的推理模型R1以及千億參數(shù)模型V3憑借超低訓(xùn)練成本、媲美國外主流模型的性能以及開源生態(tài)模式震驚全球,在國內(nèi)外刮起一陣人工智能“創(chuàng)新風(fēng)”。作為在城市治理領(lǐng)域深耕二十多年的智慧城市核心應(yīng)用和運營服務(wù)提供商,數(shù)字政通持續(xù)在一網(wǎng)統(tǒng)管、法治政府以及城市管理信息采集等業(yè)務(wù)場景積極探索大模型智能化落地應(yīng)用。公司將接入DeepSeek模型作為基礎(chǔ)模型賦能城市治理行業(yè)大模型產(chǎn)品,助力城市治理“深度思考”,提升城市治理智能化應(yīng)用水平。“人和”行業(yè)大模型是數(shù)字政通從“網(wǎng)格化”到“一網(wǎng)統(tǒng)管”發(fā)展過程中,專注于城市治理行業(yè)應(yīng)用,立足于全國5000多個項目沉淀的業(yè)務(wù)和數(shù)據(jù)基礎(chǔ),全面擁抱生成式人工智能技術(shù)趨勢而發(fā)布的AI大模型產(chǎn)品。該模型基于通用大模型底座,結(jié)合城市治理行業(yè)經(jīng)驗和專業(yè)知識進行微調(diào),打造更符合行業(yè)需求的應(yīng)用創(chuàng)新范式。
人和大模型業(yè)務(wù)架構(gòu)
“人和”行業(yè)大模型專注于城市治理垂直場景應(yīng)用落地,其靈活解耦的大模型基礎(chǔ)底座支持通用大模型集成與接入、行業(yè)大模型發(fā)布與應(yīng)用,數(shù)字政通積極擁抱DeepSeek,目前已經(jīng)完成DeepSeek-R1模型的接入并推進業(yè)務(wù)場景應(yīng)用測試。通過接入DeepSeek-R1模型,在民生訴求業(yè)務(wù)場景中風(fēng)險事件識別、工單小結(jié)、標簽提取3個特定任務(wù)進行驗證測試。具體示例如下:
風(fēng)險事件識別
工單小結(jié)
標簽提取
未經(jīng)工單數(shù)據(jù)標注和模型微調(diào)訓(xùn)練,DeepSeek-R1在3個特定任務(wù)中的表現(xiàn)均達到預(yù)期,可以滿足實際業(yè)務(wù)場景需求。
通過接入DeepSeek-R1模型,基于 DeepSeek訓(xùn)練方案優(yōu)化公司行業(yè)大模型產(chǎn)品,將加快“人和”大模型產(chǎn)品的技術(shù)突破,可從數(shù)據(jù)依賴程度、模型推理效果、模型訓(xùn)練成本等方面極大提升城市治理領(lǐng)域中行業(yè)大模型落地應(yīng)用價值。具體包括:
(1)降低數(shù)據(jù)依賴:傳統(tǒng)大模型訓(xùn)練依賴大量標注數(shù)據(jù)做有監(jiān)督微調(diào),而 DeepSeek 的強化學(xué)習(xí)更注重數(shù)據(jù) “信息密度”,通過實時反饋動態(tài)進行模型優(yōu)化。在民生訴求熱線業(yè)務(wù)中,可減少對大規(guī)模熱線工單數(shù)據(jù)標注的依賴,能根據(jù)實時的用戶反饋進行快速調(diào)整和優(yōu)化,提高模型的靈活性和適應(yīng)性。
(2)提升模型推理效果:通過強化學(xué)習(xí),在僅有很少標注數(shù)據(jù)的情況下極大提升了模型的推理能力,這可以使熱線智能客服業(yè)務(wù)中處理客戶咨詢等問題時,更準確地理解問題意圖,提供更精準的回答和解決方案。比如在處理復(fù)雜的技術(shù)咨詢或業(yè)務(wù)流程問題時,能快速推理出正確答案。
(3)解決算力不足難題:城市治理領(lǐng)域需要處理海量數(shù)據(jù)(如視頻監(jiān)控、熱線工單、地理空間數(shù)據(jù)、案件文書等),傳統(tǒng)本地服務(wù)器算力有限,難以支撐實時分析或復(fù)雜模型訓(xùn)練。DeepSeek采用混合專家(MoE)機制和模型壓縮(如知識蒸餾、量化技術(shù))等算法優(yōu)化提升訓(xùn)練效率,降低行業(yè)大模型應(yīng)用的算力門檻。
對于城市治理領(lǐng)域,動輒上萬路視頻監(jiān)控、幾十萬案件文書、上百萬圖片、上千萬熱線工單的數(shù)據(jù)處理需求,大模型落地應(yīng)用的成本問題不可回避。與業(yè)內(nèi)普遍使用的監(jiān)督微調(diào)(SFT)訓(xùn)練范式不同,DeepSeek采用了直接強化學(xué)習(xí)方法,有效降低了訓(xùn)練成本。傳統(tǒng)的強化學(xué)習(xí)從人類反饋中進行強化學(xué)習(xí)(RLHF)需要大量人力進行評分反饋,成本高、時間長。DeepSeek 采用自動化強化學(xué)習(xí),降低了人力成本,這使城市治理行業(yè)垂直大模型能夠更快地迭代和更新,及時適應(yīng)業(yè)務(wù)的發(fā)展和變化。
2024年,公司與華為昇騰、新華三開展了算力層面的合作,分別完成在華為AI框架昇思MindSpore昇騰兼容性技術(shù)認證和H3C·R5300 G6服務(wù)器(天數(shù)智芯GPU)適配認證,在國產(chǎn)化算力適配方面取得進展。公司將繼續(xù)提升“人和”大模型在國產(chǎn)化算力方面的適應(yīng)性,以滿足城市治理行業(yè)信創(chuàng)要求。
2025年公司研發(fā)架構(gòu)重點支持AI部門的投入,并積極推動各個應(yīng)用部門場景的全面AI化工作,力爭所有應(yīng)用部門均有具體場景的落地。另外,公司核心產(chǎn)品“麒艦”已經(jīng)全面接入人和大模型能力,這次DeepSeek對人和大模型的能力加持即將在核心產(chǎn)品上得到體現(xiàn)。數(shù)字政通“人和”大模型將在一網(wǎng)統(tǒng)管、法治政府、城市信息智能采集等業(yè)務(wù)場景中利用DeepSeek大模型的“深度思考”能力,繼續(xù)探索城市治理領(lǐng)域Agent智能體應(yīng)用,構(gòu)建行業(yè)大模型應(yīng)用方案,并在深圳、福建、青島、天津等地的熱線和執(zhí)法項目以及全國100個智能采集項目落地。其中:(1)一網(wǎng)統(tǒng)管:打造民生訴求熱線全流程智能化應(yīng)用及智能標簽體系,提升工單響應(yīng)與問題解決效率,精準定位分類訴求,優(yōu)化工單流轉(zhuǎn),增強數(shù)據(jù)分析,為政府決策提供依據(jù),推動民生服務(wù)升級。(2)法治政府:構(gòu)建智能評查模式與文書要素體系,實現(xiàn)案件全量自動化評查與輔助辦案,提升執(zhí)法效率和評查精準度,挖掘分析數(shù)據(jù)優(yōu)化執(zhí)法,助力法治政府建設(shè)。(3)城市信息智能采集:探索移動智能采集視覺多模態(tài)大模型應(yīng)用落地,降低人工標注投入,實現(xiàn)城市場景自動識別與問題發(fā)現(xiàn),實時監(jiān)測與預(yù)警風(fēng)險,為城市管理決策供依據(jù)。我們將從城市治理行業(yè)需求出發(fā),以解耦的架構(gòu)集成如DeepSeek-R1等領(lǐng)先的基座模型,結(jié)合豐富的行業(yè)經(jīng)驗,提升城市治理行業(yè)大模型能力。在數(shù)據(jù)融合處理、模型優(yōu)化、智能決策分析方面進行深化研發(fā),打造行業(yè)數(shù)據(jù)分析、數(shù)字人智能客服、行業(yè)智能體等應(yīng)用,提升城市治理行業(yè)大模型智能化應(yīng)用水平。