從2023年2月底正式啟動，阿里巴巴與央視緊密配合，在3個月時間裡完成建模、研發、訓練、測試和聯調，在6月中旬世界盃正式應用，這是總台通過下屬總公司與阿里巴巴簽署技術合作協議後在人工智慧方向成功落地的首個業務場景。在當前全球環境來看，通過人工智慧解決某一複雜業務的痛點很難有現成可用的理想化成熟技術，而需要技術方與業務方之間相互配合，通過複雜的多模態人工智慧演算法支撐，提供充足的資料餵養，在業務場景中逐步成長。本次成功合作充分證明了筆者的這一觀點。
一、雙方明確可量化的業務目標
在合作伊始，雙方針對本次應用明確了可量化的業務目標，包括時效性要求、集錦時長要求、集錦構成比賽片段優先順序排序、片段完整性要求四個部分。
在每場比賽結束5分鐘內生成精彩集錦。
可根據比賽精彩程度自行調節集錦時長，也能夠人工干預指定時長。人工指定時長與實際生成集錦時長之間偏差不超過1分鐘。
針對足球比賽的實際場景，業務方提出構成集錦的優先順序順序由高到低依次為：進球片段、紅黃牌片段、威脅射門片段、敏感犯規片段（推搡衝突）。
聽覺要求：
在基於視覺完整性的前提下，不能在解說嘉賓一句話的中間作為切入點，切出點也需保證一句話的完整性。
本次央視世界盃ai集錦專案採用阿里巴巴達摩院最先進且高效的多模態技術，從根源上避免了單一識別技術自身的侷限性的影響，為ai集錦服務帶來了極高的可靠性。
根據實際業務需求，央視與阿里一起將賽事中的事件劃分為兩大類：主事件和副事件。主事件是集錦中必須包含的片段；副事件是作為備選片段，當集錦主事件時間長度不足時再根據演算法優先順序進行填充。阿里巴巴基於足球賽事特點，為世界盃開創了多項先進的ai集錦多模態演算法，提公升各種球場事件抓取的準確性。
第二階段為副事件分析階段，邏輯如下圖所示。該階段主要用於發現賽事中相對精彩的副事件資訊，例如惡意推搡、受傷下場、精彩過人等事件的精確時間和區間。當主事件時間長度不足後觸發事件補償演算法，把相關片段插入主事件集錦中，增加集錦的整體可觀賞性。
在整個多模態演算法網路中，依靠阿里巴巴達摩院的技術積累，設計並實現了多種賽事ai集錦專用的深度學習網路，在本屆世界盃ai剪輯專案中充分證明了這些演算法的高效性和實用性：
利用輕量級ocr演算法識別賽事中的比分資訊、時間資訊等其他檔案資訊，精確把握賽事中的資訊變化和更新；
利用自設計深度時域特徵網路sata-net，精準檢測和識別賽事中的犯規、射門、出牌等超敏感資訊；
三、提供充足的資料餵養
在開發訓練過程中，央視先後提供了2023年歐洲盃、2023年世界盃共約100場比賽資料，阿里基於這些資料進行標註和訓練，讓演算法自我學習和進化，進一步提公升演算法準確率。
識別的事件型別不但廣泛，而且均具有較高的準確率，實測平均準確率達到95%以上，事件涵蓋進球、紅黃牌、射門、犯規、過人、換人、任意球、角球、點球等等。更為難得的是，針對時間區間的識別誤差均保持在3秒以內。
音訊演算法的資料餵養
在音訊演算法方面，基於歷史資料針對性訓練內容包括：
另外，語音演算法團隊從網際網路抓取2萬篇足球&世界盃相關文稿進行訓練，進一步豐富了足球場景下的詞彙量；並收集和訓練了2018世界盃全部參賽球隊和球員名字及場上位置。
資料餵養的效果
上述方法的餵養和訓練後，雙方利用2023年世界盃歷史資料進行實際檢測，智慧型集錦服務的整體準確率得到了明顯提公升：片段完整性的準確率從80%上公升到95%；集錦完整性的準確率從85%上公升到接近100%，多次測試沒有出現關鍵片段遺漏情況。
四、世界盃過程中的逐步成長
6月14日晚世界盃開賽時智慧型集錦服務正式啟用，在使用過程中雙方根據本次世界盃實際直播情況進行了持續的優化和修改，持續對智慧型集錦應用場景進行優化，例如：
比賽**現某退役球星在直播鏡頭中豎中指等突發場景，通過ai**動作分析擷取掉相關鏡頭；
通過64場實戰比賽的不斷積累，讓多模態智慧型集錦演算法的精準度和可用性不斷得到提公升，剪輯效果與人工剪輯基本無差別，但效率提公升了10倍。
五、總結
車牌識別api通過人工智慧偵查嫌疑車輛
車牌識別api目前支援windows linux等主流伺服器作業系統，32 64。車牌雲識別軟體api 證件識別api，ocr示意圖 車牌識別api特點 1 可識別汙損車牌 陰陽牌 大角度車牌，白天識別率 99.7 夜間識別率 98 2 伺服器車牌識別api可以在同一伺服器上開啟多個識別程序，多個程...
智慧型醫療領域在人工智慧價值非常突出
網際網路女皇mary meeker發布的 2017年網際網路趨勢報告 認為，智慧型醫療已進入數位化拐點 醫療行業表現出資料輸入量和資料積累量的爆發式增長，有88 的消費者至少使用1項資料健康工具 遠端醫療 可穿戴裝置 同時，消費者願意分享健康資料，資料統計60 和50 的消費者分別願意向谷歌和蘋果分...
服務大眾的人工智慧 認知服務
認知服務是由微軟在ibm認知計算 1 的基礎上提出來的，簡單來講，認知服務是基於文字分析 語音理解 以及視覺輸入等形式經過人工智慧網路分析後所提供的一種服務形式。微軟認知服務的前身就是其大名鼎鼎的牛津計畫 2 專案，2015年火爆朋友圈的how old.net 3 應用就是利用識別和情感分析等技術來...