小米模塊光學(xué)系統(tǒng)詳解:打破手機(jī)與相機(jī)邊界
3月3日消息,小米系統(tǒng)詳解相機(jī)在3年前,模塊小米12S Ultra首次嘗試了模塊化鏡頭設(shè)計(jì),光學(xué)如今在小米15 Ultra,打破小米帶來了全新的手機(jī)模塊化光學(xué)系統(tǒng)。
通過類似相機(jī)系統(tǒng)的邊界可插拔光學(xué)+機(jī)身組合,協(xié)同手機(jī)的小米系統(tǒng)詳解相機(jī)ISP與算法,將“大底+高素質(zhì)鏡頭+強(qiáng)悍計(jì)算”融為一體,模塊讓用戶在保持手機(jī)便攜性的光學(xué)同時(shí),擁有可與專業(yè)相機(jī)接近的打破成像質(zhì)量和操作靈活性。
形態(tài)與硬件
1、手機(jī)原型機(jī)形態(tài)
該模塊由“鏡頭+傳感器”一體化封裝,邊界無額外的小米系統(tǒng)詳解相機(jī)計(jì)算、存儲(chǔ)、模塊或電池等元件,光學(xué)日常攜帶和操作更具移動(dòng)屬性。采用磁吸連接方式即可與手機(jī)組合,無需額外配對或冗長的連接過程。
體積輕量化,厚度控制在約30mm,即插即用的設(shè)計(jì)理念,為后續(xù)多焦段、多功能鏡頭組合提供了極高的靈活度。
2、M4/3畫幅的“超大底”傳感器
在手機(jī)影像領(lǐng)域,“1英寸”CMOS已經(jīng)是當(dāng)前機(jī)內(nèi)可容納的極限。基于當(dāng)下的堆疊技術(shù)和光學(xué)模組設(shè)計(jì)技術(shù),我們認(rèn)為現(xiàn)狀短期之內(nèi)不會(huì)改變。
為了獲得顯著更好的畫質(zhì),“小米模塊光學(xué)系統(tǒng)”的目標(biāo)便是直接使用M4/3傳感器。(如果1英寸被稱為手機(jī)的“全畫幅”,那M4/3就相當(dāng)于手機(jī)的“中畫幅”);這顆定制CMOS的具體型號和性能細(xì)節(jié)仍在保密階段,暫以“光影獵人X”代稱;1億像素規(guī)格,在理論上可以充分發(fā)揮鏡頭的高解析力。
光學(xué)部分:源于移動(dòng)光學(xué)的極限縮小
1、新設(shè)計(jì)的鏡頭,拒絕傳統(tǒng)相機(jī)規(guī)格
市面上已有的Micro Four Thirds(MFT)卡口鏡頭雖種類豐富,但在結(jié)構(gòu)設(shè)計(jì)并不適配手機(jī)形態(tài)。MFT卡口的法蘭距高達(dá)18mm,這意味著在任何鏡組高度之上還要再增加18mm的厚度,這對于一款具備移動(dòng)基因的技術(shù)來說是不可能接受的。
另外,傳統(tǒng)相機(jī)鏡頭多基于雙高斯結(jié)構(gòu)設(shè)計(jì),內(nèi)部由球面鏡(即玻璃的每一面都可以視為是一個(gè)球面的一部分)排列組合而成。這種鏡頭量產(chǎn)難度低、穩(wěn)定性強(qiáng),但體積大–尤其是大光圈鏡頭,需要增加鏡片來矯正邊緣畫質(zhì)。
為了在體積上有所突破,我們選擇果斷拋棄公版方案;基于我們在移動(dòng)光學(xué)的經(jīng)驗(yàn),從零開始設(shè)計(jì)一款全新鏡頭。這套鏡頭采用類似手機(jī)主攝的全非球結(jié)構(gòu),但因?yàn)榉艑捔酥亓肯拗?,每一枚鏡片都采用素質(zhì)更高的玻璃材質(zhì)。
這樣法蘭距僅有傳統(tǒng)M4/3相機(jī)的10%,但焦距達(dá)到了等效35mm,光圈值為f/1.4,也就是我們常說的“人文之眼”,充分利用專用模組的“定制化”優(yōu)勢,大大提升光學(xué)設(shè)計(jì)自由度,縮小鏡組體積。
2、體積與畫質(zhì)并存
在做好體積控制的同時(shí),團(tuán)隊(duì)也竭力保證更高的光學(xué)素質(zhì):采用全玻璃鏡片,而且是非球面全玻璃鏡片,經(jīng)過多次優(yōu)化設(shè)計(jì),我們在解析力、色差等各個(gè)指標(biāo)上達(dá)到了普通可換鏡頭的水平,用一半的體積達(dá)到同等光學(xué)指標(biāo),是非常巨大的提升。
而這樣的光學(xué)設(shè)計(jì)是和這顆傳感器1:1匹配設(shè)計(jì)的,針對一億像素、CFA、CRA等指標(biāo)均達(dá)到了最佳匹配設(shè)計(jì)。除此之外我們在工廠里還對每一對傳感器+鏡頭的組合做了標(biāo)定校準(zhǔn),每次拍照時(shí)都會(huì)使用這些和自身光學(xué)系統(tǒng)綁定的標(biāo)定數(shù)據(jù),這在可換鏡頭相機(jī)上是做不到的。
3、一體化多樣化潛力
除35mm F1.4之外,這套模塊光學(xué)平臺未來也有可能依托“手機(jī)+模塊”的模式在相同卡口接口下擴(kuò)展不同品類——例如移軸鏡頭、微距、潛望式長焦等,讓專業(yè)攝影師和影像愛好者在移動(dòng)端擁有更多玩法。
數(shù)據(jù)傳輸:高速無損的LaserLink接口
1、業(yè)內(nèi)普遍的難題:帶寬與延遲
此前出現(xiàn)過類似外置鏡頭或相機(jī)模塊的產(chǎn)品,但多少都存在預(yù)覽卡頓、取景延遲大、畫質(zhì)損失、需要配對和充電、使用體驗(yàn)不便利等問題。一切問題都源自帶寬的瓶頸。
在需要“實(shí)時(shí)預(yù)覽+高質(zhì)量記錄”場景下,若僅依賴Wi-Fi或藍(lán)牙,就必須對畫面信號做大幅壓縮,極易造成預(yù)覽卡頓、畫質(zhì)損失。此外,如果要將完整RAW數(shù)據(jù)傳回手機(jī)進(jìn)行計(jì)算,遠(yuǎn)高于常規(guī)視頻流的帶寬需求,也讓傳統(tǒng)無線方案難以勝任。
2、采用光通信的高帶寬方案
為了保障“CMOS原始信號”能和手機(jī)端ISP鏈接不降質(zhì)地傳輸,小米光學(xué)研究所定制開發(fā)了LaserLink近紅外光通信技術(shù):
四路CSI-22.5G,合計(jì)10Gbps的帶寬,支持實(shí)時(shí)傳輸未壓縮圖像流
時(shí)延僅20ns,遠(yuǎn)低于常規(guī)無線或有線轉(zhuǎn)譯的延遲
模塊體積僅3.75x4.5×1.7mm,能很好地嵌入手機(jī)和鏡頭模組連接區(qū)域,不破壞外觀,也幾乎不影響內(nèi)部堆疊。
系統(tǒng)整合:融合式移動(dòng)影像工作流
帶寬問題的解決,讓我們獲得了一個(gè)優(yōu)雅的架構(gòu):Sensor和AISP之間可以借助MIPI協(xié)議直連,這就和手機(jī)的內(nèi)置鏡頭沒有任何區(qū)別。
實(shí)際上,我們可以直接復(fù)用已有的ISP、NPU以及AI算法,可以和這顆大底CMOS配合實(shí)現(xiàn)迅捷的圖像處理:自動(dòng)對焦、動(dòng)態(tài)照片、萬物跟焦等原本在手機(jī)端成熟的功能可以“無縫映射”到大底鏡頭的成像流程中;拍攝后,無需多余的導(dǎo)入與壓縮,即可直接將照片保存在手機(jī)相冊,利用手機(jī)完善的照片編輯軟件或第三方專業(yè)App進(jìn)行后期。
我們將這種“伸手即用、即插即拍”的體驗(yàn)類比于AirPods之于音頻生態(tài):不需要以往繁瑣的配對操作,也無需額外安裝獨(dú)立App。在工業(yè)設(shè)計(jì)與交互設(shè)計(jì)上,這套模塊化系統(tǒng)實(shí)質(zhì)上讓專業(yè)相機(jī)“隱藏”在手機(jī)背后。
結(jié)語
小米光學(xué)研究所的“小米模塊化光學(xué)系統(tǒng)”并非針對單一產(chǎn)品的升級,而是為整個(gè)移動(dòng)影像生態(tài)提供了新的思路。在未來,手機(jī)也許會(huì)進(jìn)一步“蠶食”專業(yè)相機(jī)的使用場景:更便利的交互、更強(qiáng)大的ISP算力和更靈活的鏡頭組合,讓人們在日常與專業(yè)之間無縫切換。
又或者,也許會(huì)和現(xiàn)在一樣,更充分地激活用戶的創(chuàng)作熱情,讓更多人對影像感興趣、反向帶動(dòng)相機(jī)市場。這套預(yù)研平臺的種種努力,也為行業(yè)帶來更多靈感:或許下一步能夠?qū)⒏鞣N專業(yè)級鏡頭形式以“磁吸+光通信”方式帶入手機(jī),加速專業(yè)影像生態(tài)的全面“移動(dòng)化”。
正如團(tuán)隊(duì)所言,這仍是一款預(yù)研技術(shù),無論鏡頭素質(zhì)還是軟件算法,都將持續(xù)打磨。未來隨著光學(xué)設(shè)計(jì)、軟件調(diào)優(yōu)、乃至與其他影像品牌的合作日漸成熟,這套系統(tǒng)或許有機(jī)會(huì)進(jìn)入真實(shí)的消費(fèi)級產(chǎn)品序列,請大家期待。