機器視覺(Machine Vision)作為光電技術應用的一個特定領域,目前已經發展成為一個備受矚目的行業。隨著工業4.0浪潮襲來,機器視覺會擺脫最初“輔助工具”的地位成為生產系統的“眼睛”與“大腦”。本篇文章梳理了機器視覺幾大應用場景、技術難點和行業趨勢,試圖揭開機器視覺的神秘面紗。
圖1 機器視覺,智造之眼
一、機器視覺概念及其產生背景
機器視覺技術是計算機科學的一個重要分支,它涉及到計算機、圖像處理、模式識別、人工智能、信號處理、光學、機械等多個領域,其目的就是給機器或者自動生產線添加一套視覺系統。機器視覺是采用機器代替人眼來做測量與判斷,通過計算機攝取圖像來模擬人的視覺功能,實現人眼視覺的延伸。通過機器視覺產品即(工業相機)將被攝取目標轉換成圖像信號,傳送給專用的圖像處理系統,得到被攝目標的形態信息,根據像素分布和亮度、顏色等信息,轉變成數字化信號;圖像系統對這些信號進行各種運算來抽取目標的特征,進而根據判別的結果來控制現場的設備動作。
圖2 自動化生產線上的機器視覺系統
機器視覺系統的特點是提高生產的柔性和自動化程度,在一些不適合于人工作業的危險工作環境或人工視覺難以滿足要求的場合,常用機器視覺來替代人工視覺;同時在大批量工業生產過程中,用人工視覺檢查產品質量效率低且精度不高,用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現信息集成,是實現計算機集成制造的基礎技術。
在現代自動化生產過程中,機器視覺已經開始慢慢取代人工視覺。特別是隨著工業4.0的進一步推廣,這一趨勢愈加明顯。越來越多的從業者投入到芯片技術、圖像算法和圖形處理等技術中,機器視覺呈現階躍式狀態,與此同時也助推了機器視覺更高速、良性的發展方向。機器視覺作為近20多年的新興技術和產業,它的發展大大提高了工業生產過程中的靈活性和智能性水平。特別是近幾年中國的視覺類產品以及專門從事視覺產品、設備銷售和研發的公司更是如雨后春筍般,公眾對視覺的接受度和依賴度越來越高。
二、機器視覺行業發展現狀
機器視覺的概念起始于20世紀60年代,最先的應用來自"機器人"的研制。最早基于視覺的機器系統,先由視覺系統采集圖像并進行處理,然后通過計算估計目標的位置來控制機器運動。1979年提出了視覺伺服(Visual Servo)概念,即可以將視覺信息用于連續反饋,提高視覺定位或追蹤的精度。在國外,機器視覺的應用普及主要體現在半導體及電子行業,其中大概40%-50%都集中在半導體行業。從全球產業發展來看,國際機器視覺市場正處于產業成熟期,未來3~5年歐美日機器視覺技術仍將有不斷創新,國際機器視覺市場規模有望繼續增長。
縱觀中國的機器視覺行業,始終是伴隨著中國工業化進程的發展而發展起來的。中國的機器視覺起步相對較晚,從20世紀90年代末開始起步,直到2009年以后才正式進入高速發展期。其間經歷了啟蒙階段、發展階段、快速發展階段、逐步成熟階段。究其主要原因為,機器視覺行業本身屬于新興的領域,加之機器視覺產品技術的普及不夠,導致以上各行業的應用幾乎空白。
目前國內機器視覺大多為國外品牌,國內大多機器視覺公司基本上是靠代理國外各種機器視覺品牌起家。近年來,隨著各大高校及企業紛紛投入研發,國內機器視覺專利數量逐年增加,國內機器視覺公司規模逐漸做大,技術上已經趨于成熟,機器視覺的功能及應用范圍隨著工業自動化的發展逐漸完善和推廣。其中特別是CCD工業攝像機、智能相機、ARMFPGA、圖像處理和模式識別等技術的快速發展,極大地推動了機器視覺系統的發展。據悉,中國目前已成為繼美國、日本之后全球第三大機器視覺市場。2015年,中國機器視覺市場規模已達到61.2億元,預計在2016-2020年間中國制造在機器視覺上維持20%的增長率,預計到2020年前后,市場規模將達152億元,國內機器視覺將進入產業成熟期!
機器視覺發展歷程
20世紀50年代:主要集中在二維圖像的簡單分析和識別上,如字符識別,工件表面、顯微圖片和航空圖片的分析和解釋等。
20世紀60年代:MIT(Massachusetts Institute of Technology)的Roberts通過計算機程序從數字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結構,并對物體形狀及物體的空間關系進行描述。他的研究工作開創了以理解三維場景為目的的三維計算機視覺研究。
20世紀70年代:首次提出較為完整的視覺理論,已經出現了一些視覺應用系統。70年代中期,MIT人工智能(Artificial Intelligence)實驗室正式開設"機器視覺"課程。1973年MITAI Lab吸引了國際上許多知名學者參與視覺理論、算法、系統設計的研究,D. Marr教授就是其中的一位。他于1977年提出了視覺計算理論(Vision Computational Theory),該理論在80年代成為計算機視覺領域中的一個十分重要的理論框架。
80年代中期:計算機視覺獲得蓬勃發展,新概念、新方法、新理論不斷涌現。
90年代中期:隨著微處理器、半導體技術的進步,以及勞動力成本上升和高質量產品的需求,國外機器視覺于20世紀90年代進入高速發展期,廣泛運用于工業控制領域。
目前,機器視覺已形成幾個重要研究分支:1)目標制導的圖像處理;2)圖像處理和分析的并行算法;3)從二維圖像提取三維信息;4)序列圖像分析和運動參量求值;5)視覺知識的表示;6)視覺系統的知識庫等。
三、機器視覺系統模塊構成
一個完整的工業機器視覺系統是由眾多功能模塊共同組成,一般由光學系統(光源、鏡頭、工業相機)、圖像采集單元、圖像處理單元、執行機構及人機界面等模塊組成,所有功能模塊相輔相成,缺一不可。好的機器視覺系統能夠為制造業提供更多有利于提高產品質量和生產效率的硬件支持。
圖3 機器視覺系統模塊構成
圖像獲。光源、鏡頭、相機、采集卡、機械平臺
圖像處理與分析:工控主機、圖像處理分析軟件、圖形交互界面
判決執行:電傳單元、機械單元
其中,典型的基于PC的機器視覺系統通常由如圖所示的幾部分組成:
圖4 基于PC的視覺系統基本構成
①工業相機與工業鏡頭——這部分屬于成像器件,通常的視覺系統都是由一套或者多套這樣的成像系統組成,如果有多路相機,可能由圖像卡切換來獲取圖像數據,也可能由同步控制同時獲取多相機通道的數據。根據應用的需要相機可能是輸出標準的單色視頻(RS-170/CCIR)、復合信號(Y/C)、RGB信號,也可能是非標準的逐行掃描信號、線掃描信號、高分辨率信號等。
②光源——作為輔助成像器件,對成像質量的好壞往往能起到至關重要的作用,各種形狀的LED燈、高頻熒光燈、光纖鹵素燈等都容易得到。
③傳感器——通常以光纖開關、接近開關等的形式出現,用以判斷被測對象的位置和狀態,告知圖像傳感器進行正確的采集。
④圖像采集卡——通常以插入卡的形式安裝在PC中,圖像采集卡的主要工作是把相機輸出的圖像輸送給電腦主機。它將來自相機的模擬或數字信號轉換成一定格式的圖像數據流,同時它可以控制相機的一些參數,比如觸發信號,曝光/積分時間,快門速度等。圖像采集卡通常有不同的硬件結構以針對不同類型的相機,同時也有不同的總線形式,比如PCI、PCI64、Compact PCI,PC104,ISA等。
⑤PC平臺——電腦是一個PC式視覺系統的核心,在這里完成圖像數據的處理和絕大部分的控制邏輯,對于檢測類型的應用,通常都需要較高頻率的CPU,這樣可以減少處理的時間。同時,為了減少工業現場電磁、振動、灰塵、溫度等的干擾,必須選擇工業級的電腦。
⑥視覺處理軟件——機器視覺軟件用來完成輸入的圖像數據的處理,然后通過一定的運算得出結果,這個輸出的結果可能是PASS/FAIL信號、坐標位置、字符串等。常見的機器視覺軟件以C/C++圖像庫,ActiveX控件,圖形式編程環境等形式出現,可以是專用功能的(比如僅僅用于LCD檢測,BGA檢測,模版對準等),也可以是通用目的的(包括定位、測量、條碼/字符識別、斑點檢測等)。
⑦控制單元(包含I/O、運動控制、電平轉化單元等)——一旦視覺軟件完成圖像分析(除非僅用于監控),緊接著需要和外部單元進行通信以完成對生產過程的控制。簡單的控制可以直接利用部分圖像采集卡自帶的I/O,相對復雜的邏輯/運動控制則必須依靠附加可編程邏輯控制單元/運動控制卡來實現必要的動作。
機器視覺系統工作原理
機器視覺系統通過圖像采集單元將待檢測目標轉換成圖像信號,并傳送給圖像處理分析單元。圖像處分析單元的核心為圖像處理分析軟件,它包括圖像增強與校正、圖像分割、特征提取、圖像識別與理解等方面,從而根據判別輸出目標的質量、規格測量等分析結果,分析結果并輸出至圖像界面或通過電傳單元(PLC等)傳遞給機械單元執行相應操作,如剔除、報警等,或通過機械臂執行分揀、抓舉等動作。
圖5 機器視覺系統工作原理
機器視覺系統的工作流程
工件到達檢測位置→ 向傳感器觸發脈沖→ 圖像采集卡感應物件并開始工作→ 零件照明→工業攝像機等待掃描并輸出→ 圖像采集卡將數字圖像存放到計算機內存中→處理器獲取圖像并把資料數據化→ 視覺軟件對圖像進行分析、識別→ 獲取測量結果→ 離散輸出,顯示不良產品畫面→控制流水線的動作或糾正誤差。
圖6 機器視覺系統工作流程圖
從上述的工作流程可以看出,機器視覺系統是一種比較復雜的系統,因為大多數系統的監控對象都是運動物體,系統與運動物體的匹配和協調動作尤為重要,這些給系統各部分的動作時間和處理速度帶來了嚴格的要求。在一些應用領域,例如機器人、飛行物制導等,整個系統或者系統的一些部件的重量、體積和耗電量都會有嚴格的要求。所以說,機器視覺是圖像處理系統中最復雜的系統,需要在開發和設計中投入更多的精力。
四、機器視覺系統的優勢
在工業生產的過程中,機器視覺相對于人眼識別體現了較大優勢。機器視覺具有自動化、客觀、非接觸和高精度等特點。特別是在工業生產領域,機器視覺強調生產的精度和速度,以及工業現場環境下的可靠性與安全性,在重復和機械性的工作中具有較大的應用價值。
精確性——由于人眼有物理條件的限制,在精確性上機器有明顯的優點。即使人眼依靠放大鏡或顯微鏡來檢測產品,機器仍然會更加精確,因為它的精度能夠達到千分之一英寸。特別是檢測生產線上高速運動的物體時,機器視覺更具優勢。
重復性——機器可以以相同的方法一次一次的完成檢測工作而不會感到疲倦。與此相反,人眼每次檢測產品時都會有細微的不同,即使產品時完全相同的。
客觀性——人眼檢測還有一個致命的缺陷,就是情緒帶來的主觀性,檢測結果會隨工人心情的好壞產生變化,而機器沒有喜怒哀樂,檢測的結果自然非常可觀可靠。
效率高——機器視覺系統可以快速獲取大量信息,實現更為快速的產品檢測,同時也易于加工過程中的信息集成,尤其是在大批量工業生產過程中,用人工視覺檢查產品質量效率低且精度不高,用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。
成本低——由于機器比人快,一臺自動檢測機器能夠承擔多人的任務。而且機器不需要停頓、能夠連續工作,所以能夠極大的提高生產效率從而降低生產成本。
圖7 人工檢測與機器視覺自動檢測的主要區別
五、機器視覺應用場景分析
機器視覺的軟硬件產品已逐漸成為生產制造各個階段的必要部分,這就對于系統的集成性提出了更高的要求。工業自動化企業要求能夠與測試或控制系統協同工作的一體化工業自動化系統,而非獨立的視覺應用。然而,隨著機器視覺技術成熟與發展,早已不是單一的應用產品,其應用范圍愈加廣泛,F在,大多數的機器視覺被用于檢測行業,常見的有五金行業,電子行業,包裝行業等視覺方案。在產品生產過程中,采集產品數據,不僅提高了生產效率,還能更好地對生產過程進行控制,有效提高了產品質量,這也給機器視覺檢測設備的發展帶來一個新的契機。根據工業環境的不同,可以將機器視覺的應用分為以下兩類:
一類是用于大規;蛘吒邷y試要求的生產線上:如包裝、印刷、分揀等,或者在野外、核電等不適合人員工作的環境中,利用機器視覺方式代替傳統人工測量或檢試,同時實現人工條件下無法達到的可靠性、精確度及自動化程度。
另一類應用是必須用到高性能、精密機器視覺組件的專業設備制造:典型代表是最早帶動整個機器視覺行業崛起的半導體制造設備。從上游晶圓加工制造的分類切割,到末端電路板印刷、貼片,這類設備都依賴于高精度的視覺測量以對運動部件進行導引與定位。例如,如果錫膏印刷工序存在定位偏差,且該問題直到芯片貼裝后的在線測試才被發現,那么返修的成本將會是原成本的100倍以上!
機器視覺典型應用場景
1. 車間生產組裝
圖8 基于車間生產組裝的機器視覺場景應用
機器人在機器視覺技術的作用下,可以精確地按照視覺技術使機械手臂擁有3D視覺能力,可以靠視覺導引、定位,成為夾取物件的要件。除了視覺定位,手眼力協調機器人的關鍵技術還有矩陣的感測器,可以協助機器人知道抓取的位置與力量大小。機器人具備三大力量控制功能,第一,力量控制能順應導引,讓作業員能夠牽著機械手臂來做教導機器做重復的事情。第二,人機安全。機器人一碰倒東西就會停下來,因為機器手臂有能力感測碰撞力量,接觸到外物的碰撞和人的碰撞,機器手臂會立即停止。第三,能精確控制夾取力道,對于易碎物品、軟性物品的夾取。由于視覺定位以及力量感測能力,使得普通的機器搖身一變成為更像人類的行為,可以協助作業員做更高端、更精密的組裝檢測工作。
2.電子焊接制造
圖9 基于電子焊接制造的機器視覺場景應用
在焊線技術中,因為芯片維度的縮小,需要較強大的影像放大功能。在此環境中,高質量的成像鏡頭系統必須滿足特殊的最佳化需求。與一般影像處理技術相比,這里對照明、對比、失真或焦距深度等問題的要求,都逐一被放大。芯片、涂漆表面、圖樣與質地的質量對比可能會因為材質關系呈現出很大的相異性。在這些小型芯片中微小的偏移,將對影像的對比方面的質量造成很大影響。另外,由于機器視覺工具絕佳的操作模式、可靠度及視覺算法的高準確度,其精度可高達亞像素區塊。在印;蚝妇機器中的主要影像處理作業決定芯片與位置,及其圖樣、邊緣、圓圈及鉆孔,從而很好地解決了芯片焊接過程中的諸多問題。
3. 空瓶檢測
機器視覺空瓶檢測系統主要由相機、鏡頭、光源、圖像采集卡、PC平臺和控制單元等六部分組成,各個部分之間相互配合,最終完成對酒瓶的質量檢測和剔除。
圖10 基于空瓶檢測的機器視覺場景應用
在系統運行過程中,PLC負責及時地通知圖像采集子系統啟動CCD攝像機,抓拍處于拍攝位置的空瓶。為了達到這一目的,需要使用光電傳感器來檢測空瓶的位置。并將光電傳感器安裝到CCD攝像機拍攝位置旁,把輸出接到PLC的I/O輸入口上。當沒有空瓶經過時,光電傳感器可以接收到反射光束,沒有輸出信號,而當有空瓶經過時,光電傳感器無法接收到返回的光束,于是輸出觸發信號。PLC從輸入口接收到此信號后,即可判定空瓶已到達拍攝位置,從I/O輸出口輸出啟動信號給圖像采集系統,啟動CCD攝像機,攝像機及時進行拍攝,獲取被檢空瓶的圖像。
4.汽車零部件制造
圖11 基于汽車零部件制造的機器視覺場景應用
汽車行業產品的精度和質量都必須滿足要求的這種需求正在與日俱增。因此,現在汽車行業生產的特點是越來越快的生產周期和大量原材料和零部件的供應。這就給機器視覺系統提供了用武之地,機器視覺正逐步被看作是任何自動化解決方案中的一個完整的組成部分!
另外,在電子工業中,特別是像高精度的晶片位置識別或位置校正以及用于SMT(表面安裝設備)裝配零件檢測這樣的領域,幾年來已經形成了這樣的共識:現在要滿足高質量和生產標準的唯一方式就是使用靈活的圖像處理方法。不管怎樣,機器視覺目前已經是不可缺少的了,即便是擁有能夠提供最佳精度級別的三維自動裝配和適應大量不同種類和改進種類裝配線的汽車行業也不例外。
5.產品自動化分揀
自動化分揀是工業生產、特別是產品批量生產中的必需環節之一。工業生產中需要根據產品特性及其生產/出廠質量要求進行分揀,它可以代替人工進行貨物的分類、搬運和裝卸工作,或代替人類搬運危險物品,提高生產和工作效率,保障工人的人身安全,從而實現自動化、智能化、無人化。
圖12 基于產品自動化分揀的機器視覺場景應用
以食品生產行業為例,為了降低企業成本和提高食品的合格率,設計了符合中國國情的高速分揀系統。系統由計算機、運動控制器、CCD視覺系統和夾持器等組成。CCD視覺是系統能夠根據食品的圖像,運用圖像算法,對食品進行分級和判斷,進而通過控制器驅動并聯機器人實現分揀操作。
高速機器人分揀系統的工作原理為:當食品進入作業區域時,上位機利用CCD完成食品圖像采集,運用機器視覺技術對圖像進行運算分析,完成對運動目標狀態的跟蹤;此時通過控制系統的下位機完成并聯機構和夾持器的操作,將目標物放到指定位置,進而實現食品的自動分揀。一般分揀系統在完成圖像采集時,會通過數據總線傳至PC機,此時主控制器根據內部不同模塊功能完成處理,進而對運動控制器發送指令。對于典型食品的圖像處理,由于其外觀形狀比較規則,一般可通過圖像采集、邊緣提取、圖像增強和特征分析等方法提取分揀食品的特征,而對于精密型食品圖像采集需要更高的采集方式。
6.藥品質量檢測
圖13 基于藥品質量檢測的機器視覺場景應用
機器視覺在醫療領域的應用已經從傳統的藥品包裝、藥瓶、標簽等視覺檢測到目前對生物芯片的檢測,放射科的X放射等,通過引入機器視覺系統,完成對圖像信息的采集、存儲、管理、處理及傳輸等功能。
由于醫藥行業的嚴格規范,在藥品出廠時,一般瓶裝藥都是要經過嚴格檢測的。傳統的檢測方法是將待檢測的藥液用人工的方式放在流水線上,流水線的速度由檢測工人控制,當藥品傳送到檢測工人面前時,檢測工人在專用的燈箱下判斷產品質量是否合格。由于人工檢測存在著很大的弊端,很難滿足流水線的檢測速度,無法實現實時、在線、非接觸檢測的檢測,更無法適應現代的質量控制和統計流程控制。而基于機器視覺技術的藥液質量檢測,可以實現無接觸式的檢測。根據藥液雜質檢測的特點設計了專用的視覺成像方案。待檢測的藥液瓶被卡在轉床上,轉床旋轉的時候帶動藥瓶高速旋轉,用于機器視覺的專用LED光源安裝在光源盒內,CCD攝像將拍攝到的圖像傳輸到工控機,并在此過程中通過連續拍攝多幅圖像,在這一序列的運動圖像中,對運動目標進行識別,當識別到的目標超過規定的容許指標時,判斷此瓶藥液為不合格。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:機器視覺,智造之眼
本文網址:http://www.guhuozai8.cn/html/consultation/10839320602.html