筆者在上篇文章中對ARKit進行了簡單介紹,在本篇文章中主要介紹ARKit中經(jīng)常用到的API及使用方法。了解這些API的含義以方便我們后邊的深入學(xué)習(xí)。
1.1-ARAnchor
用于在AR場景中放置物體的一個現(xiàn)實世界的位置和方向,通常我們無需構(gòu)造,因為添加一個3D物體時ARKit會有代理告知我們物體的ARAnchor實例。
ARAnchor擁有屬性:transform,類型為matrix_float4x4(是一個4x4的矩陣),
構(gòu)造方法:-(instancetype)initWithTransform:(matrix_float4x4)transform;
1.2-ARPlaneAnchor
繼承自ARAnchor,是在ARSession中監(jiān)測到的現(xiàn)實平面的位置和方向。
1.3-ARSession
一個管理增強現(xiàn)實所需的設(shè)備攝像頭和動作處理的共享的對象。
ARSession對象會協(xié)調(diào)增強現(xiàn)實過程中的大部分處理,這些處理包括:從設(shè)備的動作感應(yīng)硬件讀取數(shù)據(jù)、控制設(shè)備內(nèi)置攝像頭和對捕捉到的攝像圖像進行分析。ARSession會整合這些結(jié)果并在設(shè)備反饋的現(xiàn)實空間和模型化AR內(nèi)容的虛擬空間之間建立一種對應(yīng)關(guān)系。
任何一個用ARKit實現(xiàn)的AR場景都需要一個單獨的ARSession對象。如果使用了ARSCNView或者ARSKView對象來創(chuàng)建了AR場景的話,一個ARSession實例已經(jīng)包含在這個View之中了。如果通過別的渲染器來建立AR內(nèi)容,就需要手動創(chuàng)建并維持一個ARSession對象。
運行一個session需要一個session configuration,這是一個ARSessionConfiguration或其子類ARWorldTrackingSessionConfiguration的實例。這些類決定了ARKit如何追蹤一個設(shè)備的位置以及相對于現(xiàn)實世界的運動,因此影響了所創(chuàng)建的AR體驗。
```
1.對象提供接收視頻圖像捕獲和跟蹤信息,或?qū)挔顟B(tài)的變化,代理是捕獲視頻流的(方法可以實現(xiàn)接收視頻幀圖像捕獲和跟蹤狀態(tài)的AR會話。) var
self.arsession.delegate = self;
2.暫停 func
[self.arsession pause];
3.支持多線程的 var
self.arsession.delegateQueue ;
4.翻譯為當(dāng)前幀
ARFrameframe =? self.arsession.currentFrame;
5.運行追蹤者 func
[self.arsession runWithConfiguration:self.arsessionconfiguration];
6.增加刪除錨點,func
ARAnchorar = [[ARAnchor alloc]initWithTransform:matrix_sub];
[self.arsession addAnchor:ar ];
[self.arsession removeAnchor:ar];
```
1.4-ARFrame
表示追蹤相機當(dāng)前的狀態(tài),這個狀態(tài)不僅僅只是位置,還有圖像幀及時間等參數(shù),一個運行的ARSession會不斷的通過設(shè)備相機捕捉視頻幀。對于每一個frame,ARKit會結(jié)合圖像和從設(shè)備運動感應(yīng)硬件獲得的數(shù)據(jù)來分析設(shè)備的真實位置。這些追蹤信息和視圖參數(shù)就是以ARFrame對象來保存和傳遞的。
```
@interfaceARFrame:NSObject/**
時間戳.
*/@property(nonatomic,readonly)NSTimeIntervaltimestamp;/**
緩沖區(qū)圖像幀
*/@property(nonatomic,readonly) CVPixelBufferRef capturedImage;/**
相機(表示這個ARFrame是哪一個相機的,iPhone7plus有兩個攝像機)
*/@property(nonatomic,copy,readonly) ARCamera *camera;/**
返回當(dāng)前相機捕捉到的錨點數(shù)據(jù)(當(dāng)一個3D虛擬模型加入到ARKit中時,錨點值得就是這個模型在AR中的位置)
*/@property(nonatomic,copy,readonly)NSArray *anchors;/**
燈光,詳情可見本章節(jié)ARLightEstimate類介紹(指的是燈光強度 一般是0-2000,系統(tǒng)默認1000)
*/@property(nonatomic,copy,nullable,readonly) ARLightEstimate *lightEstimate;/**
特征點(應(yīng)該是捕捉平地或者人臉的,比較蘋果有自帶的人臉識別功能)
*/@property(nonatomic,nullable,readonly) ARPointCloud *rawFeaturePoints;/**
根據(jù)2D坐標(biāo)點搜索3D模型,這個方法通常用于,當(dāng)我們在手機屏幕點擊某一個點的時候,可以捕捉到這一個點所在的3D模型的位置,至于為什么是一個數(shù)組非常好理解。手機屏幕一個是長方形,這是一個二維空間。而相機捕捉到的是一個由這個二維空間射出去的長方體,我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線,這一條線上可能會有多個3D物體模型
point:2D坐標(biāo)點(手機屏幕某一點)
ARHitTestResultType:捕捉類型? 點還是面
(NSArray *):追蹤結(jié)果數(shù)組? 詳情見本章節(jié)ARHitTestResult類介紹
*/- (NSArray *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;/**
相機窗口的的坐標(biāo)變換(可用于相機橫豎屏的旋轉(zhuǎn)適配)
*/- (CGAffineTransform)displayTransformWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation;
@end
```
1.5-ARCamera
表示AR session中一個被捕獲的視圖幀相關(guān)的相機位置和視圖特征的信息。
一般我們無需去創(chuàng)建一個相機,因為當(dāng)我們初始化一個AR試圖時,他會為我們默認創(chuàng)建一個相機,而且這個相機就是攝像頭的位置,同時也是3D世界中的原點所在(x=0,y=0,z=0)
1.6-ARSessionConfiguration
一個僅用來追蹤設(shè)備方向的基礎(chǔ)設(shè)置,主要就是追蹤相機的配置。
所有的AR configuration都是用來建立現(xiàn)實世界和虛擬3D坐標(biāo)空間的對應(yīng)關(guān)系的。當(dāng)app將這些虛擬內(nèi)容和實時的攝像畫面一起展示給用戶,用戶會產(chǎn)生一種這些虛擬內(nèi)容是現(xiàn)實世界的一部分的錯覺。
創(chuàng)建和維持各空間之間的對應(yīng)關(guān)系需要追蹤設(shè)備的移動。ARSessionConfiguration類用三自由度(3DOF,也就是三個旋轉(zhuǎn)坐標(biāo):roll(繞x軸)、pitch(繞y軸)和yaw(繞z軸))。
這種最基礎(chǔ)級別的運動追蹤可以創(chuàng)建最基本的AR體驗:一個虛擬物體可以出現(xiàn)在部分現(xiàn)實世界中,即使用戶旋轉(zhuǎn)設(shè)備從上、下或者側(cè)面來觀察這個物體。但是,無法追蹤非平凡(non-trivially)的位置的變化,從而導(dǎo)致AR幻覺破碎,虛擬物體會相對于現(xiàn)實世界漂移。如用戶無法看到虛擬物體的背面和其它部分。
ARSessionConfiguration類創(chuàng)建了有限的但是可用于所有iOS設(shè)備的AR體驗,而增強的AR體驗只在某些設(shè)備上可用。
```
//會話追蹤配置類@interfaceARSessionConfiguration: NSObject /**
當(dāng)前設(shè)備是否支持,一般A9芯片以下設(shè)備不支持
*/@property(class, nonatomic, readonly) BOOL isSupported;/**
會話的對其方式,這里的對其指的是3D世界的坐標(biāo)。枚舉值見下方
*/@property(nonatomic, readwrite) ARWorldAlignment worldAlignment;/**
是否需要自適應(yīng)燈光效果,默認是YES
*/@property(nonatomic, readwrite, getter=isLightEstimationEnabled) BOOL lightEstimationEnabled;@end//世界會話追蹤配置,蘋果建議我們使用這個類,這個子類只有一個屬性,也就是可以幫助我們追蹤相機捕捉到的平地@interfaceARWorldTrackingSessionConfiguration: ARSessionConfiguration/**
偵查類型。枚舉值見下方(默認偵查平地)
*/@property(nonatomic, readwrite) ARPlaneDetection planeDetection;
@end
```
1.7-ARWorldTrackingSessionConfiguration
一個用于追蹤設(shè)備方向和位置,并且監(jiān)測現(xiàn)實世界平面的設(shè)置,它是ARSessionConfiguration的子類,并處于同一個API文件中。
相比于ARSessionConfiguration,ARWorldTrackingSessionConfiguration可以從六自由度來追蹤設(shè)備的運動,除了上述三自由度,還包括三個平移坐標(biāo)(表示在x、y、z軸上的移動)。
這種級別的追蹤可以創(chuàng)建一個沉浸式的AR體驗,即無論用戶旋轉(zhuǎn)或者移動設(shè)備來觀察,虛擬物體都會位于相對于現(xiàn)實世界的同一個位置。
如果設(shè)置了planeDetection,ARKit會分析場景來找到現(xiàn)實世界中的平面。對每一個被監(jiān)測到的平面,ARKit會自動添加一個ARPlaneAnchor對象到該session。
1.8-ARLightEstimate
與被捕捉的視圖幀相關(guān)的分析場景的燈光數(shù)據(jù)。
如果在AR scene上覆蓋其它圖形,可以使用在明暗處理算法中使用這些信息來使得這些圖形可以匹配現(xiàn)實世界的光照情況。(ARSCNView類會自動使用這些數(shù)據(jù)來配置光照)
```
@interfaceARLightEstimate: NSObject /**
燈光強度? 范圍0-2000 默認1000
*/@property(nonatomic, readonly) CGFloat ambientIntensity;@end
```
1.9-ARSceneView
一個用來展示增強相機視圖和3D SceneKit內(nèi)容的AR體驗的頁面。
ARSceneView類提供了最簡單的方法來創(chuàng)建增強了現(xiàn)實的體驗,即將虛擬的3D內(nèi)容和設(shè)備相機反映的現(xiàn)實世界結(jié)合起來。當(dāng)運行一個由ARSession對象提供的頁面時:
頁面會自動的渲染有由設(shè)備相機提供的實時影像作為場景的背景。
頁面的場景(scene,由SceneKit提供)的世界坐標(biāo)系統(tǒng)會直接映射成由session configuration簡歷的AR世界的坐標(biāo)系統(tǒng)。
頁面會自動的移動它的SceneKit相機來匹配現(xiàn)實世界中設(shè)備的移動。
因為ARKit會自動將SceneKit空間匹配到現(xiàn)實世界,所以,放置一個虛擬物體讓它能夠保持現(xiàn)實世界的位置只需要正確地設(shè)置SceneKit的位置即可。
使用ARAnchor類來追蹤添加在場景中的物體并不是必須的,但是,如果實現(xiàn)了ARSCNViewDelegate方法,就可以添加SceneKit內(nèi)容到任一由ARKit監(jiān)測到錨點上。
```
@interfaceARSCNView:SCNView/**
代理
*/@property(nonatomic,weak,nullable)id delegate;/**
AR會話
*/@property(nonatomic,strong) ARSession *session;/**
場景
*/@property(nonatomic,strong)SCNScene*scene;/**
是否自動適應(yīng)燈光
*/@property(nonatomic)BOOLautomaticallyUpdatesLighting;/**
返回對應(yīng)節(jié)點的錨點,節(jié)點是一個3D虛擬物體,它的坐標(biāo)是虛擬場景中的坐標(biāo),而錨點ARAnchor是ARKit中現(xiàn)實世界的坐標(biāo)。
*/- (nullableARAnchor *)anchorForNode:(SCNNode*)node;/**
返回對應(yīng)錨點的物體
*/- (nullableSCNNode*)nodeForAnchor:(ARAnchor *)anchor;/**
根據(jù)2D坐標(biāo)點搜索3D模型,這個方法通常用于,當(dāng)我們在手機屏幕點擊某一個點的時候,可以捕捉到這一個點所在的3D模型的位置,至于為什么是一個數(shù)組非常好理解。手機屏幕一個是長方形,這是一個二維空間。而相機捕捉到的是一個由這個二維空間射出去的長方體,我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線,這一條線上可能會有多個3D物體模型
point:2D坐標(biāo)點(手機屏幕某一點)
ARHitTestResultType:捕捉類型? 點還是面
(NSArray *):追蹤結(jié)果數(shù)組? 詳情見本章節(jié)ARHitTestResult類介紹
數(shù)組的結(jié)果排序是由近到遠
*/- (NSArray *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;@end//代理#pragma mark - ARSCNViewDelegate//代理的內(nèi)部實現(xiàn)了SCNSceneRendererDelegate:scenekit代理 和ARSessionObserver:ARSession監(jiān)聽(KVO機制)@protocolARSCNViewDelegate@optional/**
自定義節(jié)點的錨點
*/- (nullableSCNNode*)renderer:(id)renderer nodeForAnchor:(ARAnchor *)anchor;/**
當(dāng)添加節(jié)點是會調(diào)用,我們可以通過這個代理方法得知我們添加一個虛擬物體到AR場景下的錨點(AR現(xiàn)實世界中的坐標(biāo))
*/- (void)renderer:(id)renderer didAddNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
將要刷新節(jié)點
*/- (void)renderer:(id)renderer willUpdateNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
已經(jīng)刷新節(jié)點
*/- (void)renderer:(id)renderer didUpdateNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
移除節(jié)點
*/- (void)renderer:(id)renderer didRemoveNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;
@end
```
1.10-SRSKView
展示2D內(nèi)容,與ARSceneView類似,這里不做重復(fù)介紹。
1.11-ARHitTestResult
通過分析一個點在一個AR session中的設(shè)備相機視圖而獲得的現(xiàn)實平面的信息。
如果使用SceneKit或者SpiriteKit來展示一個AR體驗,可以使用以下方法來搜索位于視圖某一點的現(xiàn)實世界內(nèi)容的相機圖像:
ARSCNView hitTest:types:
ARSKView hitTest:types:
另外,使用ARFrame hitTest:types:方法可以搜索現(xiàn)實世界內(nèi)容的相機圖像。由于frame是獨立于view的,對于這個方法來說,你所傳遞的點是標(biāo)準(zhǔn)化過的圖像坐標(biāo),即坐標(biāo)范圍為(0,1)。
這些方法會返回一個ARHitTestResult對象的數(shù)組來描述找到的內(nèi)容。
```
//捕捉類型枚舉typedefNS_OPTIONS(NSUInteger, ARHitTestResultType) {/** 點. */ARHitTestResultTypeFeaturePoint? ? ? ? ? ? ? = (1<<0),/** 水平面 y為0. */ARHitTestResultTypeEstimatedHorizontalPlane? = (1<<1),/** 已結(jié)存在的平面. */ARHitTestResultTypeExistingPlane? ? ? ? ? ? = (1<<3),/** 已結(jié)存在的錨點和平面. */ARHitTestResultTypeExistingPlaneUsingExtent? = (1<<4),}NS_SWIFT_NAME(ARHitTestResult.ResultType);/**
捕捉類型
*/@property(nonatomic,readonly) ARHitTestResultType type;/**
3D虛擬物體與相機的距離(單位:米)
*/@property(nonatomic,readonly)CGFloatdistance;/**
本地坐標(biāo)矩陣(世界坐標(biāo)指的是相機為場景原點的坐標(biāo),而每一個3D物體自身有一個場景,本地坐標(biāo)就是相對于這個場景的坐標(biāo))類似于frame和bounds的區(qū)別
*/@property(nonatomic,readonly) matrix_float4x4 localTransform;/**
世界坐標(biāo)矩陣
*/@property(nonatomic,readonly) matrix_float4x4 worldTransform;/**
錨點(3D虛擬物體,在虛擬世界有一個位置,這個位置參數(shù)是SceneKit中的SCNVector3:三維矢量),而錨點anchor是這個物體在AR現(xiàn)實場景中的位置,是一個4x4的矩陣
*/@property(nonatomic,strong,nullable,readonly) ARAnchor *anchor;
@end
```
各個類之間的交互流程:
ARCamera捕捉現(xiàn)實視圖,并把其信息交由ARSession處理。ARCamera捕獲的數(shù)據(jù)是一個一個的ARFrame構(gòu)成。
ARSession類會管理對現(xiàn)實世界的追蹤和移動,并整合和建立現(xiàn)實世界和虛擬世界的對應(yīng)關(guān)系,它追蹤的內(nèi)容由ARSessionConfiguration來決定。它會將ARCamera捕獲到的數(shù)據(jù)轉(zhuǎn)化成虛擬世界可展示的數(shù)據(jù)交給ARSceneView。
一個基于SceneView的ARSceneView以現(xiàn)實視圖為背景,展示SceneView形成的3D物體,其中的展示現(xiàn)實視圖的數(shù)據(jù)就是從ARSession獲得,每一個虛擬物體的場景(Scene)都對應(yīng)一個ARSession類。
ARSceneView作為SceneView的子類,是由一個一個的節(jié)點(node)組成,當(dāng)從ARSession獲得現(xiàn)實視圖的相應(yīng)數(shù)據(jù)后,ARSceneView會構(gòu)成相應(yīng)節(jié)點并將其作為根節(jié)點(背景)。