iOS视频播放常用重点知识

iOS,视频,知识,常用 · 浏览次数 : 295

小编点评

```import UIKitimport AVFoundationimport AVKitclass ViewController: UIViewController { var player: AVPlayer! var playerLayer: AVPlayerLayer! override func viewDidLoad() { super.viewDidLoad() // 创建AVPlayer // 这个M3U8文件包含了所有视频文件的URL地址,AVPlayer会根据这些URL逐一请求视频文件并进行播放。 let url = URL(string: \"http://example.com/video.m3u8\")! player = AVPlayer(url: url) // 创建AVPlayerLayer playerLayer = AVPlayerLayer(player: player) playerLayer.frame = view.bounds view.layer.addSublayer(playerLayer) // 播放视频 player.play() } override func viewWillLayoutSubviews() { super.viewWillLayoutSubviews() // 调整AVPlayerLayer的大小 playerLayer.frame = view.bounds } 视频控制// 播放/暂停视频if player?.rate == 0 { player?.play()} else { player?.pause()}//快进/快退视频:let seekTime = CMTimeMakeWithSeconds(10.0, preferredTimescale: CMTimeScale(NSEC_PER_SEC))let currentTime = player?.currentTime()let targetTime = CMTimeAdd(currentTime!, seekTime)player?.seek(to: targetTime) //播放状态发生变化时的回调函数player?.addPeriodicTimeObserver(forInterval: CMTimeMakeWithSeconds(1, preferredTimescale: CMTimeScale(NSEC_PER_SEC)), queue: DispatchQueue.main, using: { [weak self] (time) in // 更新播放进度})//播放器状态发生变化时的回调函数player?.addObserver(self, forKeyPath: \"status\", options: [.old, .new], context: nil)override func observeValue(forKeyPath keyPath: String?, of object: Any?, change: [NSKeyValueChangeKey : Any]?, context: UnsafeMutableRawPointer?) { if keyPath == "status" { if player?.status == .failed { // 播放失败 } else if player?.status == .readyToPlay { // 准备播放 } } } 。归纳总结以上内容,生成内容时需要带简单的排版

正文

iOS视频播放常见的重要知识点如下:
视频格式:iOS支持的视频格式主要有H.264、MPEG-4、H.263、Sorenson等。它们根据不同的应用场景进行使用。
视频编解码:视频编解码技术是视频播放的核心,它有两部分组成,1.将原始视频数据编码为压缩格式,2.将压缩格式的数据解码成原始视频数据。在iOS中通常使用系统的AVFoundation框架来实现视频编解码。
视频播放器:iOS中的自带的视频播放器主要为AVPlayer和对AVPlayer进行封装后的AVPlayerViewController,其中AVPlayerViewController封装了视频播放页面常用的播放/暂停,快进/快退,进度条等常用控件。
视频缓存:为了提高视频播放的体验,通常会使用网络缓存,把视频数据缓存到本地来加上视频加载。在iOS中,可以使用NSURLSession和AVAssetDownloadURLSession两种方式实现视频缓存。
视频流媒体:流媒体技术可以将视频数据分片传输,使得视频可以边下载边播放,提高了用户的观看体验。iOS中可以使用HLS(HTTP Live Streaming)协议实现流媒体播放。
视频控制:在视频播放过程中,需要对视频做一些控制操作,比如播放、暂停、快进、快退、全屏等。

视频格式
视频格式是指编码后的视频数据在存储和传输过程中采用的数据格式。iOS中常用的视频格式如下:
H.264:是一种高压缩比的视频格式,可以保证视频质量的同时减小视频文件的大小,属于性价比最优的那个,所以是当前使用最广泛的格式。
MPEG-4:是一种高质量的视频格式,支持多种编码算法,包括H.264、MPEG-2等,也支持多种分辨率和帧率,算是一种通用视频格式。
H.263:是一种低码率的视频格式,适合在低带宽网络环境下播放,但视频质量相对较低,手机网页电影经常采用的低清晰度选择。
Sorenson:是一种适用于Flash视频播放的视频格式,支持透明度、动画等特效。
let url = Bundle.main.url(forResource: "video", withExtension: "mp4")!
let playerItem = AVPlayerItem(url: url)
let player = AVPlayer(playerItem: playerItem)
let playerLayer = AVPlayerLayer(player: player)
playerLayer.frame = view.bounds
view.layer.addSublayer(playerLayer)
player.play()
 
视频编解码
视频编码/解码主要讲的是将原始视频数据编码为压缩格式,然后将压缩格式的数据解码成原始视频数据,这两个过程。
视频编码是指将视频原始数据保存到本地时,通过压缩算法将其编码为压缩格式的数据。
视频解码是指在播放时将压缩格式数据解码还原为原始视频数据的过程。
视频编解码技术可以有效地减小视频数据的体积,提高视频传输和存储的效率。
iOS是使用系统提供的AVFoundation框架来实现视频编解码。
 
AVFoundation框架中常用的类:
AVAsset:表示一个媒体资源,包括视频、音频等信息。
AVAssetTrack:表示AVAsset中的一个轨道,比如视频轨道、音频轨道。
AVAssetReader:用于读取AVAsset的数据。
AVAssetWriter:用于将数据写入到视频文件中。
AVAssetExportSession:用于将AVAsset导出为另一种格式的媒体文件。
AVAssetReaderTrackOutput:用于从 AVAssetTrack 中读取样本 Buffer 的对象。它通常用于将视频文件中的原始数据读取出来进行处理。
AVAssetWriterInput:是一个将数据写入 AVAssetWriter 的对象。它通常用于将处理后的帧数据写入到新的视频文件中
AVAssetWriterInputPixelBufferAdaptor:是一个将 CVPixelBuffer 写入 AVAssetWriterInput 的对象。它通常用于将处理后的帧数据写入到新的视频文件中。

读取视频文件中的数据, 处理视频帧数据
本地读取视频帧数据的简要流程如下
AVAsset -> videoTrack -> AVAssetReaderTrackOutput -> AVAssetReader -> sampleBuffer
代码举例
let asset = AVAsset(url: videoURL)
let reader = try! AVAssetReader(asset: asset)
let videoTrack = asset.tracks(withMediaType: .video).first!

//输出样本的buffer设置
let outputSettings: [String: Any] = [
    kCVPixelBufferPixelFormatTypeKey as String: Int(kCVPixelFormatType_32BGRA)
]
//从视频轨道中读取buffer样本,并输出出来
let readerOutput = AVAssetReaderTrackOutput(track: videoTrack, outputSettings: outputSettings)
reader.add(readerOutput)
reader.startReading()

while reader.status == .reading {
    if let sampleBuffer = readerOutput.copyNextSampleBuffer() {
        // 处理样本数据
    }
}

处理视频帧数据,将视频数据写入文件

将视频帧数据写入到本地的简要流程如下
pixelBuffer -> AVAssetWriterInputPixelBufferAdaptor -> AVAssetWriterInput -> AVAssetWriter
let writer = try! AVAssetWriter(outputURL: outputURL, fileType: .mp4)
let videoTrack = asset.tracks(withMediaType: .video).first!
//设置写入文件的视频编码
let outputSettings: [String: Any] = [
    AVVideoCodecKey: AVVideoCodecType.h264,
    AVVideoWidthKey: 640,
    AVVideoHeightKey: 480,
]
let writerInput = AVAssetWriterInput(mediaType: .video, outputSettings: outputSettings)
writer.add(writerInput)

let adapter = AVAssetWriterInputPixelBufferAdaptor(assetWriterInput: writerInput, sourcePixelBufferAttributes: outputSettings)
writer.startWriting()
writer.startSession(atSourceTime: CMTime.zero)

while // 读取视频数据 {
    if adapter.assetWriterInput.isReadyForMoreMediaData {
        adapter.append(pixelBuffer, withPresentationTime: // 时间戳)
    }
}

writerInput.markAsFinished()
writer.finishWriting {
    // 导出完成
}
 
视频播放器
AVPlayer是iOS中用于播放音频和视频的重要类,它可以播放本地或网络上的音视频资源,可以使用AVPlayer自定义设置播放器界面和播放控制。
AVPlayerViewController是对AVPlayer的封装,提供了常用的播放器控制器界面,用于方便开发,提升开发效率。
/ 本地播放
// let url = Bundle.main.url(forResource: "video", withExtension: "mp4")!
// let playerItem = AVPlayerItem(url: url)
// 网络播放
let url = URL(string: "http://example.com/video.mp4")!
let asset = AVAsset(url: url)
let playerItem = AVPlayerItem(asset: asset)
let player = AVPlayer(playerItem: playerItem)
let playerLayer = AVPlayerLayer(player: player)
playerLayer.frame = view.bounds
view.layer.addSublayer(playerLayer)
player.play()
另外对AVPlayer的其他常见操作还有AVPlayer的pause()、seek(to:)方法,表示暂停、快进;还可以通过KVO监听AVPlayer的状态和播放进度等信息。


AVPlayerViewController提供了常用的播放器控制器界面,包括播放/暂停按钮、播放进度条、播放时间等。可以开箱即用,方便开发。
let playerViewController = AVPlayerViewController()
let url = URL(string: "http://example.com/video.mp4")!
let asset = AVAsset(url: url)
let playerItem = AVPlayerItem(asset: asset)
let player = AVPlayer(playerItem: playerItem)

playerViewController.player = player
present(playerViewController, animated: true, completion: nil)
 
视频缓存
为了提高视频播放的体验,通常在视频播放前会先做缓存,然后使用缓存进行播放
NSURLSession和AVAssetDownloadURLSession是iOS中两种常用的网络请求框架,可以用于实现视频缓存。
使用NSURLSession进行缓存
// 创建NSURLSessionConfiguration对象
NSURLSessionConfiguration *configuration = [NSURLSessionConfiguration defaultSessionConfiguration];
// 设置缓存策略为NSURLRequestReturnCacheDataElseLoad
configuration.requestCachePolicy = NSURLRequestReturnCacheDataElseLoad;
// 创建NSURLSession对象
NSURLSession *session = [NSURLSession sessionWithConfiguration:configuration];
// 创建NSURLRequest对象
NSURLRequest *request = [NSURLRequest requestWithURL:[NSURL URLWithString:@"http://example.com/video.mp4"]];
// 发起网络请求
NSURLSessionDataTask *task = [session dataTaskWithRequest:request completionHandler:^(NSData *data, NSURLResponse *response, NSError *error) {
    if (error) {
        NSLog(@"Error: %@", error);
    } else {
        // 将视频数据保存到本地缓存
        NSString *cachePath = [NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) objectAtIndex:0];
        NSString *filePath = [cachePath stringByAppendingPathComponent:@"video.mp4"];
        [data writeToFile:filePath atomically:YES];
        // 播放视频
        AVPlayerViewController *playerViewController = [[AVPlayerViewController alloc] init];
        playerViewController.player = [AVPlayer playerWithURL:[NSURL fileURLWithPath:filePath]];
        [self presentViewController:playerViewController animated:YES completion:nil];
    }
}];
[task resume];
AVAssetDownloadURLSession实现视频缓存
AVAssetDownloadURLSession用于实现后台下载媒体文件,支持断点续传和下载进度的监控。
// 创建AVAsset对象
AVAsset *asset = [AVAsset assetWithURL:[NSURL URLWithString:@"http://example.com/video.mp4"]];
// 创建AVAssetDownloadURLSessionConfiguration对象
AVAssetDownloadURLSessionConfiguration *configuration = [AVAssetDownloadURLSessionConfiguration new];
configuration.maximumActiveDownloads = 1;
configuration.allowsCellularAccess = NO;
// 设置缓存路径为Caches目录下的VideoCache文件夹
NSString *cachePath = [NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) objectAtIndex:0];
NSString *cacheFolder = [cachePath stringByAppendingPathComponent:@"VideoCache"];
NSURL *cacheURL = [NSURL fileURLWithPath:cacheFolder isDirectory:YES];
configuration.destinationURL = cacheURL;
// 创建AVAssetDownloadURLSession对象
AVAssetDownloadURLSession *session = [AVAssetDownloadURLSession sessionWithConfiguration:configuration assetDownloadDelegate:self delegateQueue:nil];
// 创建AVAssetDownloadTask对象
AVAssetDownloadTask *task = [session assetDownloadTaskWithURLAsset:asset assetTitle:@"video" assetArtworkData:nil options:nil];
// 启动下载任务
[task resume];



在AVAssetDownloadDelegate协议方法中,做视频播放
当下载完成时,保存视频文件的本地路径,并使用AVPlayerViewController进行播放:
- (void)URLSession:(NSURLSession *)session assetDownloadTask:(AVAssetDownloadTask *)assetDownloadTask didFinishDownloadingToURL:(NSURL *)location {
    // 将视频数据保存到本地缓存
    NSString *cachePath = [NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) objectAtIndex:0
 
视频流媒体
HLS(HTTP Live Streaming)协议是一种基于HTTP的视频流媒体传输协议,它将视频分割成小段(.ts文件),并通过HTTP协议进行传输,并将这些小段分别下载。这种分段的方式可以保证视频在网络状况不佳的情况下的流畅性和稳定性。
视频流媒体播放器会请求M3U8文件,这个文件包含了所有视频文件的URL地址,播放器会根据这些URL地址逐一请求视频文件,并将这些小段视频拼接成完整的视频流进行播放。
在iOS中,可以使用AVPlayer和AVPlayerViewController实现流媒体播放。下面是一个简单的例子:
import UIKit
import AVFoundation
import AVKit

class ViewController: UIViewController {
    
    var player: AVPlayer!
    var playerLayer: AVPlayerLayer!

    override func viewDidLoad() {
        super.viewDidLoad()
        
        // 创建AVPlayer
        // 这个M3U8文件包含了所有视频文件的URL地址,AVPlayer会根据这些URL逐一请求视频文件并进行播放。
        let url = URL(string: "http://example.com/video.m3u8")!
        player = AVPlayer(url: url)
        
        // 创建AVPlayerLayer
        playerLayer = AVPlayerLayer(player: player)
        playerLayer.frame = view.bounds
        view.layer.addSublayer(playerLayer)
        
        // 播放视频
        player.play()
    }
    
    override func viewWillLayoutSubviews() {
        super.viewWillLayoutSubviews()
        
        // 调整AVPlayerLayer的大小
        playerLayer.frame = view.bounds
    }
}
 
视频控制
// 播放/暂停视频
if player?.rate == 0 {
    player?.play()
} else {
    player?.pause()
}

//快进/快退视频:
let seekTime = CMTimeMakeWithSeconds(10.0, preferredTimescale: CMTimeScale(NSEC_PER_SEC))
let currentTime = player?.currentTime()
let targetTime = CMTimeAdd(currentTime!, seekTime)

player?.seek(to: targetTime)

//播放状态发生变化时的回调函数
player?.addPeriodicTimeObserver(forInterval: CMTimeMakeWithSeconds(1, preferredTimescale: CMTimeScale(NSEC_PER_SEC)), queue: DispatchQueue.main, using: { [weak self] (time) in
    // 更新播放进度
})

//播放器状态发生变化时的回调函数
player?.addObserver(self, forKeyPath: "status", options: [.old, .new], context: nil)

override func observeValue(forKeyPath keyPath: String?, of object: Any?, change: [NSKeyValueChangeKey : Any]?, context: UnsafeMutableRawPointer?) {
    if keyPath == "status" {
        if player?.status == .failed {
            // 播放失败
        } else if player?.status == .readyToPlay {
            // 准备播放
        }
    }
}
 


与iOS视频播放常用重点知识相似的内容:

iOS视频播放常用重点知识

iOS视频播放常见的重要知识点如下: 视频格式:iOS支持的视频格式主要有H.264、MPEG-4、H.263、Sorenson等。它们根据不同的应用场景进行使用。 视频编解码:视频编解码技术是视频播放的核心,它有两部分组成,1.将原始视频数据编码为压缩格式,2.将压缩格式的数据解码成原始视频数据。

GPUImage框架使用

GPUImage框架简介 GPUImage框架是一个基于OpenGL ES 2.0的iOS图像和视频处理框架。它充分利用GPU并行计算能力可以实时处理图像和视频,可以让开发者轻松地实现各种滤镜效果。 提供了GPUImageMovie、GPUImageCamera等实时视频输入处理类,方便开发者对实时

iOS视图控件的内容显示和离屏渲染流程

iOS中UI控件内容显示流程 UIKit界面组成 iOS中组成页面的各个元素基本来自UIKit,我们可以修改布局或自定义绘制来修改UIKit元素的默认展示。 UIView的页面显示内容有CALayer负责,事件的接收与响应由UIView自己负责。 为什么需要有这样的分工呢,原因是因为Mac上和iPh

iOS中容易用错的常用知识点

坐标系转换 ios中的坐标系有三种 视图坐标系:原点(0,0)视图的左上角 窗口坐标系:原点(0,0)窗口的左上角 世界坐标系:原点(0,0)游戏中世界的原点 平时开发中经常会遇到转UIWindow坐标问题,如:已知一个UI控件的坐标,把它转换到UIWindow时,它对应的UIWindow坐标是什么

SwiftUI的认识与使用

SwiftUI简介 SwiftUI是苹果推出的一个新的UI框架,它使用了声明的方式,通过视图,基础控件和布局控件来进行页面的开发。 SwiftUI具有跨平台性,一份SwiftUI代码可以同时跑在iOS、macOS、tvOS、watchOS平台上。 SwiftUI编写的页面代码更简洁,广泛使用链式调用

iOS开发之弹窗管理

前言 “千淘万漉虽辛苦,吹尽狂沙始到金。”在这快速变化的互联网行业,身边的朋友有的选择了勇敢创业,有的则在技术的海洋中默默耕耘。时常在深夜反思,作为一个开发者,我们的价值何在?答案或许就在那行代码中,润物细无声。以下是我在日常开发中封装的一个弹窗管理工具——CLPopoverManager,希望能为

【iOS逆向与安全】iOS远程大师:通过H5后台远程查看和协助iPhone设备

在移动设备测试和远程协助的过程中,能够远程查看和协助iPhone设备是一项非常实用的功能。为了解决这一需求,我开发了一款名为**iOS远程大师**的产品,允许用户通过H5后台界面查看和协助越狱或非越狱的iPhone设备。本文将详细介绍iOS远程大师的开发过程和技术实现。

iOS 单元测试之常用框架 OCMock 详解

测试驱动开发并不是一个很新鲜的概念了。在日常开发中,很多时候需要测试,但是这种输出是必须在点击一系列按钮之后才能在屏幕上显示出来的东西。测试的时候,往往是用模拟器一次一次的从头开始启动 app,然后定位到自己所在模块的程序,做一系列的点击操作,然后查看结果是否符合自己预期。

从 iOS App 启动速度看如何为基础性能保驾护航

启动是App给用户的第一印象,一款App的启动速度,不单单是用户体验的事情,往往还决定了它能否获取更多的用户。所以到了一定阶段App的启动优化是必须要做的事情。

iOS转场之present与dismiss的使用

present的使用方式 present只能是A present B , B present C , C present D这样的链式弹出。 不能A present B , A present C , A present D这样的叠加弹出,会报错。 dismiss的使用方法 dismiss是底部父V