登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 业界区 › 安全 ›MediaCodec使用之MP4解码（三）

MediaCodec使用之MP4解码（三）

嫂潍 2025-8-17 16:44:44
MediaCodec使用之视频解码（三）

准备三个视频，一个是普通的h264视频，一个是8k h265的，一个是电影的mkv
使用fflay播放并查看详细信息。
普通视频
  1. Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '.\video1.mp4':  0B
  2.   Metadata:
  3.     major_brand     : isom
  4.     minor_version   : 512
  5.     compatible_brands: isomiso2avc1mp41
  6.     encoder         : Lavf58.29.100
  7.   Duration: 00:02:29.94, start: 0.000000, bitrate: 641 kb/s
  8.   Stream #0:0[0x1](und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709, progressive), 662x1280 [SAR 1:1 DAR 331:640], 499 kb/s, 59.96 fps, 60 tbr, 15360 tbn (default)
  9.       Metadata:
  10.         handler_name    : VideoHandler
  11.         vendor_id       : [0][0][0][0]
  12.   Stream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 128 kb/s (default)
  13.       Metadata:
  14.         handler_name    : SoundHandler
  15.         vendor_id       : [0][0][0][0]
  16.    5.30 A-V: -0.031 fd=  24 aq=   16KB vq=   55KB sq=    0B
复制代码
h265的
  1. Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '.\video2.mp4':  0B
  2.   Metadata:
  3.     major_brand     : mp42
  4.     minor_version   : 0
  5.     compatible_brands: isommp42
  6.     creation_time   : 2025-08-17T03:21:22.000000Z
  7.     location        : +40.0770+116.4052/
  8.     location-eng    : +40.0770+116.4052/
  9.     com.android.version: 15
  10.   Duration: 00:00:15.90, start: 0.000000, bitrate: 81199 kb/s
  11.   Stream #0:0[0x1](eng): Video: hevc (Main) (hvc1 / 0x31637668), yuv420p(tv, bt709), 7680x4320, 80753 kb/s, 30 fps, 30 tbr, 90k tbn (default)
  12.       Metadata:
  13.         creation_time   : 2025-08-17T03:21:22.000000Z
  14.         handler_name    : VideoHandle
  15.         vendor_id       : [0][0][0][0]
  16.   Stream #0:1[0x2](eng): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 256 kb/s (default)
  17.       Metadata:
  18.         creation_time   : 2025-08-17T03:21:22.000000Z
  19.         handler_name    : SoundHandle
  20.         vendor_id       : [0][0][0][0]
复制代码
电影
  1. ffplay -x 1280 -y 720 -ss 00:50:00  video3.mkv
  3. Input #0, matroska,webm, from '.\video3.mkv':
  4.   Metadata:
  5.     title           : Black.Widow.2021.2160p.BluRay.REMUX.HEVC.DTS-HD.MA.7.1.TrueHD.7.1.Atmos.DTS-HD.MA.7.1.zh-老K
  6.     encoder         : libebml v1.4.2 + libmatroska v1.6.4
  7.     creation_time   : 2024-04-06T01:57:58.000000Z
  8.   Duration: 02:13:46.79, start: 0.000000, bitrate: 57664 kb/s
  9.   Chapters:
  10.     Chapter #0:0: start 0.000000, end 295.169867
  11.       Metadata:
  12.         title           : 第 01 章
  13.     Chapter #0:1: start 295.169867, end 790.080956
  14.       Metadata:
  15.         title           : 第 02 章
  16.         ...
  17. Stream #0:0: Video: hevc (Main 10), yuv420p10le(tv, bt2020nc/bt2020/smpte2084), 3840x2160 [SAR 1:1 DAR 16:9], 23.98 fps, 23.98 tbr, 1k tbn (default)
  18.       Metadata:
  19.         BPS             : 46197111
  20.         DURATION        : 02:13:46.769000000
  21.         NUMBER_OF_FRAMES: 192450
  22.         NUMBER_OF_BYTES : 46351692620
  23.         SOURCE_ID       : 001011
  24.         _STATISTICS_WRITING_APP: mkvmerge v68.0.0 ('The Curtain') 64-bit
  25.         _STATISTICS_WRITING_DATE_UTC: 2024-04-06 01:57:58
  26.         _STATISTICS_TAGS: BPS DURATION NUMBER_OF_FRAMES NUMBER_OF_BYTES SOURCE_ID
  27.   Stream #0:1(eng): Audio: truehd (Dolby TrueHD + Dolby Atmos), 48000 Hz, 7.1, s32 (24 bit) (default)
  28.       Metadata:
  29.         title           : TrueHD Atmos 7.1
  30.         BPS             : 4284386
  31.         DURATION        : 02:13:46.769000000
  32.         NUMBER_OF_FRAMES: 9632122
  33.         NUMBER_OF_BYTES : 4298722162
  34.         SOURCE_ID       : 001100
  35.         _STATISTICS_WRITING_APP: mkvmerge v68.0.0 ('The Curtain') 64-bit
  36.         _STATISTICS_WRITING_DATE_UTC: 2024-04-06 01:57:58
  37.         _STATISTICS_TAGS: BPS DURATION NUMBER_OF_FRAMES NUMBER_OF_BYTES SOURCE_ID
  38.   Stream #0:2(eng): Audio: dts (dca) (DTS-HD MA), 48000 Hz, 7.1, s32p (24 bit)
  39.       Metadata:
  40.         title           : DTS-HD MA 7.1
  41.         BPS             : 4411433
  42.         DURATION        : 02:13:46.794000000
  43.         NUMBER_OF_FRAMES: 752481
  44.         NUMBER_OF_BYTES : 4426208460
  45.         _STATISTICS_WRITING_APP: mkvmerge v68.0.0 ('The Curtain') 64-bit
  46.         _STATISTICS_WRITING_DATE_UTC: 2024-04-06 01:57:58
  47.         _STATISTICS_TAGS: BPS DURATION NUMBER_OF_FRAMES NUMBER_OF_BYTES
  48.   Stream #0:3(chi): Audio: dts (dca) (DTS-HD MA), 48000 Hz, 7.1, s16p
  49.       Metadata:
  50.         title           : 国语 DTS-HD MA 7.1
  51.         BPS             : 2647732
  52.         DURATION        : 02:13:46.773000000
  53.         NUMBER_OF_FRAMES: 752510
  54.         NUMBER_OF_BYTES : 2656593104
  55.         SOURCE_ID       : 001105
  56.         _STATISTICS_WRITING_APP: mkvmerge v68.0.0 ('The Curtain') 64-bit
  57.         _STATISTICS_WRITING_DATE_UTC: 2024-04-06 01:57:58
  58.         _STATISTICS_TAGS: BPS DURATION NUMBER_OF_FRAMES NUMBER_OF_BYTES SOURCE_ID
  59.   Stream #0:4(chi): Subtitle: ass (ssa) (default)
  60.       Metadata:
  61.         title           : 简英
  62.         BPS             : 199
  63.         DURATION        : 02:12:27.160000000
  64.         NUMBER_OF_FRAMES: 1376
  65.         NUMBER_OF_BYTES : 198336
  66.         _STATISTICS_WRITING_APP: mkvmerge v68.0.0 ('The Curtain') 64-bit
  67.         _STATISTICS_WRITING_DATE_UTC: 2024-04-06 01:57:58
  68.         _STATISTICS_TAGS: BPS DURATION NUMBER_OF_FRAMES NUMBER_OF_BYTES
  69.   Stream #0:5(chi): Subtitle: hdmv_pgs_subtitle (pgssub)
  70.       Metadata:
  71.         title           : 国语 简体
  72.         BPS             : 93951
  73.         DURATION        : 02:13:00.556000000
  74.         NUMBER_OF_FRAMES: 6703
  75.         NUMBER_OF_BYTES : 93723446
  76.         SOURCE_ID       : 0012a4
  77.         _STATISTICS_WRITING_APP: mkvmerge v68.0.0 ('The Curtain') 64-bit
  78.         _STATISTICS_WRITING_DATE_UTC: 2024-04-06 01:57:58
  79.         _STATISTICS_TAGS: BPS DURATION NUMBER_OF_FRAMES NUMBER_OF_BYTES SOURCE_ID
  80.   Stream #0:6: Video: mjpeg (Progressive), yuvj420p(pc, bt470bg/unknown/unknown), 254x254 [SAR 1:1 DAR 1:1], 90k tbr, 90k tbn (attached pic)
  81.       Metadata:
  82.         filename        : 老K  QQ 195383233.jpg
  83.         mimetype        : image/jpeg
复制代码
解码普通视频
  1. internal suspend fun videoToYuvPcm(context: Context, videoUri: Uri, yuvUri: Uri, pcmUri: Uri): Unit {
  3.         val mediaCodecList = MediaCodecList(MediaCodecList.ALL_CODECS)
  5.         // 视频解码器材
  6.         val h264Decoders: List<MediaCodecInfo> = mediaCodecList.codecInfos
  7.                 .filter { !it.isEncoder && MediaFormat.MIMETYPE_VIDEO_AVC in it.supportedTypes }
  9.         if (h264Decoders.isEmpty()){
  10.                 Log.i(TAG, "videoToYuvPcm -> 不支持h264解码")
  11.                 return
  12.         }
  14.         // 拿解码器
  15.         val h264Decoder: MediaCodecInfo = h264Decoders.firstOrNull {
  16.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  17.                         it.isHardwareAccelerated
  18.                 } else {
  19.                         true
  20.                 }
  21.         } ?: h264Decoders.first()
  23.         // MediaCodec.createByCodecName(h264Decoder.name)
  25.         h264Decoders.forEach { mediaCodecInfo ->
  26.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  27.                         Log.i(TAG, "h264Decoders -> name: ${mediaCodecInfo.name}, canonicalName: ${mediaCodecInfo.canonicalName}, isAlias: ${mediaCodecInfo.isAlias}, isVendor: ${mediaCodecInfo.isVendor}, isHardwareAccelerated: ${mediaCodecInfo.isHardwareAccelerated}, isEncoder: ${mediaCodecInfo.isEncoder}, isSoftwareOnly: ${mediaCodecInfo.isSoftwareOnly}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  28.                 } else {
  29.                         Log.i(TAG, "h264Decoders -> name: ${mediaCodecInfo.name}, isEncoder: ${mediaCodecInfo.isEncoder}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  30.                 }
  31.         }
  33.         // 音频解码器
  34.         val aacDecoders: List<MediaCodecInfo> = mediaCodecList.codecInfos.filter { !it.isEncoder }.filter {
  35.                 it.supportedTypes.contains(element = MediaFormat.MIMETYPE_AUDIO_AAC)
  36.         }
  38.         if (aacDecoders.isEmpty()){
  39.                 Log.i(TAG, "videoToYuvPcm -> 不支持aac解码")
  40.                 return
  41.         }
  43.         val aacDecoder: MediaCodecInfo = aacDecoders.firstOrNull {
  44.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  45.                         it.isHardwareAccelerated
  46.                 } else {
  47.                         true
  48.                 }
  49.         } ?: aacDecoders.first()
  51.         aacDecoders.forEach { mediaCodecInfo ->
  52.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  53.                         Log.i(TAG, "aacDecoders -> name: ${mediaCodecInfo.name}, canonicalName: ${mediaCodecInfo.canonicalName}, isAlias: ${mediaCodecInfo.isAlias}, isVendor: ${mediaCodecInfo.isVendor}, isHardwareAccelerated: ${mediaCodecInfo.isHardwareAccelerated}, isEncoder: ${mediaCodecInfo.isEncoder}, isSoftwareOnly: ${mediaCodecInfo.isSoftwareOnly}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  54.                 } else {
  55.                         Log.i(TAG, "aacDecoders -> name: ${mediaCodecInfo.name}, isEncoder: ${mediaCodecInfo.isEncoder}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  56.                 }
  57.         }
  59.         val mediaExtractor = MediaExtractor()
  60.         mediaExtractor.setDataSource(context, videoUri, mapOf<String, String>())
  62.         for (i in 0 until mediaExtractor.trackCount){
  63.                 Log.i(TAG, "flacToPcm -> format: ${mediaExtractor.getTrackFormat(i)}")
  64.         }
  66.         if (mediaExtractor.trackCount < 2){
  67.                 mediaExtractor.release()
  68.                 return
  69.         }
  71.         Log.i(TAG, "videoToYuvPcm -> decode before...")
  72.         //
  73.         decode(context, 0, yuvUri, mediaExtractor, h264Decoder.name)
  74.         // ffplay -f s16le -ar 44100 -ch_layout stereo -i output.pcm
  75.         decode(context, 1, pcmUri, mediaExtractor, aacDecoder.name)
  76.         Log.i(TAG, "videoToYuvPcm -> decode after...")
  78.         mediaExtractor.release()
  80.         Log.i(TAG, "videoToYuvPcm -> end...")
  81. }
  83. private suspend fun decode(
  84.         context: Context,
  85.         index: Int,
  86.         output: Uri,
  87.         mediaExtractor: MediaExtractor,
  88.         decodeName: String
  89. ): Unit = suspendCancellableCoroutine { continuation ->
  91.         val mediaFormat: MediaFormat = mediaExtractor.getTrackFormat(index)
  92.         mediaExtractor.selectTrack(index)
  93.         val mediaCodec: MediaCodec = MediaCodec.createByCodecName(decodeName)
  94.         mediaCodec.configure(mediaFormat, null, null, 0)
  96.         val aacOutputStream: OutputStream = context.contentResolver.openOutputStream(output)!!
  97.         val bytes = ByteArray(1024 * 1024 * 2)
  99.         mediaCodec.setCallback(object : MediaCodec.Callback() {
  100.                 override fun onError(
  101.                         codec: MediaCodec,
  102.                         e: MediaCodec.CodecException
  103.                 ) {
  104.                         Log.e(
  105.                                 TAG,
  106.                                 "onError name: ${codec.name}, thread: ${Thread.currentThread()}, error: ${e.message}",
  107.                                 e
  108.                         )
  109.                 }
  111.                 override fun onInputBufferAvailable(
  112.                         codec: MediaCodec,
  113.                         index: Int
  114.                 ) {
  115.                         val inputBuffer: ByteBuffer = codec.getInputBuffer(index) ?: return
  116.                         val size: Int = mediaExtractor.readSampleData(inputBuffer, 0)
  117.                         Log.i(
  118.                                 TAG,
  119.                                 "onInputBufferAvailable -> name: ${mediaCodec.name}, index: $index, thread: ${Thread.currentThread()}, size: $size"
  120.                         )
  121.                         if (size > 0) {
  122.                                 codec.queueInputBuffer(index, 0, size, mediaExtractor.sampleTime, mediaExtractor.sampleFlags)
  123.                                 mediaExtractor.advance()
  124.                         } else {
  125.                                 codec.queueInputBuffer(
  126.                                         index,
  127.                                         0,
  128.                                         0,
  129.                                         0,
  130.                                         MediaCodec.BUFFER_FLAG_END_OF_STREAM
  131.                                 )
  132.                         }
  133.                 }
  135.                 override fun onOutputBufferAvailable(
  136.                         codec: MediaCodec,
  137.                         index: Int,
  138.                         info: MediaCodec.BufferInfo
  139.                 ) {
  140.                         Log.i(
  141.                                 TAG,
  142.                                 "onOutputBufferAvailable -> name: ${codec.name}, index: $index, infoSize: ${info.size}, thread: ${Thread.currentThread()}"
  143.                         )
  145.                         val outputBuffer: ByteBuffer = codec.getOutputBuffer(index) ?: return
  147.                         outputBuffer.get(bytes, 0, info.size)
  149.                         aacOutputStream.write(bytes, 0, info.size)
  151.                         codec.releaseOutputBuffer(index, false)
  153.                         if (info.flags == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
  154.                                 Log.i(TAG, "onOutputBufferAvailable -> == 编码结束...") // todo
  155.                                 aacOutputStream.close()
  156.                                 if (continuation.isActive) {
  157.                                         Log.i(TAG, "pcmToAac -> 解码完成 resume before...")
  158.                                         continuation.resume(Unit)
  159.                                         Log.i(TAG, "pcmToAac -> 解码完成 resume after...")
  160.                                 }
  161.                         }
  162.                 }
  164.                 override fun onOutputFormatChanged(
  165.                         codec: MediaCodec,
  166.                         format: MediaFormat
  167.                 ) {
  168.                         Log.i(
  169.                                 TAG,
  170.                                 "onOutputFormatChanged -> name: ${codec.name}, format: $format"
  171.                         )
  172.                 }
  173.         })
  174.         Log.i(TAG, "pcmToAac -> before start...")
  175.         mediaCodec.start()
  176.         Log.i(TAG, "pcmToAac -> after start...")
  177. }
复制代码
播放生成的音视频
  1. ffplay -f s16le -ar 44100 -ch_layout stereo -i output.pcm
  2. ffplay -f rawvideo -pixel_format yuv420p -video_size 672x1280 -framerate 60 output.yuv
复制代码
8k h265

记得视频搞短一点，有些解码器会吞掉EOS标识，不清楚为什么
  1. private suspend fun decode(
  2.         context: Context,
  3.         index: Int,
  4.         output: Uri,
  5.         mediaExtractor: MediaExtractor,
  6.         decodeName: String
  7. ): Unit = suspendCancellableCoroutine { continuation ->
  9.         val mediaFormat: MediaFormat = mediaExtractor.getTrackFormat(index)
  10.         mediaExtractor.selectTrack(index)
  11.         val mediaCodec: MediaCodec = MediaCodec.createByCodecName(decodeName)
  12.         mediaCodec.configure(mediaFormat, null, null, 0)
  14.         val aacOutputStream: OutputStream = context.contentResolver.openOutputStream(output)!!
  15.         val bytes = ByteArray(1024 * 1024 * 100)
  17.         mediaCodec.setCallback(object : MediaCodec.Callback() {
  18.                 override fun onError(
  19.                         codec: MediaCodec,
  20.                         e: MediaCodec.CodecException
  21.                 ) {
  22.                         Log.e(
  23.                                 TAG,
  24.                                 "onError name: ${codec.name}, thread: ${Thread.currentThread()}, error: ${e.message}",
  25.                                 e
  26.                         )
  27.                 }
  29.                 override fun onInputBufferAvailable(
  30.                         codec: MediaCodec,
  31.                         index: Int
  32.                 ) {
  33.                         val inputBuffer: ByteBuffer = codec.getInputBuffer(index) ?: return
  34.                         val size: Int = mediaExtractor.readSampleData(inputBuffer, 0)
  35.                         Log.i(
  36.                                 TAG,
  37.                                 "onInputBufferAvailable -> name: ${mediaCodec.name}, index: $index, thread: ${Thread.currentThread()}, size: $size"
  38.                         )
  39.                         if (size > 0) {
  40.                                 codec.queueInputBuffer(index, 0, size, mediaExtractor.sampleTime, mediaExtractor.sampleFlags)
  41.                                 mediaExtractor.advance()
  42.                         } else {
  43.                                 codec.queueInputBuffer(
  44.                                         index,
  45.                                         0,
  46.                                         0,
  47.                                         0,
  48.                                         MediaCodec.BUFFER_FLAG_END_OF_STREAM
  49.                                 )
  50.                                 Log.i(TAG, "onInputBufferAvailable -> BUFFER_FLAG_END_OF_STREAM")
  51.                         }
  52.                 }
  54.                 override fun onOutputBufferAvailable(
  55.                         codec: MediaCodec,
  56.                         index: Int,
  57.                         info: MediaCodec.BufferInfo
  58.                 ) {
  59.                         Log.i(
  60.                                 TAG,
  61.                                 "onOutputBufferAvailable -> name: ${codec.name}, index: $index, infoSize: ${info.size}, thread: ${Thread.currentThread()}"
  62.                         )
  64.                         val outputBuffer: ByteBuffer = codec.getOutputBuffer(index) ?: return
  66.                         outputBuffer.get(bytes, 0, info.size)
  68.                         aacOutputStream.write(bytes, 0, info.size)
  70.                         codec.releaseOutputBuffer(index, false)
  72.                         if (info.flags == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
  73.                                 Log.i(TAG, "onOutputBufferAvailable -> == 编码结束...") // todo
  74.                                 aacOutputStream.close()
  75.                                 if (continuation.isActive) {
  76.                                         Log.i(TAG, "pcmToAac -> 解码完成 resume before...")
  77.                                         continuation.resume(Unit)
  78.                                         Log.i(TAG, "pcmToAac -> 解码完成 resume after...")
  79.                                 }
  80.                         }
  81.                 }
  83.                 override fun onOutputFormatChanged(
  84.                         codec: MediaCodec,
  85.                         format: MediaFormat
  86.                 ) {
  87.                         Log.i(
  88.                                 TAG,
  89.                                 "onOutputFormatChanged -> name: ${codec.name}, format: $format"
  90.                         )
  91.                 }
  92.         })
  93.         Log.i(TAG, "pcmToAac -> before start...")
  94.         mediaCodec.start()
  95.         Log.i(TAG, "pcmToAac -> after start...")
  96. }
  97. internal suspend fun h265ToYuvPcm(context: Context, videoUri: Uri, yuvUri: Uri, pcmUri: Uri){
  99.         val mediaCodecList = MediaCodecList(MediaCodecList.ALL_CODECS)
  101.         // 视频解码器材
  102.         val mkvDecoders: List<MediaCodecInfo> = mediaCodecList.codecInfos
  103.                 .filter { !it.isEncoder && MediaFormat.MIMETYPE_VIDEO_HEVC in it.supportedTypes }
  105.         if (mkvDecoders.isEmpty()){
  106.                 Log.i(TAG, "videoToYuvPcm -> 不支持mkv解码")
  107.                 return
  108.         }
  110.         // 拿解码器
  111.         val mkvDecoder: MediaCodecInfo = mkvDecoders.firstOrNull {
  112.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  113.                         it.isHardwareAccelerated
  114.                 } else {
  115.                         true
  116.                 }
  117.         } ?: mkvDecoders.first()
  119.         // 重试解码器 android 8 不支持  hevc (Main 10)
  120.         // val mkvDecoder: MediaCodecInfo = mkvDecoders[1]
  121.         // MediaCodec.createByCodecName(h264Decoder.name)
  122.         Log.i(TAG, "videoToYuvPcm1 -> mkvDecoderName: ${mkvDecoder.name}")
  124.         mkvDecoders.forEach { mediaCodecInfo ->
  125.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  126.                         Log.i(TAG, "mkvDecoders -> name: ${mediaCodecInfo.name}, canonicalName: ${mediaCodecInfo.canonicalName}, isAlias: ${mediaCodecInfo.isAlias}, isVendor: ${mediaCodecInfo.isVendor}, isHardwareAccelerated: ${mediaCodecInfo.isHardwareAccelerated}, isEncoder: ${mediaCodecInfo.isEncoder}, isSoftwareOnly: ${mediaCodecInfo.isSoftwareOnly}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  127.                 } else {
  128.                         Log.i(TAG, "mkvDecoders -> name: ${mediaCodecInfo.name}, isEncoder: ${mediaCodecInfo.isEncoder}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  129.                 }
  130.                 mediaCodecInfo.supportedTypes.forEach { mimeType: String ->
  131.                         if (mimeType.lowercase() == MediaFormat.MIMETYPE_VIDEO_HEVC){
  132.                                 val mediaCodecInfoCodecCapabilities: MediaCodecInfo.CodecCapabilities = mediaCodecInfo.getCapabilitiesForType(mimeType)
  133.                                 mediaCodecInfoCodecCapabilities.profileLevels.forEach { codecProfileLevel ->
  134.                                         if (codecProfileLevel.profile == MediaCodecInfo.CodecProfileLevel.HEVCProfileMain){
  135.                                                 if (codecProfileLevel.level >= MediaCodecInfo.CodecProfileLevel.HEVCMainTierLevel62){
  136.                                                         Log.i(TAG, "h265ToYuvPcm -> 支持 8k h265 name: ${mediaCodecInfo.name}")
  137.                                                 } else {
  138.                                                         Log.i(TAG, "h265ToYuvPcm -> 不支持 8k h265 name: ${mediaCodecInfo.name}")
  139.                                                 }
  140.                                         }
  141.                                 }
  142.                         }
  143.                 }
  144.         }
  146.         // 音频解码器
  147.         val aacDecoders: List<MediaCodecInfo> = mediaCodecList.codecInfos.filter { !it.isEncoder }.filter {
  148.                 it.supportedTypes.contains(element = MediaFormat.MIMETYPE_AUDIO_AAC)
  149.         }
  151.         if (aacDecoders.isEmpty()){
  152.                 Log.i(TAG, "videoToYuvPcm -> 不支持aac解码")
  153.                 return
  154.         }
  156.         val aacDecoder: MediaCodecInfo = aacDecoders.firstOrNull {
  157.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  158.                         it.isHardwareAccelerated
  159.                 } else {
  160.                         true
  161.                 }
  162.         } ?: aacDecoders.first()
  164.         aacDecoders.forEach { mediaCodecInfo ->
  165.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  166.                         Log.i(TAG, "aacDecoders -> name: ${mediaCodecInfo.name}, canonicalName: ${mediaCodecInfo.canonicalName}, isAlias: ${mediaCodecInfo.isAlias}, isVendor: ${mediaCodecInfo.isVendor}, isHardwareAccelerated: ${mediaCodecInfo.isHardwareAccelerated}, isEncoder: ${mediaCodecInfo.isEncoder}, isSoftwareOnly: ${mediaCodecInfo.isSoftwareOnly}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  167.                 } else {
  168.                         Log.i(TAG, "aacDecoders -> name: ${mediaCodecInfo.name}, isEncoder: ${mediaCodecInfo.isEncoder}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  169.                 }
  170.         }
  172.         val mediaExtractor = MediaExtractor()
  173.         mediaExtractor.setDataSource(context, videoUri, mapOf<String, String>())
  175.         for (i in 0 until mediaExtractor.trackCount){
  176.                 Log.i(TAG, "flacToPcm -> format: ${mediaExtractor.getTrackFormat(i)}")
  177.         }
  179.         if (mediaExtractor.trackCount < 1){
  180.                 mediaExtractor.release()
  181.                 return
  182.         }
  184.         Log.i(TAG, "videoToYuvPcm -> decode before...")
  185.         //
  186.         decode(context, 0, yuvUri, mediaExtractor, mkvDecoder.name)
  187.         decode(context, 1, pcmUri, mediaExtractor, aacDecoder.name)
  188.         // ffplay -f s16le -ar 44100 -ch_layout stereo -i output.pcm
  189.         Log.i(TAG, "videoToYuvPcm -> decode after...")
  191.         mediaExtractor.release()
  193.         Log.i(TAG, "videoToYuvPcm -> end...")
  194. }
复制代码
使用下面的命令
  1. # 8K 265
  2. ffplay -x 1280 -y 720 -f rawvideo -pixel_format nv12 -video_size 7680x4320 -framerate 30 output2.yuv
  3. # 4k 256
  4. ffplay -x 1280 -y 720 -f rawvideo -pixel_format yuv420p -video_size 3840x2176 -framerate 60 output1.yuv
  5. ffplay -f s16le -ar 48000 -ch_layout stereo -i output.pcm
复制代码
否则会有下面的错误
  1. 2025-08-17 16:34:05.005 10483-10483 AndroidRuntime          edu.tyut.helloktorfit                E  FATAL EXCEPTION: main
  2.                                                                                                     Process: edu.tyut.helloktorfit, PID: 10483
  3.                                                                                                     java.lang.RuntimeException: java.lang.reflect.InvocationTargetException
  4.                                                                                                             at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:631)
  5.                                                                                                             at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:957)
  6.                                                                                                     Caused by: java.lang.reflect.InvocationTargetException
  7.                                                                                                             at java.lang.reflect.Method.invoke(Native Method)
  8.                                                                                                             at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:621)
  9.                                                                                                             at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:957) 
  10.                                                                                                     Caused by: java.io.IOException: write failed: ENOSPC (No space left on device)
  11.                                                                                                             at libcore.io.IoBridge.write(IoBridge.java:651)
  12.                                                                                                             at java.io.FileOutputStream.write(FileOutputStream.java:432)
  13.                                                                                                             at edu.tyut.helloktorfit.manager.AudioExtractManager$decode$2$1.onOutputBufferAvailable(AudioExtractManager.kt:1051)
  14.                                                                                                             at android.media.MediaCodec$EventHandler.handleCallback(MediaCodec.java:2011)
  15.                                                                                                             at android.media.MediaCodec$EventHandler.handleMessage(MediaCodec.java:1887)
  16.                                                                                                             at android.os.Handler.dispatchMessage(Handler.java:109)
  17.                                                                                                             at android.os.Looper.loopOnce(Looper.java:250)
  18.                                                                                                             at android.os.Looper.loop(Looper.java:340)
  19.                                                                                                             at android.app.ActivityThread.main(ActivityThread.java:9865)
  20.                                                                                                             at java.lang.reflect.Method.invoke(Native Method) 
  21.                                                                                                             at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:621) 
  22.                                                                                                             at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:957) 
  23.                                                                                                     Caused by: android.system.ErrnoException: write failed: ENOSPC (No space left on device)
  24.                                                                                                             at libcore.io.Linux.writeBytes(Native Method)
  25.                                                                                                             at libcore.io.Linux.write(Linux.java:296)
  26.                                                                                                             at libcore.io.ForwardingOs.write(ForwardingOs.java:943)
  27.                                                                                                             at libcore.io.BlockGuardOs.write(BlockGuardOs.java:448)
  28.                                                                                                             at libcore.io.ForwardingOs.write(ForwardingOs.java:943)
复制代码
mkv电影

很多机型均无法解析4k mkv电影
  1. private suspend fun decode(
  2.         context: Context,
  3.         index: Int,
  4.         output: Uri,
  5.         mediaExtractor: MediaExtractor,
  6.         decodeName: String
  7. ): Unit = suspendCancellableCoroutine { continuation ->
  9.         val mediaFormat: MediaFormat = mediaExtractor.getTrackFormat(index)
  10.         mediaExtractor.selectTrack(index)
  11.         val mediaCodec: MediaCodec = MediaCodec.createByCodecName(decodeName)
  12.         mediaCodec.configure(mediaFormat, null, null, 0)
  14.         val aacOutputStream: OutputStream = context.contentResolver.openOutputStream(output)!!
  15.         val bytes = ByteArray(1024 * 1024 * 100)
  17.         mediaCodec.setCallback(object : MediaCodec.Callback() {
  18.                 override fun onError(
  19.                         codec: MediaCodec,
  20.                         e: MediaCodec.CodecException
  21.                 ) {
  22.                         Log.e(
  23.                                 TAG,
  24.                                 "onError name: ${codec.name}, thread: ${Thread.currentThread()}, error: ${e.message}",
  25.                                 e
  26.                         )
  27.                 }
  29.                 override fun onInputBufferAvailable(
  30.                         codec: MediaCodec,
  31.                         index: Int
  32.                 ) {
  33.                         val inputBuffer: ByteBuffer = codec.getInputBuffer(index) ?: return
  34.                         val size: Int = mediaExtractor.readSampleData(inputBuffer, 0)
  35.                         Log.i(
  36.                                 TAG,
  37.                                 "onInputBufferAvailable -> name: ${mediaCodec.name}, index: $index, thread: ${Thread.currentThread()}, size: $size"
  38.                         )
  39.                         if (size > 0) {
  40.                                 codec.queueInputBuffer(index, 0, size, mediaExtractor.sampleTime, mediaExtractor.sampleFlags)
  41.                                 mediaExtractor.advance()
  42.                         } else {
  43.                                 codec.queueInputBuffer(
  44.                                         index,
  45.                                         0,
  46.                                         0,
  47.                                         0,
  48.                                         MediaCodec.BUFFER_FLAG_END_OF_STREAM
  49.                                 )
  50.                         }
  51.                 }
  53.                 override fun onOutputBufferAvailable(
  54.                         codec: MediaCodec,
  55.                         index: Int,
  56.                         info: MediaCodec.BufferInfo
  57.                 ) {
  58.                         Log.i(
  59.                                 TAG,
  60.                                 "onOutputBufferAvailable -> name: ${codec.name}, index: $index, infoSize: ${info.size}, thread: ${Thread.currentThread()}"
  61.                         )
  63.                         val outputBuffer: ByteBuffer = codec.getOutputBuffer(index) ?: return
  65.                         outputBuffer.get(bytes, 0, info.size)
  67.                         aacOutputStream.write(bytes, 0, info.size)
  69.                         codec.releaseOutputBuffer(index, false)
  71.                         if (info.flags == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
  72.                                 Log.i(TAG, "onOutputBufferAvailable -> == 编码结束...") // todo
  73.                                 aacOutputStream.close()
  74.                                 if (continuation.isActive) {
  75.                                         Log.i(TAG, "pcmToAac -> 解码完成 resume before...")
  76.                                         continuation.resume(Unit)
  77.                                         Log.i(TAG, "pcmToAac -> 解码完成 resume after...")
  78.                                 }
  79.                         }
  80.                 }
  82.                 override fun onOutputFormatChanged(
  83.                         codec: MediaCodec,
  84.                         format: MediaFormat
  85.                 ) {
  86.                         Log.i(
  87.                                 TAG,
  88.                                 "onOutputFormatChanged -> name: ${codec.name}, format: $format"
  89.                         )
  90.                 }
  91.         })
  92.         Log.i(TAG, "pcmToAac -> before start...")
  93.         mediaCodec.start()
  94.         Log.i(TAG, "pcmToAac -> after start...")
  95. }
  97. internal suspend fun videoToYuvPcm1(context: Context, videoUri: Uri, yuvUri: Uri): Unit {
  99.         val mediaCodecList = MediaCodecList(MediaCodecList.ALL_CODECS)
  101.         // 视频解码器材
  102.         val mkvDecoders: List<MediaCodecInfo> = mediaCodecList.codecInfos
  103.                 .filter { !it.isEncoder && MediaFormat.MIMETYPE_VIDEO_HEVC in it.supportedTypes }
  105.         if (mkvDecoders.isEmpty()){
  106.                 Log.i(TAG, "videoToYuvPcm -> 不支持mkv解码")
  107.                 return
  108.         }
  110.         // 拿解码器
  111.         val mkvDecoder: MediaCodecInfo = mkvDecoders.firstOrNull {
  112.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  113.                         it.isHardwareAccelerated
  114.                 } else {
  115.                         true
  116.                 }
  117.         } ?: mkvDecoders.first()
  119.         // 重试解码器 android 8 不支持  hevc (Main 10)
  120.         // val mkvDecoder: MediaCodecInfo = mkvDecoders[2]
  121.         // MediaCodec.createByCodecName(h264Decoder.name)
  122.         Log.i(TAG, "videoToYuvPcm1 -> mkvDecoderName: ${mkvDecoder.name}")
  124.         mkvDecoders.forEach { mediaCodecInfo ->
  125.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  126.                         Log.i(TAG, "mkvDecoders -> name: ${mediaCodecInfo.name}, canonicalName: ${mediaCodecInfo.canonicalName}, isAlias: ${mediaCodecInfo.isAlias}, isVendor: ${mediaCodecInfo.isVendor}, isHardwareAccelerated: ${mediaCodecInfo.isHardwareAccelerated}, isEncoder: ${mediaCodecInfo.isEncoder}, isSoftwareOnly: ${mediaCodecInfo.isSoftwareOnly}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  127.                 } else {
  128.                         Log.i(TAG, "mkvDecoders -> name: ${mediaCodecInfo.name}, isEncoder: ${mediaCodecInfo.isEncoder}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  129.                 }
  130.         }
  132.         // 音频解码器
  133.         val aacDecoders: List<MediaCodecInfo> = mediaCodecList.codecInfos.filter { !it.isEncoder }.filter {
  134.                 it.supportedTypes.contains(element = MediaFormat.MIMETYPE_AUDIO_AAC)
  135.         }
  137.         if (aacDecoders.isEmpty()){
  138.                 Log.i(TAG, "videoToYuvPcm -> 不支持aac解码")
  139.                 return
  140.         }
  142.         val aacDecoder: MediaCodecInfo = aacDecoders.firstOrNull {
  143.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  144.                         it.isHardwareAccelerated
  145.                 } else {
  146.                         true
  147.                 }
  148.         } ?: aacDecoders.first()
  150.         aacDecoders.forEach { mediaCodecInfo ->
  151.                 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {
  152.                         Log.i(TAG, "aacDecoders -> name: ${mediaCodecInfo.name}, canonicalName: ${mediaCodecInfo.canonicalName}, isAlias: ${mediaCodecInfo.isAlias}, isVendor: ${mediaCodecInfo.isVendor}, isHardwareAccelerated: ${mediaCodecInfo.isHardwareAccelerated}, isEncoder: ${mediaCodecInfo.isEncoder}, isSoftwareOnly: ${mediaCodecInfo.isSoftwareOnly}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  153.                 } else {
  154.                         Log.i(TAG, "aacDecoders -> name: ${mediaCodecInfo.name}, isEncoder: ${mediaCodecInfo.isEncoder}, supportedTypes: ${mediaCodecInfo.supportedTypes.joinToString()}")
  155.                 }
  156.         }
  158.         val mediaExtractor = MediaExtractor()
  159.         mediaExtractor.setDataSource(context, videoUri, mapOf<String, String>())
  161.         for (i in 0 until mediaExtractor.trackCount){
  162.                 Log.i(TAG, "flacToPcm -> format: ${mediaExtractor.getTrackFormat(i)}")
  163.         }
  165.         if (mediaExtractor.trackCount < 1){
  166.                 mediaExtractor.release()
  167.                 return
  168.         }
  170.         Log.i(TAG, "videoToYuvPcm -> decode before...")
  171.         //
  172.         decode(context, 0, yuvUri, mediaExtractor, mkvDecoder.name)
  173.         // ffplay -f s16le -ar 44100 -ch_layout stereo -i output.pcm
  174.         Log.i(TAG, "videoToYuvPcm -> decode after...")
  176.         mediaExtractor.release()
  178.         Log.i(TAG, "videoToYuvPcm -> end...")
  179. }
复制代码
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

使用道具 举报
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
嫂潍
2025-8-17 16:44:44

0

粉丝关注

12

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫