| 概要: MonoTouchでAudioUnitを使った3つのサンプルコード、サイン波生成、AIFFオーディオファイル再生そしてマイクロフォンのモニタリング、を紹介します。iPhoneで利用出来る他のオーディオフレームワーク（Audio Queue ServiceとOpenAL）と比較して、AudioUnitを使うことで、楽器アプリや音が動作トリガになるアプリケーションに都合が良い、リアルタイムの波形操作と最小の出力遅延時間(~ 3ミリ秒）が実現できますサンプルコードはGithubにMITラインセスで公開しています [1]。
|
iPhoneのサウンドモデム開発で、当初はスピーカーとマイクロフォンにアクセスするのにAudioQueueを使うことにしました。しかし、AudioQueueの出力遅延時間は最小でも23ミリ秒でした。ロボットの制御にはこの遅延時間は、少々大きすぎます。したがって約3ミリ秒の出力遅延時間が得られるAudioUnitを試すことにしました。
MonoTouch で AudioUnit を使う
AudioUnit はAudioToolboxフレームワークに含まれるC言語の関数群です。したがってMonoTouchから使うためにはアンマネージコードの呼び出しが必要になります
[2]. この操作は、一般のC#からのC言語ライブラリの呼び出しと同じで、その詳細は(サンプルコードの プロジェクト MonoTouch.AudioUnit にある) ソースコードを参照してください。クラス名などは、AudioUnitの関数および構造体と1対1対応で作成しています。
AudioUnit で任意の波形を出力する
AudioUnitでの任意波形出力は、基本はAudio Queue Service の解説記事 (http://jp.blog.reinforce-lab.com/2010/05/monotouchaudioqueue.html) で述べたものと同じです。
手順は：
- 出力する Audio Unit （Remote IO） を設定する、
- レンダリング処理のイベントハンドラを設定する、
- ハンドラ内でバッファに波形データを書き込む。
AudioUnit (Remote IO unit) の生成手順などはAppleの開発者ドキュメントなどで詳しく述べられています。まず, audio unit (Remote IO unit) を以下のコードで作成します：
1: void prepareAudioUnit()
2: { 3: // Creating AudioComponentDescription instance of RemoteIO Audio Unit
4: AudioComponentDescription cd = new AudioComponentDescription()
5: { 6: componentType = AudioComponentDescription.AudioComponentType.kAudioUnitType_Output,
7: componentSubType = AudioComponentDescription.AudioComponentSubType.kAudioUnitSubType_RemoteIO,
8: componentManufacturer = AudioComponentDescription.AudioComponentManufacturerType.kAudioUnitManufacturer_Apple,
9: componentFlags = 0,
10: componentFlagsMask = 0
11: };
12:
13: // Getting AudioComponent from the description
14: _component = AudioComponent.FindComponent(cd);
15:
16: // Getting Audiounit
17: _audioUnit = AudioUnit.CreateInstance(_component);
18:
19: // setting AudioStreamBasicDescription
20: int AudioUnitSampleTypeSize;
21: if (MonoTouch.ObjCRuntime.Runtime.Arch == MonoTouch.ObjCRuntime.Arch.SIMULATOR)
22: { 23: AudioUnitSampleTypeSize = sizeof(float);
24: }
25: else
26: { 27: AudioUnitSampleTypeSize = sizeof(int);
28: }
29: AudioStreamBasicDescription audioFormat = new AudioStreamBasicDescription()
30: { 31: SampleRate = _sampleRate,
32: Format = AudioFormatType.LinearPCM,
33: //kAudioFormatFlagsAudioUnitCanonical = kAudioFormatFlagIsSignedInteger | kAudioFormatFlagsNativeEndian | kAudioFormatFlagIsPacked | kAudioFormatFlagIsNonInterleaved | (kAudioUnitSampleFractionBits << kLinearPCMFormatFlagsSampleFractionShift),
34: FormatFlags = (AudioFormatFlags)((int)AudioFormatFlags.IsSignedInteger | (int)AudioFormatFlags.IsPacked | (int)AudioFormatFlags.IsNonInterleaved | (int)(kAudioUnitSampleFractionBits << (int)AudioFormatFlags.LinearPCMSampleFractionShift)),
35: ChannelsPerFrame = 2,
36: BytesPerPacket = AudioUnitSampleTypeSize,
37: BytesPerFrame = AudioUnitSampleTypeSize,
38: FramesPerPacket = 1,
39: BitsPerChannel = 8 * AudioUnitSampleTypeSize,
40: Reserved = 0
41: };
42: _audioUnit.SetAudioFormat(audioFormat, AudioUnit.AudioUnitScopeType.kAudioUnitScope_Input, 0);
43:
44: // setting callback
45: _audioUnit.RenderCallback += new EventHandler<AudioUnitEventArgs>(callback);
46: }
AudioUnitの1サンプルを表すAudio unit sample type はシミュレータ (32-bit 浮動小数点) とデバイス(32-bit 整数)で異なります。その違いはコード (line #21-28) で吸収します。Audio Unitがバッファを必要とするたびに、設定された (line #45) レンダリングのイベントハンドラが、以下のように呼び出されます：
1: void callback(object sender, AudioUnitEventArgs args)
2: { 3: // Generating sin waveform
4: double dphai = 440 * 2.0 * Math.PI / _sampleRate;
5:
6: // Getting a pointer to a buffer to be filled
7: IntPtr outL = args.Data.mBuffers[0].mData;
8: IntPtr outR = args.Data.mBuffers[1].mData;
9:
10: // filling sin waveform.
11: // AudioUnitSampleType is different between a simulator (float32) and a real device (int32).
12: if (MonoTouch.ObjCRuntime.Runtime.Arch == MonoTouch.ObjCRuntime.Arch.SIMULATOR)
13: { 14: unsafe
15: { 16: var outLPtr = (float *) outL.ToPointer();
17: var outRPtr = (float *) outR.ToPointer();
18: for (int i = 0; i < args.NumberFrames; i++)
19: { 20: float sample = (float)Math.Sin(_phase) / 2048;
21: *outLPtr++ = sample;
22: *outRPtr++ = sample;
23: _phase += dphai;
24: }
25: }
26: }
27: else
28: { 29: unsafe
30: { 31: var outLPtr = (int*)outL.ToPointer();
32: var outRPtr = (int*)outR.ToPointer();
33: for (int i = 0; i < args.NumberFrames; i++)
34: { 35: int sample = (int)(Math.Sin(_phase) * int.MaxValue / 128); // signal waveform format is fixed-point (8.24)
36: *outLPtr++ = sample;
37: *outRPtr++ = sample;
38: _phase += dphai;
39: }
40: }
41: }
42:
43: _phase %= 2 * Math.PI;
44: }
AudioBufferは32-bit浮動小数点または32-bit整数の単なる配列です。したがってunsafeブロック内で直接配列に波形データを書き込みます。配列長はAudioSessionを使って設定でき、デフォルトで 512、最小 128まで設定できます。配列長を短くするほど出力遅延時間は短くなりますが、よりCPUパワーを消費します。
その他のサンプル
ExtAudioFileを使った任意フォーマットの音楽ファイル再生およびマイクロフォンからの音入力とその録音処理のサンプルがあるのですが、もう面倒なので以下略です。ソースコードを参照ください。
References
- Sample codes, http://github.com/reinforce-lab/MonoTouch.AudioUnit
- Interoperating with unmanaged code, http://msdn.microsoft.com/en-us/library/sd10k43k.aspx
*
