9656bf3970914db5ab27dee24dc2d91188bec8bf
[goodguy/cinelerra.git] / cinelerra-5.1 / cinelerra / ffmpeg.h
1 #ifndef FFMPEG_H
2 #define FFMPEG_H
3
4 #include <stdio.h>
5 #include <stdint.h>
6 #include <stdlib.h>
7 #include <unistd.h>
8 #include <string.h>
9
10 #include "arraylist.h"
11 #include "asset.inc"
12 #include "bccmodels.h"
13 #include "bcwindowbase.inc"
14 #include "condition.h"
15 #include "cstrdup.h"
16 #include "edl.inc"
17 #include "linklist.h"
18 #include "ffmpeg.inc"
19 #include "filebase.inc"
20 #include "fileffmpeg.inc"
21 #include "indexstate.inc"
22 #include "mutex.h"
23 #include "thread.h"
24 #include "vframe.inc"
25
26 extern "C" {
27 #include "libavformat/avformat.h"
28 #include "libavformat/avio.h"
29 #include "libavcodec/avcodec.h"
30 #include "libavfilter/avfilter.h"
31 #include "libavutil/avutil.h"
32 #include "libavfilter/buffersrc.h"
33 #include "libavfilter/buffersink.h"
34 #include "libavutil/imgutils.h"
35 #include "libavutil/opt.h"
36 #include "libavutil/pixdesc.h"
37 #include "libswresample/swresample.h"
38 #include "libswscale/swscale.h"
39 }
40
41 class FFPacket  {
42         AVPacket pkt;
43 public:
44         operator AVPacket*() { return &pkt; }
45         operator AVPacket&() { return pkt; }
46         AVPacket *operator ->() { return &pkt; }
47
48         void init();
49         void finit();
50         FFPacket() { init(); }
51         ~FFPacket() { finit(); }
52 };
53
54 class FFrame : public ListItem<FFrame> {
55         AVFrame *frm;
56         int init;
57 public:
58         int64_t position;
59         FFStream *fst;
60
61         FFrame(FFStream *fst);
62         ~FFrame();
63
64         operator AVFrame*() { return frm; }
65         operator AVFrame&() { return *frm; }
66         AVFrame *operator ->() { return frm; }
67
68         int initted() { return init; }
69         void queue(int64_t pos);
70         void dequeue();
71 };
72
73 class FFStream {
74 public:
75         FFStream(FFMPEG *ffmpeg, AVStream *st, int fidx);
76         ~FFStream();
77         static void ff_lock(const char *cp=0);
78         static void ff_unlock();
79         void queue(FFrame *frm);
80         void dequeue(FFrame *frm);
81
82         virtual int encode_activate();
83         virtual int decode_activate();
84         virtual AVHWDeviceType decode_hw_activate();
85         virtual void decode_hw_format(AVCodec *decoder, AVHWDeviceType type);
86         virtual int write_packet(FFPacket &pkt);
87         int read_packet();
88         int seek(int64_t no, double rate);
89         int flush();
90         int decode(AVFrame *frame);
91         void load_markers(IndexMarks &marks, double rate);
92
93         virtual int is_audio() = 0;
94         virtual int is_video() = 0;
95         virtual int decode_frame(AVFrame *frame) = 0;
96         virtual int encode_frame(AVFrame *frame) = 0;
97         virtual int init_frame(AVFrame *frame) = 0;
98         virtual int create_filter(const char *filter_spec, AVCodecParameters *avpar) = 0;
99         virtual void load_markers() = 0;
100         virtual IndexMarks *get_markers() = 0;
101         int create_filter(const char *filter_spec);
102         int load_filter(AVFrame *frame);
103         int read_filter(AVFrame *frame);
104         int read_frame(AVFrame *frame);
105         int open_stats_file();
106         int close_stats_file();
107         int read_stats_file();
108         int write_stats_file();
109         int init_stats_file();
110
111         FFMPEG *ffmpeg;
112         AVStream *st;
113         AVFormatContext *fmt_ctx;
114         AVCodecContext *avctx;
115
116         AVFilterContext *buffersink_ctx;
117         AVFilterContext *buffersrc_ctx;
118         AVFilterGraph *filter_graph;
119         AVFrame *frame, *fframe;
120         AVBSFContext *bsfc;
121
122         FFPacket ipkt;
123         int need_packet, flushed;
124
125         int frm_count;
126         List<FFrame> frms;
127         Mutex *frm_lock;
128
129         int64_t nudge;
130         int64_t seek_pos, curr_pos;
131         int fidx;
132         int reading, writing;
133         int seeked, eof;
134
135         const char *hw_dev;
136         int hw_pixfmt;
137         AVBufferRef *hw_device_ctx;
138
139         FILE *stats_fp;
140         char *stats_filename;
141         char *stats_in;
142         int pass;
143
144         int st_eof() { return eof; }
145         void st_eof(int v) { eof = v; }
146 };
147
148 class FFAudioStream : public FFStream {
149         float *inp, *outp, *bfr, *lmt;
150         int64_t hpos, sz;
151         int nch;
152
153         int read(float *fp, long len);
154         void realloc(long nsz, int nch, long len);
155         void realloc(long nsz, int nch);
156         void reserve(long nsz, int nch);
157         long used();
158         long avail();
159         void iseek(int64_t ofs);
160         float *get_outp(int len);
161         int64_t put_inp(int len);
162         int write(const float *fp, long len);
163         int zero(long len);
164         int write(const double *dp, long len, int ch);
165         int write_packet(FFPacket &pkt);
166 public:
167         FFAudioStream(FFMPEG *ffmpeg, AVStream *strm, int idx, int fidx);
168         virtual ~FFAudioStream();
169         int is_audio() { return 1; }
170         int is_video() { return 0; }
171         void init_swr(int ichs, int ifmt, int irate);
172         int get_samples(float *&samples, uint8_t **data, int len);
173         int load_history(uint8_t **data, int len);
174         int decode_frame(AVFrame *frame);
175         int encode_frame(AVFrame *frame);
176         int create_filter(const char *filter_spec, AVCodecParameters *avpar);
177         void load_markers();
178         IndexMarks *get_markers();
179
180         int encode_activate();
181         int64_t load_buffer(double ** const sp, int len);
182         int in_history(int64_t pos);
183         void reset_history();
184         int read(double *dp, long len, int ch);
185
186         int init_frame(AVFrame *frame);
187         int load(int64_t pos, int len);
188         int audio_seek(int64_t pos);
189         int encode(double **samples, int len);
190         int drain();
191
192         int idx;
193         int channel0, channels;
194         int sample_rate;
195         int mbsz, frame_sz;
196         int64_t length;
197
198         SwrContext *resample_context;
199         int swr_ichs, swr_ifmt, swr_irate;
200         int aud_bfr_sz;
201         float *aud_bfr;
202 };
203
204
205 class FFVideoConvert {
206 public:
207         struct SwsContext *convert_ctx;
208         AVFrame *sw_frame;
209
210         FFVideoConvert() { convert_ctx = 0; sw_frame = 0; }
211         ~FFVideoConvert() {
212                 if( convert_ctx ) sws_freeContext(convert_ctx);
213                 if( sw_frame ) av_frame_free(&sw_frame);
214         }
215
216         static AVPixelFormat color_model_to_pix_fmt(int color_model);
217         static int pix_fmt_to_color_model(AVPixelFormat pix_fmt);
218
219         int convert_picture_vframe(VFrame *frame, AVFrame *ip);
220         int convert_picture_vframe(VFrame *frame, AVFrame *ip, AVFrame *ipic);
221         int convert_cmodel(VFrame *frame, AVFrame *ip);
222         int transfer_cmodel(VFrame *frame, AVFrame *ifp);
223         int convert_vframe_picture(VFrame *frame, AVFrame *op);
224         int convert_vframe_picture(VFrame *frame, AVFrame *op, AVFrame *opic);
225         int convert_pixfmt(VFrame *frame, AVFrame *op);
226         int transfer_pixfmt(VFrame *frame, AVFrame *ofp);
227 };
228
229 class FFVideoStream : public FFStream, public FFVideoConvert {
230         int write_packet(FFPacket &pkt);
231 public:
232         FFVideoStream(FFMPEG *ffmpeg, AVStream *strm, int idx, int fidx);
233         virtual ~FFVideoStream();
234         int is_audio() { return 0; }
235         int is_video() { return 1; }
236         int decode_frame(AVFrame *frame);
237         AVHWDeviceType decode_hw_activate();
238         void decode_hw_format(AVCodec *decoder, AVHWDeviceType type);
239         int encode_frame(AVFrame *frame);
240         int create_filter(const char *filter_spec, AVCodecParameters *avpar);
241         void load_markers();
242         IndexMarks *get_markers();
243
244         int init_frame(AVFrame *picture);
245         int load(VFrame *vframe, int64_t pos);
246         int video_seek(int64_t pos);
247         int encode(VFrame *vframe);
248         int drain();
249
250         int idx;
251         double frame_rate;
252         int width, height;
253         int64_t length;
254         float aspect_ratio;
255
256         int interlaced;
257         int top_field_first;
258 };
259
260 class FFMPEG : public Thread {
261 public:
262         static Mutex fflock;
263         static void ff_lock(const char *cp=0) { fflock.lock(cp); }
264         static void ff_unlock() { fflock.unlock(); }
265
266         int check_sample_rate(AVCodec *codec, int sample_rate);
267         AVRational check_frame_rate(AVCodec *codec, double frame_rate);
268         AVRational to_sample_aspect_ratio(Asset *asset);
269         AVRational to_time_base(int sample_rate);
270         static int get_fmt_score(AVSampleFormat dst_fmt, AVSampleFormat src_fmt);
271         static AVSampleFormat find_best_sample_fmt_of_list(
272                 const AVSampleFormat *sample_fmts, AVSampleFormat src_fmt);
273
274         static void set_option_path(char *path, const char *fmt, ...);
275         static void get_option_path(char *path, const char *type, const char *spec);
276         static int get_format(char *format, const char *path, const char *spec);
277         static int get_codec(char *codec, const char *path, const char *spec);
278         static int scan_option_line(const char *cp,char *tag,char *val);
279         static int load_defaults(const char *path, const char *type,
280                  char *codec, char *codec_options, int len);
281         static int can_render(const char *fformat, const char *type);
282         static int renders_audio(const char *fformat) { return can_render(fformat, "audio"); }
283         static int renders_video(const char *fformat) { return can_render(fformat, "video"); }
284         static int get_ff_option(const char *nm, const char *options, char *value);
285         static void scan_audio_options(Asset *asset, EDL *edl);
286         static void load_audio_options(Asset *asset, EDL *edl);
287         static void scan_video_options(Asset *asset, EDL *edl);
288         static void load_video_options(Asset *asset, EDL *edl);
289         static void set_asset_format(Asset *asset, EDL *edl, const char *text);
290         int get_file_format();
291         static int get_encoder(const char *options, char *format, char *codec, char *bsfilter);
292         static int scan_encoder(const char *line, char *format, char *codec, char *bsfilter);
293         int read_options(const char *options, AVDictionary *&opts, int skip=0);
294         int scan_options(const char *options, AVDictionary *&opts, AVStream *st);
295         int read_options(FILE *fp, const char *options, AVDictionary *&opts);
296         int load_options(const char *options, AVDictionary *&opts);
297         static int load_options(const char *path, char *bfr, int len);
298         void set_loglevel(const char *ap);
299         static double to_secs(int64_t time, AVRational time_base);
300         int info(char *text, int len);
301
302         int init_decoder(const char *filename);
303         int open_decoder();
304         int init_encoder(const char *filename);
305         int open_encoder(const char *type, const char *spec);
306         int close_encoder();
307
308         int total_audio_channels();
309         int total_video_channels();
310
311         int audio_seek(int ch, int64_t pos);
312         int video_seek(int layer, int64_t pos);
313
314         int decode(int chn, int64_t pos, double *samples, int len);
315         int decode(int layer, int64_t pos, VFrame *frame);
316         int decode_activate();
317         int encode(int stream, double **samples, int len);
318         int encode(int stream, VFrame *frame);
319         int encode_activate();
320
321         FileBase *file_base;
322         AVFormatContext *fmt_ctx;
323         ArrayList<FFAudioStream*> ffaudio;
324         ArrayList<FFVideoStream*> ffvideo;
325         AVDictionary *opts;
326         double opt_duration;
327         char *opt_video_filter;
328         char *opt_audio_filter;
329         char file_format[BCTEXTLEN];
330         int fflags;
331
332         class ffidx {
333         public:
334                 uint16_t st_idx, st_ch;
335                 ffidx() { st_idx = st_ch = 0; }
336                 ffidx(const ffidx &t) { st_idx = t.st_idx;  st_ch = t.st_ch; }
337                 ffidx(uint16_t fidx, uint16_t ch) { st_idx = fidx; st_ch = ch; }
338         };
339
340         ArrayList<ffidx> astrm_index;
341         ArrayList<ffidx> vstrm_index;
342         int mux_audio(FFrame *frm);
343         int mux_video(FFrame *frm);
344         Condition *mux_lock;
345         Condition *flow_lock;
346         int done, flow;
347
348         void start_muxer();
349         void stop_muxer();
350         void flow_off();
351         void flow_on();
352         void flow_ctl();
353         void mux();
354         void run();
355
356         int decoding, encoding;
357         int has_audio, has_video;
358
359         FFMPEG(FileBase *file_base=0);
360         ~FFMPEG();
361         int scan(IndexState *index_state, int64_t *scan_position, int *canceled);
362
363         int ff_audio_stream(int channel) { return astrm_index[channel].st_idx; }
364         int ff_video_stream(int layer) { return vstrm_index[layer].st_idx; }
365
366         int ff_total_audio_channels();
367         int ff_total_astreams();
368         int ff_audio_channels(int stream);
369         int ff_sample_rate(int stream);
370         const char *ff_audio_format(int stream);
371         int ff_audio_pid(int stream);
372         int64_t ff_audio_samples(int stream);
373         int ff_audio_for_video(int vstream, int astream, int64_t &channels);
374
375         int ff_total_video_layers();
376         int ff_total_vstreams();
377         int ff_video_width(int stream);
378         int ff_video_height(int stream);
379         int ff_set_video_width(int stream, int width);
380         int ff_set_video_height(int stream, int height);
381         int ff_coded_width(int stream);
382         int ff_coded_height(int stream);
383         float ff_aspect_ratio(int stream);
384         double ff_frame_rate(int stream);
385         const char *ff_video_format(int stream);
386         int64_t ff_video_frames(int stream);
387         int ff_video_pid(int stream);
388         int ff_video_mpeg_color_range(int stream);
389
390         int ff_cpus();
391         void dump_context(AVCodecContext *ctx);
392 };
393
394 #endif /* FFMPEG_H */