merge: leaks, nested seq segv, ffmpeg avi frames
[goodguy/history.git] / cinelerra-5.1 / cinelerra / ffmpeg.h
1 #ifndef FFMPEG_H
2 #define FFMPEG_H
3
4 #include <stdio.h>
5 #include <stdint.h>
6 #include <stdlib.h>
7 #include <unistd.h>
8 #include <string.h>
9
10 #include "arraylist.h"
11 #include "asset.inc"
12 #include "bccmodels.h"
13 #include "bcwindowbase.inc"
14 #include "condition.h"
15 #include "cstrdup.h"
16 #include "linklist.h"
17 #include "ffmpeg.inc"
18 #include "filebase.inc"
19 #include "fileffmpeg.inc"
20 #include "indexstate.inc"
21 #include "mutex.h"
22 #include "thread.h"
23 #include "vframe.inc"
24
25 extern "C" {
26 #include "libavformat/avformat.h"
27 #include "libavformat/avio.h"
28 #include "libavcodec/avcodec.h"
29 #include "libavfilter/avfilter.h"
30 #include "libavutil/avutil.h"
31 #include "libavfilter/buffersrc.h"
32 #include "libavfilter/buffersink.h"
33 #include "libavutil/imgutils.h"
34 #include "libavutil/opt.h"
35 #include "libavutil/pixdesc.h"
36 #include "libswresample/swresample.h"
37 #include "libswscale/swscale.h"
38 }
39
40 class FFPacket  {
41         AVPacket pkt;
42 public:
43         FFPacket();
44         ~FFPacket();
45         void init();
46         operator AVPacket*() { return &pkt; }
47         operator AVPacket&() { return pkt; }
48         AVPacket *operator ->() { return &pkt; }
49 };
50
51 class FFrame : public ListItem<FFrame> {
52         AVFrame *frm;
53         int init;
54 public:
55         int64_t position;
56         FFStream *fst;
57
58         FFrame(FFStream *fst);
59         ~FFrame();
60
61         operator AVFrame*() { return frm; }
62         operator AVFrame&() { return *frm; }
63         AVFrame *operator ->() { return frm; }
64
65         int initted() { return init; }
66         void queue(int64_t pos);
67         void dequeue();
68 };
69
70 class FFStream {
71 public:
72         FFStream(FFMPEG *ffmpeg, AVStream *st, int fidx);
73         ~FFStream();
74         static void ff_lock(const char *cp=0);
75         static void ff_unlock();
76         void queue(FFrame *frm);
77         void dequeue(FFrame *frm);
78
79         virtual int encode_activate();
80         virtual int decode_activate();
81         int read_packet();
82         int seek(int64_t no, double rate);
83         int write_packet(FFPacket &pkt);
84         int flush();
85         int decode(AVFrame *frame);
86         void load_markers(IndexMarks &marks, double rate);
87
88         virtual int is_audio() = 0;
89         virtual int is_video() = 0;
90         virtual int decode_frame(AVPacket *pkt, AVFrame *frame, int &got_frame) = 0;
91         virtual int encode_frame(AVPacket *pkt, AVFrame *frame, int &got_frame) = 0;
92         virtual int init_frame(AVFrame *frame) = 0;
93         virtual int create_filter(const char *filter_spec,
94                 AVCodecContext *src_ctx, AVCodecContext *sink_ctx) = 0;
95         virtual void load_markers() = 0;
96         int create_filter(const char *filter_spec);
97         int load_filter(AVFrame *frame);
98         int read_filter(AVFrame *frame);
99         int read_frame(AVFrame *frame);
100
101         FFMPEG *ffmpeg;
102         AVStream *st;
103         AVFormatContext *fmt_ctx;
104
105         AVFilterContext *buffersink_ctx;
106         AVFilterContext *buffersrc_ctx;
107         AVFilterGraph *filter_graph;
108         AVFrame *frame, *fframe;
109
110         class BSFilter {
111         public:
112                 AVBitStreamFilterContext *bsfc;
113                 const char *args;
114                 BSFilter(const char *bsf, const char *ap) {
115                         bsfc = av_bitstream_filter_init(bsf);
116                         args = ap ? cstrdup(ap) : 0;
117                 }
118                 ~BSFilter() {
119                         av_bitstream_filter_close(bsfc);
120                         delete [] args;
121                 }
122         };
123         void add_bsfilter(const char *bsf, const char *ap);
124         ArrayList<BSFilter *> bsfilter;
125         int bs_filter(AVPacket *pkt);
126
127         FFPacket ipkt;
128         int need_packet, flushed;
129
130         int frm_count;
131         List<FFrame> frms;
132         Mutex *frm_lock;
133         IndexMarks *index_markers;
134
135         int64_t nudge;
136         int64_t seek_pos, curr_pos;
137         int fidx;
138         int reading, writing;
139         int seeked, eof;
140
141         int st_eof() { return eof; }
142         void st_eof(int v) { eof = v; }
143 };
144
145 class FFAudioStream : public FFStream {
146         float *inp, *outp, *bfr, *lmt;
147         int64_t hpos, sz;
148         int nch;
149
150         int read(float *fp, long len);
151         void realloc(long nsz, int nch, long len);
152         void realloc(long nsz, int nch);
153         void reserve(long nsz, int nch);
154         long used();
155         long avail();
156         void iseek(int64_t ofs);
157         float *get_outp(int len);
158         int64_t put_inp(int len);
159         int write(const float *fp, long len);
160         int zero(long len);
161         int write(const double *dp, long len, int ch);
162 public:
163         FFAudioStream(FFMPEG *ffmpeg, AVStream *strm, int idx, int fidx);
164         virtual ~FFAudioStream();
165         int is_audio() { return 1; }
166         int is_video() { return 0; }
167         int get_samples(float *&samples, uint8_t **data, int len);
168         int load_history(uint8_t **data, int len);
169         int decode_frame(AVPacket *pkt, AVFrame *frame, int &got_frame);
170         int encode_frame(AVPacket *pkt, AVFrame *frame, int &got_frame);
171         int create_filter(const char *filter_spec,
172                 AVCodecContext *src_ctx, AVCodecContext *sink_ctx);
173         void load_markers();
174
175         int encode_activate();
176         int nb_samples();
177         int64_t load_buffer(double ** const sp, int len);
178         int in_history(int64_t pos);
179         void reset_history();
180         int read(double *dp, long len, int ch);
181
182         int init_frame(AVFrame *frame);
183         int load(int64_t pos, int len);
184         int audio_seek(int64_t pos);
185         int encode(double **samples, int len);
186
187         int idx;
188         int channel0, channels;
189         int sample_rate;
190         int mbsz, frame_sz;
191         int64_t length;
192
193         SwrContext *resample_context;
194         int aud_bfr_sz;
195         float *aud_bfr;
196 };
197
198
199 class FFVideoConvert {
200 public:
201         struct SwsContext *convert_ctx;
202
203         FFVideoConvert() { convert_ctx = 0; }
204         ~FFVideoConvert() { if( convert_ctx ) sws_freeContext(convert_ctx); }
205
206         static AVPixelFormat color_model_to_pix_fmt(int color_model);
207         static int pix_fmt_to_color_model(AVPixelFormat pix_fmt);
208
209         int convert_picture_vframe(VFrame *frame,
210                 AVFrame *ip, AVPixelFormat ifmt, int iw, int ih);
211         int convert_cmodel(VFrame *frame_out,
212                 AVFrame *ip, AVPixelFormat ifmt, int iw, int ih);
213         int transfer_cmodel(VFrame *frame_in,  //defaults->metadata
214                 AVFrame *ifp, AVPixelFormat ifmt, int iw, int ih);
215         int convert_vframe_picture(VFrame *frame,
216                 AVFrame *op, AVPixelFormat ofmt, int ow, int oh);
217         int convert_pixfmt(VFrame *frame_in,
218                  AVFrame *op, AVPixelFormat ofmt, int ow, int oh);
219         int transfer_pixfmt(VFrame *frame_in,  //metadata->defaults
220                  AVFrame *ofp, AVPixelFormat ofmt, int ow, int oh);
221 };
222
223 class FFVideoStream : public FFStream, public FFVideoConvert {
224 public:
225         FFVideoStream(FFMPEG *ffmpeg, AVStream *strm, int idx, int fidx);
226         virtual ~FFVideoStream();
227         int is_audio() { return 0; }
228         int is_video() { return 1; }
229         int decode_frame(AVPacket *pkt, AVFrame *frame, int &got_frame);
230         int encode_frame(AVPacket *pkt, AVFrame *frame, int &got_frame);
231         int create_filter(const char *filter_spec,
232                 AVCodecContext *src_ctx, AVCodecContext *sink_ctx);
233         void load_markers();
234
235         int init_frame(AVFrame *picture);
236         int load(VFrame *vframe, int64_t pos);
237         int video_seek(int64_t pos);
238         int encode(VFrame *vframe);
239
240         int idx;
241         double frame_rate;
242         int width, height;
243         int64_t length;
244         float aspect_ratio;
245
246         uint8_t *pkt_bfr;
247         int pkt_bfr_sz;
248         int64_t start_pts;
249 };
250
251 class FFMPEG : public Thread {
252 public:
253         static Mutex fflock;
254         static void ff_lock(const char *cp=0) { fflock.lock(cp); }
255         static void ff_unlock() { fflock.unlock(); }
256
257         int check_sample_rate(AVCodec *codec, int sample_rate);
258         AVRational check_frame_rate(AVCodec *codec, double frame_rate);
259         AVRational to_sample_aspect_ratio(Asset *asset);
260         AVRational to_time_base(int sample_rate);
261
262         static void set_option_path(char *path, const char *fmt, ...);
263         static void get_option_path(char *path, const char *type, const char *spec);
264         static int get_format(char *format, const char *path, char *spec);
265         static int scan_option_line(char *cp,char *tag,char *val);
266         static int load_defaults(const char *path, const char *type,
267                  char *codec, char *codec_options, int len);
268         static void set_asset_format(Asset *asset, const char *text);
269         int get_file_format();
270         int get_encoder(const char *options,
271                 char *format, char *codec, char *bsfilter, char *bsargs);
272         int get_encoder(FILE *fp,
273                 char *format, char *codec, char *bsfilter, char *bsargs);
274         int read_options(const char *options, AVDictionary *&opts);
275         int scan_options(const char *options, AVDictionary *&opts, AVStream *st);
276         int read_options(FILE *fp, const char *options, AVDictionary *&opts);
277         int load_options(const char *options, AVDictionary *&opts);
278         static int load_options(const char *path, char *bfr, int len);
279         void set_loglevel(const char *ap);
280         static double to_secs(int64_t time, AVRational time_base);
281         int info(char *text, int len);
282
283         int init_decoder(const char *filename);
284         int open_decoder();
285         int init_encoder(const char *filename);
286         int open_encoder(const char *type, const char *spec);
287         int close_encoder();
288
289         int total_audio_channels();
290         int total_video_channels();
291
292         int audio_seek(int ch, int64_t pos);
293         int video_seek(int layer, int64_t pos);
294
295         int decode(int chn, int64_t pos, double *samples, int len);
296         int decode(int layer, int64_t pos, VFrame *frame);
297         int decode_activate();
298         int encode(int stream, double **samples, int len);
299         int encode(int stream, VFrame *frame);
300         int encode_activate();
301
302         FileBase *file_base;
303         AVFormatContext *fmt_ctx;
304         ArrayList<FFAudioStream*> ffaudio;
305         ArrayList<FFVideoStream*> ffvideo;
306         AVDictionary *opts;
307         double opt_duration;
308         char *opt_video_filter;
309         char *opt_audio_filter;
310         char file_format[BCTEXTLEN];
311
312         class ffidx {
313         public:
314                 uint16_t st_idx, st_ch;
315                 ffidx() { st_idx = st_ch = 0; }
316                 ffidx(const ffidx &t) { st_idx = t.st_idx;  st_ch = t.st_ch; }
317                 ffidx(uint16_t fidx, uint16_t ch) { st_idx = fidx; st_ch = ch; }
318         };
319
320         ArrayList<ffidx> astrm_index;
321         ArrayList<ffidx> vstrm_index;
322         int mux_audio(FFrame *frm);
323         int mux_video(FFrame *frm);
324         Condition *mux_lock;
325         Condition *flow_lock;
326         int done, flow;
327         
328         void start_muxer();
329         void stop_muxer();
330         void flow_off();
331         void flow_on();
332         void flow_ctl();
333         void mux();
334         void run();
335
336         int decoding, encoding;
337         int has_audio, has_video;
338
339         FFMPEG(FileBase *file_base=0);
340         ~FFMPEG();
341         int scan(IndexState *index_state, int64_t *scan_position, int *canceled);
342
343         int ff_audio_stream(int channel) { return astrm_index[channel].st_idx; }
344         int ff_video_stream(int layer) { return vstrm_index[layer].st_idx; }
345
346         int ff_total_audio_channels();
347         int ff_total_astreams();
348         int ff_audio_channels(int stream);
349         int ff_sample_rate(int stream);
350         const char *ff_audio_format(int stream);
351         int ff_audio_pid(int stream);
352         int64_t ff_audio_samples(int stream);
353         int ff_audio_for_video(int vstream, int astream, int64_t &channels);
354
355         int ff_total_video_layers();
356         int ff_total_vstreams();
357         int ff_video_width(int stream);
358         int ff_video_height(int stream);
359         int ff_set_video_width(int stream, int width);
360         int ff_set_video_height(int stream, int height);
361         int ff_coded_width(int stream);
362         int ff_coded_height(int stream);
363         float ff_aspect_ratio(int stream);
364         double ff_frame_rate(int stream);
365         const char *ff_video_format(int stream);
366         int64_t ff_video_frames(int stream);
367         int ff_video_pid(int stream);
368
369         int ff_cpus();
370         void dump_context(AVCodecContext *ctx);
371 };
372
373 #endif /* FFMPEG_H */