cinelerra-5.1/plugins/findobj/findobj.h

   1
   2 /*
   3  * CINELERRA
   4  * Copyright (C) 1997-2012 Adam Williams <broadcast at earthling dot net>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  *
  20  */
  21
  22
  23
  24 // This is mainly a test for object tracking
  25
  26
  27
  28
  29 #ifndef FINDOBJ_H
  30 #define FINDOBJ_H
  31
  32 //#include "config.h"
  33
  34 #include <math.h>
  35 #include <stdint.h>
  36 #include <string.h>
  37
  38 #include "affine.inc"
  39 #include "bccmodels.h"
  40 #include "bchash.inc"
  41 #include "filexml.inc"
  42 #include "keyframe.inc"
  43 #include "findobj.inc"
  44 #include "overlayframe.inc"
  45 #include "pluginvclient.h"
  46 #include "track.inc"
  47 #include "vframe.inc"
  48
  49 #define Mutex CvMutex
  50 #include "opencv2/core/types.hpp"
  51 #include "opencv2/core/mat.hpp"
  52 #include "opencv2/imgproc/imgproc.hpp"
  53 #include "opencv2/xfeatures2d.hpp"
  54 #include "opencv2/calib3d.hpp"
  55 #include "opencv2/flann/defines.h"
  56 #include "opencv2/flann/params.h"
  57 #undef Mutex
  58
  59 #include <vector>
  60
  61 using namespace std;
  62 using namespace cv;
  63 using namespace cv::xfeatures2d;
  64 using namespace cvflann;
  65
  66 // enabled detectors
  67 // _SIFT/_SURF are broken in v4, although they work in v3, no upgrade
  68 //#define _SIFT
  69 //#define _SURF
  70 #define _ORB
  71 #define _AKAZE
  72 #define _BRISK
  73
  74 // Limits of global range in percent
  75 #define MIN_RADIUS 1
  76 #define MAX_RADIUS 200
  77
  78 // Limits of block size in percent.
  79 #define MIN_BLOCK 1
  80 #define MAX_BLOCK 100
  81
  82 #define MIN_LAYER 0
  83 #define MAX_LAYER 255
  84
  85 #define MIN_BLEND 1
  86 #define MAX_BLEND 100
  87
  88 #define NO_ALGORITHM   -1
  89 #define ALGORITHM_SIFT  1
  90 #define ALGORITHM_SURF  2
  91 #define ALGORITHM_ORB   3
  92 #define ALGORITHM_AKAZE 4
  93 #define ALGORITHM_BRISK 5
  94
  95 #define MODE_NONE          -1
  96 #define MODE_SQUARE         0
  97 #define MODE_RHOMBUS        1
  98 #define MODE_RECTANGLE      2
  99 #define MODE_PARALLELOGRAM  3
 100 #define MODE_QUADRILATERAL  4
 101 #define MODE_MAX            5
 102
 103 class FindObjConfig
 104 {
 105 public:
 106         FindObjConfig();
 107
 108         void reset();
 109         int equivalent(FindObjConfig &that);
 110         void copy_from(FindObjConfig &that);
 111         void interpolate(FindObjConfig &prev, FindObjConfig &next,
 112                 int64_t prev_frame, int64_t next_frame, int64_t current_frame);
 113         void boundaries();
 114
 115         int algorithm, use_flann, mode;
 116         int drag_object, drag_scene, drag_replace;
 117         float object_x, object_y, object_w, object_h;
 118         float scene_x, scene_y, scene_w, scene_h;
 119         float replace_x, replace_y, replace_w, replace_h;
 120         float replace_dx, replace_dy;
 121
 122         int aspect, scale, translate, rotate;
 123         int draw_keypoints, draw_match;
 124         int draw_scene_border;
 125         int replace_object;
 126         int draw_object_border;
 127         int draw_replace_border;
 128
 129         int object_layer;
 130         int replace_layer;
 131         int scene_layer;
 132         int blend;
 133 };
 134
 135 class FindObjMain : public PluginVClient
 136 {
 137 public:
 138         FindObjMain(PluginServer *server);
 139         ~FindObjMain();
 140
 141         int process_buffer(VFrame **frame, int64_t start_position, double frame_rate);
 142 #ifdef _SIFT
 143         void set_sift();
 144 #endif
 145 #ifdef _SURF
 146         void set_surf();
 147 #endif
 148 #ifdef _ORB
 149         void set_orb();
 150 #endif
 151 #ifdef _AKAZE
 152         void set_akaze();
 153 #endif
 154 #ifdef _BRISK
 155         void set_brisk();
 156 #endif
 157         void process_match();
 158         void reshape();
 159
 160         void draw_vectors(VFrame *frame);
 161         int is_multichannel();
 162         int is_realtime();
 163         void save_data(KeyFrame *keyframe);
 164         void read_data(KeyFrame *keyframe);
 165         void update_gui();
 166         Track *get_plugin_track();
 167
 168         PLUGIN_CLASS_MEMBERS2(FindObjConfig)
 169
 170         AffineEngine *affine;
 171         OverlayFrame *overlayer;
 172         VFrame *object, *scene, *replace;
 173
 174         static void draw_point(VFrame *vframe,int x1, int y1);
 175         static void draw_line(VFrame *vframe, int x1, int y1, int x2, int y2);
 176         static void draw_quad(VFrame *vframe,
 177                         int x1, int y1, int x2, int y2,
 178                         int x3, int y3, int x4, int y4);
 179         static void draw_rect(VFrame *vframe, int x1, int y1, int x2, int y2);
 180         static void draw_circle(VFrame *vframe, int x, int y, int r);
 181
 182         float object_x, object_y, object_w, object_h;
 183         float scene_x, scene_y, scene_w, scene_h;
 184         float replace_x, replace_y, replace_w, replace_h;
 185         float replace_dx, replace_dy;
 186
 187         int w, h;
 188         int object_layer;
 189         int scene_layer;
 190         int replace_layer;
 191
 192 // Latest coordinates of match / shape / object in scene
 193         float match_x1, match_y1, shape_x1, shape_y1, out_x1, out_y1;
 194         float match_x2, match_y2, shape_x2, shape_y2, out_x2, out_y2;
 195         float match_x3, match_y3, shape_x3, shape_y3, out_x3, out_y3;
 196         float match_x4, match_y4, shape_x4, shape_y4, out_x4, out_y4;
 197 // Coordinates of object in scene with blending
 198         int init_border;
 199
 200 //opencv
 201         typedef vector<DMatch> DMatchV;
 202         typedef vector<DMatchV> DMatches;
 203         typedef vector<KeyPoint> KeyPointV;
 204         typedef vector<Point2f> ptV;
 205
 206         BC_CModel cvmodel;
 207         Mat object_mat, scene_mat;
 208         Mat obj_descrs;  KeyPointV obj_keypts;
 209         Mat scn_descrs;  KeyPointV scn_keypts;
 210         DMatches pairs;
 211
 212         static void to_mat(Mat &mat, int mcols, int mrows,
 213                 VFrame *inp, int ix,int iy, BC_CModel mcolor_model);
 214         void detect(Mat &mat, KeyPointV &keypts, Mat &descrs);
 215         void match();
 216         void filter_matches(ptV &p1, ptV &p2, double ratio=0.75);
 217
 218         Ptr<Feature2D> detector;
 219         Ptr<DescriptorMatcher> matcher;
 220         Ptr<DescriptorMatcher> flann_kdtree_matcher();
 221         Ptr<DescriptorMatcher> flann_lshidx_matcher();
 222         Ptr<DescriptorMatcher> bf_matcher_norm_l2();
 223         Ptr<DescriptorMatcher> bf_matcher_norm_hamming();
 224 };
 225
 226 #endif