diff --git a/libavcodec/mpegvideo.c b/libavcodec/mpegvideo.c
index f2618f5b7b..129e0ef647 100644
--- a/libavcodec/mpegvideo.c
+++ b/libavcodec/mpegvideo.c
@@ -835,7 +835,7 @@ static int init_context_frame(MpegEncContext *s)
         return AVERROR(ENOMEM);
     memset(s->mbintra_table, 1, mb_array_size);
 
-    return ff_mpeg_er_init(s);
+    return s->encoding ? 0 : ff_mpeg_er_init(s);
 }
 
 static void clear_context(MpegEncContext *s)