Pues eso es lo que te pasa, cuando pruebes lollipop en tu Note 3 descubrirás como el lag se convierte en algo casi imperceptible... la optimización con android 5 es muy buena aunque mejor ponte una Rom bastante limpia. Yo por ejemplo llevo el Port del Note 4 posteado akí y estoy encantadísimo. Sin lag en galeria, ni en llamadas, todo va con una fluidez espectacular (para ser un samsung) y se nota lo que han trabajado para ofrecernos un sistema touchwiz mejorado. Aunque no es perfecto, yo además pongo el launcher nova prime y ya es la ostia. Te aconsejo probar una rom lollipop en el Note 3 (a mi tambien me sorprendió)
Lo unico malo del lollipop en el Note 3 es lo que tarda en abrir la galeria y la multitarea, lo que he solucionado instalando la rom del port del note 4, que por ser mas nuevo que el note 3, esta mucho mejor optimizado.
Un saludo