Если твой меч, сам по себе магический с бонусом +5 например, не вижу проблем чтобы после масла, его бонус на время стал +8. Магические эффекты одного и того же заклинания или же временные хиты не стакаются, а тут не думаю, что нельзя. Все же можно поговорить со своим ГМ и решить с ним, я как ГМ не вижу препятствий.

из того как написано
магический меч +5, обмазанный этой жижой, будет считаться магическим мечом +3

Нет, в ДнД пятой редакции максимальный бонус +3. Это философия "bounded accuracy". Всё что больше, уже ломает баланс боевых столкновений. Геймдизайнеры планировали монстрятник так, что соперников можно победить вообще без магических предметов.

Ну здрасьте, элементарное использование лука +2 и магических стрел +2 уже в сумме даст бонус к атаке +4 и правила особо тут не против. При желании можно бонус атаки за милишника спокойно разогнать до +15 а то и +20 и это на постоянной основе, в случае с лучником значения будут еще выше. Если постараться то при разовых бафах по типу бардовского вдохновения, "точной атаки" воина или боже упаси нового эпического дара на атаку там вообще безумные значения можно получить, и при таком раскладе аргументировать тем что дорогущий расходник который игрок хорошо если в одном бою за все время использует и который просто даст +3 к атаке это полом баланса и нарушение философии... ну такое себе

Кулаки наносят дробящий урон, а в описании сказано что он должен быть рубящим или колющим, так что нет. Однако, как я понимаю, можно нанести на какие-нибудь когти, если подобные дает раса