Если твой меч, сам по себе магический с бонусом +5 например, не вижу проблем чтобы после масла, его бонус на время стал +8. Магические эффекты одного и того же заклинания или же временные хиты не стакаются, а тут не думаю, что нельзя. Все же можно поговорить со своим ГМ и решить с ним, я как ГМ не вижу препятствий.

из того как написано
магический меч +5, обмазанный этой жижой, будет считаться магическим мечом +3

Нет, в ДнД пятой редакции максимальный бонус +3. Это философия "bounded accuracy". Всё что больше, уже ломает баланс боевых столкновений. Геймдизайнеры планировали монстрятник так, что соперников можно победить вообще без магических предметов.

Ну здрасьте, элементарное использование лука +2 и магических стрел +2 уже в сумме даст бонус к атаке +4 и правила особо тут не против. При желании можно бонус атаки за милишника спокойно разогнать до +15 а то и +20 и это на постоянной основе, в случае с лучником значения будут еще выше. Если постараться то при разовых бафах по типу бардовского вдохновения, "точной атаки" воина или боже упаси нового эпического дара на атаку там вообще безумные значения можно получить, и при таком раскладе аргументировать тем что дорогущий расходник который игрок хорошо если в одном бою за все время использует и который просто даст +3 к атаке это полом баланса и нарушение философии... ну такое себе

В официальных материалах нет ни одного оружия с бонусом больше +3, какая разница, что вы там разгоняете суммируя все бонусы речь о предметах. Данный предмет на 1 час преобразовывает немагическое оружие/боеприпас в магическое на +3.

Но видимо вас не смущает, что совместное использование лука +3 и стрел +3 суммарно даёт +6. И лично я не вижу причин, почему это масло не должно навешивать бонус +3 сверху всех имеющихся. Если бы была фраза "Это масло заменяет другие бонусы, которое предоставляет оружие" то тогда было бы другое дело, а так имеем что имеем.

Где вы увидели "немагическое"?

Кулаки наносят дробящий урон, а в описании сказано что он должен быть рубящим или колющим, так что нет. Однако, как я понимаю, можно нанести на какие-нибудь когти, если подобные дает раса