我想知道如何在不使用虚拟环境的情况下测试恶意软件文件。

查看以下类似问题的答案：
在真实环境（非虚拟环境）中分析恶意软件

TL;DR：例如，查看Faronics Depp Freeze。
我建议阅读整个答案。

此外，请阅读以下有关 Security.SE 的问题的答案：
我能否通过使用 Deep Freeze 冰点获得 100% 的病毒防护？

我可以使用我的主机系统来测试恶意软件文件吗？

这是极不推荐的。除非这是一台专用于运行恶意软件样本的物理机器，并且您有办法恢复机器的原始状态。

一些恶意软件会检测环境并且无法正常工作。

阅读有关反反规避技术以及如何针对 VM 感知恶意软件样本强化虚拟机器的信息，网上有大量文章。

例如：
使 Virtualbox 几乎无法检测到
强化 Cuckoo Sandbox 对抗 VM 感知恶意软件

使用 KVM。大多数情况下，恶意软件会尝试检测基于 VMWare 和 Virtualbox 的工件。