根据中国刑法的相关规定，刑事缓刑是一种法律程序，旨在减轻或暂缓对犯罪分子的刑事处罚。刑事缓刑单位是对犯罪分子进行监督和管理，并帮助其重新融入社会的机构。针对刑事缓刑单位是否可以开除犯罪分子的问题，需要结合相关法律规定及程序进行分析。

根据《中华人民共和国刑法》第七十三条的规定，犯罪分子在缓刑考验期内有故意犯罪行为、在缓刑考验期内有根本不改悔的情形或者在缓刑考验期内对社会危害很大的情形，可以撤销缓刑，并执行原判刑罚。这说明在刑事缓刑考验期内，如果犯罪分子有严重违法行为或危害社会行为，法律是允许撤销缓刑并执行原判刑罚的。

根据《刑事诉讼法》第八十四条的规定，犯罪分子在缓刑考验期内有严重违法行为的，应当根据《刑法》规定撤销缓刑。《刑事诉讼法》第一百零三条也规定了撤销缓刑的程序，包括相关机关调查核实、听取犯罪分子及其辩护人的意见等程序。

刑事缓刑单位对于犯罪分子可以采取开除的措施。如果犯罪分子在缓刑考验期内有严重违法行为、根本不改悔或对社会危害很大，根据相关法律规定，刑事缓刑单位可以对其开除，并执行原判刑罚。此过程需符合《刑事诉讼法》规定的程序，确保合法权益的保护。