Illegale visserij, gebrek aan data, bijvangsten en discards zijn de grootste problemen voor zwaardvissen. De soort wordt op veel plekken overbevist. Zwaardvissen zijn gevoelig voor visserijdruk, omdat ze vrij laat geslachtsrijp worden.
De bijvangst bij de beugvisserij (longline) op zwaardvis bestaat uit niet-doelsoorten, beschadigde vis, ondermaatse vis, tonijn, blauwe haai, vogels en zeezoogdieren. De overlevingskansen bij het teruggooien zijn klein. Het gebruik van drijfnetten is verboden in de Middellandse Zee vanwege de impact die deze visserijmethode heeft op haaien, zeeschildpadden, zeevogels en zeezoogdieren. Sommige landen blijven deze vangstmethode echter gebruiken, waardoor de IUU (illegal, unreported and unregulated) visserij in dit gebied hoog is.
Het beheerplan is niet effectief. De visserij wordt in sommige gebieden gereguleerd met quota en een minimum aanlandingsmaat. De vangstlimiet zorgt ervoor dat er een aanzienlijke hoeveelheid zwaardvissen teruggegooid worden. In het Middellandse Zeegebied gelden op nationaal niveau gesloten gebieden, minimummaten en regels voor visserij-inspanning. Illegale visserij, gebrek aan data, bijvangsten en discards zijn het grootste problemen.