[Rust] cargo-fuzz: Fuzzing Test

#Rust

이전 포스트
https://blog.naver.com/sssang97/221718437043
fuzzing 테스트는 무작위의 값을 기반으로 테스트를 수행하는 것을 말한다.

cargo-fuzz는 libFuzzer와 llvm 수준 지원을 사용해서 fuzzing 테스트를 구현하는데, 현재 Windows에서는 지원되지 않는 것 같다. 리눅스와 MacOS에서 지원된다.

사전 조건

리눅스나 MacOS여야만 한다. Windows는 WSL를 써도 안된다.

nightly 버전이 필요하다.

rustup default nightly

그리고 C++11을 지원하는 컴파일러도 설치되어 있어야 한다.
보통은 g++이 되겠다.

sudo apt-get install g++

그리고 cli 도구를 설치한다.

cargo install cargo-fuzz

이렇게 실행이 되면 잘 깔린 것이다.

우선 cargo fuzz init으로 fuzz 구성을 초기화한다.

그럼 list로 조회가 가능해진 구성이 하나 생겼을 것이고

실제 디렉터리에도 생겨났을 것이다.

이제 저기에다가 테스트를 띄우면 된다.
단위테스트 짜듯이 실패하면 panic을 날리면 되는 것이다.

그리고 테스트 실행은 이렇게 할 수 있다. run 명령으로 fuzz 구성을 호출하면 된다.

그러면 계속해서 무작위 값을 쑤셔넣어서 테스트를 반복할 것인데, 아무것도 없으니 테스트는 다 통과될 것이다.

이제 테스트를 한번 작성해보자.
잘못된 로직을 가진 add 함수다.

그리고 저걸 아래와 같은 형태로 fuzz에 적합한 테스트를 적용해봤다. 교환법칙이 잘 적용되는지 확인하는 것이다.

저 fuzz_target의 파라미터에는 타입을 적당히 아무거나 넣어도 그 타입에 맞는 무작위 값을 알아서 넣어준다.

그리고 실행해보면

당연히 실패할 것이다.
어떤 입력값에서 실패했는지도 알려준다.

다시 수정해서 해보겠다.
이제는 될까?

안된다.
저 2개의 입력값을 더해보면, 오버플로가 발생하기 때문이다.

그래서 정말 안전하게 add를 구현하려면 아래와 같은 형태여야 할 것이다. checked_add를 사용하거나..

그러면 이제 패닉 없이 통과될 것이다.

이런 느낌으로 쓰면 된다.