ควบคุมวิธีการรันเทสต์
เช่นเดียวกับที่คำสั่ง cargo run จะคอมไพล์โค้ดของคุณแล้วสั่งรันไฟล์ไบนารีผลลัพธ์ คำสั่ง cargo test ก็จะคอมไพล์โค้ดของคุณในโหมดทดสอบ (test mode) แล้วสั่งรันไฟล์ไบนารีสำหรับการทดสอบผลลัพธ์เช่นกัน โดยพฤติกรรมเริ่มต้นของไบนารีที่ cargo test สร้างขึ้นคือจะรันเทสต์ทั้งหมดแบบคู่ขนาน (parallel) และจะดักจับ (capture) เอาต์พุตทั้งหมดที่เกิดขึ้นในระหว่างการรันเทสต์เอาไว้ ไม่ให้แสดงออกมาในเทอร์มินัล เพื่อให้อ่านผลลัพธ์สรุปของเทสต์ได้ง่ายและเป็นระเบียบ อย่างไรก็ดี คุณสามารถระบุตัวเลือกผ่านคอมมานด์ไลน์เพื่อปรับเปลี่ยนพฤติกรรมเริ่มต้นนี้ได้ตามต้องการ
ตัวเลือกคอมมานด์ไลน์บางตัวจะถูกส่งไปยังคำสั่ง cargo test โดยตรง ในขณะที่บางตัวจะถูกส่งต่อไปยังไบนารีทดสอบ ในการแยกอาร์กิวเมนต์ทั้งสองประเภทนี้ออกจากกัน คุณจะต้องระบุอาร์กิวเมนต์ที่ส่งให้ cargo test ก่อน ตามด้วยตัวคั่น -- แล้วจึงตามด้วยตัวเลือกที่จะส่งต่อไปยังไบนารีทดสอบ การสั่งรัน cargo test --help จะแสดงตัวเลือกที่คุณสามารถใช้กับ cargo test ได้ และการรัน cargo test -- --help จะแสดงตัวเลือกที่คุณสามารถระบุต่อท้ายตัวคั่นได้ ตัวเลือกเหล่านี้ยังมีเอกสารอธิบายไว้อย่างละเอียดใน หัวข้อ “Tests” ของหนังสือ The rustc Book
การรันเทสต์แบบขนานหรือแบบทีละตัว
เมื่อคุณสั่งรันเทสต์หลายๆ ตัว โดยค่าเริ่มต้นพวกมันจะถูกรันแบบคู่ขนาน (parallel) ผ่านเธรด (threads) ซึ่งช่วยให้การรันทดสอบเสร็จสิ้นอย่างรวดเร็วและคุณได้รับผลตอบรับทันท่วงที ทว่าเนื่องจากเทสต์ต่างๆ ทำงานพร้อมกัน คุณจึงต้องมั่นใจว่าชุดทดสอบของคุณไม่มีการพึ่งพาซึ่งกันและกัน หรือพึ่งพาสถานะที่ใช้ร่วมกัน (shared state) ใดๆ รวมถึงสภาพแวดล้อมส่วนกลาง เช่น ไดเรกทอรีทำงานปัจจุบันหรือตัวแปรสภาพแวดล้อม (environment variables)
ตัวอย่างเช่น สมมติว่าเทสต์แต่ละตัวของคุณรันโค้ดที่สร้างไฟล์บนดิสก์ชื่อ test-output.txt แล้วเขียนข้อมูลบางอย่างลงไป จากนั้นเทสต์แต่ละตัวจะอ่านข้อมูลจากไฟล์นั้นขึ้นมาตรวจสอบยืนยันค่า ซึ่งแต่ละเทสต์ก็คาดหวังค่าที่แตกต่างกันออกไป เมื่อเทสต์เหล่านี้รันพร้อมกัน เทสต์ตัวหนึ่งอาจเข้าไปเขียนทับไฟล์ในช่วงจังหวะเวลาระหว่างที่อีกเทสต์หนึ่งกำลังเขียนและเตรียมอ่านไฟล์ ส่งผลให้เทสต์ตัวที่สองเกิดล้มเหลวขึ้นมา ซึ่งไม่ได้เป็นเพราะโค้ดมีข้อผิดพลาด แต่เป็นเพราะเทสต์รบกวนการทำงานซึ่งกันและกันขณะรันแบบขนาน วิธีแก้ปัญหาประการหนึ่งคือการทำให้มั่นใจว่าแต่ละเทสต์จะเขียนข้อมูลลงในไฟล์ที่ต่างกัน หรืออีกวิธีหนึ่งคือการสั่งให้เทสต์ทำงานทีละตัวตามลำดับ
หากคุณไม่ต้องการให้เทสต์ทำงานแบบขนาน หรือต้องการควบคุมจำนวนเธรดที่ใช้งานอย่างเจาะจง คุณสามารถส่งแฟล็ก --test-threads พร้อมระบุจำนวนเธรดที่ต้องการไปยังไบนารีทดสอบได้ ดังตัวอย่างต่อไปนี้:
$ cargo test -- --test-threads=1
เรากำหนดจำนวนเธรดทดสอบเป็น 1 เพื่อบอกให้โปรแกรมไม่ต้องใช้การทำงานแบบขนาน แม้ว่าการรันเทสต์ด้วยเธรดเดียวจะใช้เวลานานกว่าการรันแบบขนาน แต่ก็ช่วยให้มั่นใจได้ว่าเทสต์จะไม่รบกวนกันเองหากจำเป็นต้องใช้สถานะร่วมกัน
การแสดงเอาต์พุตของฟังก์ชัน
โดยค่าเริ่มต้น หากเทสต์นั้นผ่าน ไลบรารีการทดสอบของ Rust จะดักจับ (capture) ทุกข้อความที่พิมพ์ออกสู่เอาต์พุตมาตรฐาน (standard output) เอาไว้ ตัวอย่างเช่น หากเราเรียกใช้คำสั่ง println! ภายในเทสต์แล้วเทสต์นั้นผ่าน เราจะไม่เห็นข้อความของ println! ในเทอร์มินัลเลย โดยจะเห็นเพียงบรรทัดที่รายงานว่าเทสต์ผ่านเท่านั้น แต่หากเทสต์ล้มเหลว ข้อความทั้งหมดที่พิมพ์ออกทางเอาต์พุตมาตรฐานจะแสดงออกมาให้เห็นร่วมกับข้อความแจ้งความล้มเหลว
ตัวอย่างเช่น ในลิสติ้ง 11-10 มีฟังก์ชันสมมติที่พิมพ์ค่าของพารามิเตอร์ออกมาและส่งคืนค่า 10 พร้อมทั้งมีเทสต์ที่ผ่านและเทสต์ที่ล้มเหลวอย่างละหนึ่งตัว
fn prints_and_returns_10(a: i32) -> i32 {
println!("I got the value {a}");
10
}
#[cfg(test)]
mod tests {
use super::*;
#[test]
fn this_test_will_pass() {
let value = prints_and_returns_10(4);
assert_eq!(value, 10);
}
#[test]
fn this_test_will_fail() {
let value = prints_and_returns_10(8);
assert_eq!(value, 5);
}
}
เมื่อเรารันเทสต์เหล่านี้ด้วย cargo test เราจะเห็นเอาต์พุตดังนี้:
$ cargo test
Compiling silly-function v0.1.0 (file:///projects/silly-function)
Finished `test` profile [unoptimized + debuginfo] target(s) in 0.58s
Running unittests src/lib.rs (target/debug/deps/silly_function-160869f38cff9166)
running 2 tests
test tests::this_test_will_fail ... FAILED
test tests::this_test_will_pass ... ok
failures:
---- tests::this_test_will_fail stdout ----
I got the value 8
thread 'tests::this_test_will_fail' (6019863) panicked at src/lib.rs:19:9:
assertion `left == right` failed
left: 10
right: 5
note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace
failures:
tests::this_test_will_fail
test result: FAILED. 1 passed; 1 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.00s
error: test failed, to rerun pass `--lib`
โปรดสังเกตว่าในเอาต์พุตนี้ เราจะไม่พบข้อความ I got the value 4 ซึ่งเป็นข้อความที่ถูกพิมพ์ในขณะที่เทสต์ที่ผ่านกำลังทำงาน เนื่องจากเอาต์พุตนั้นถูกดักจับเอาไว้ ส่วนข้อความจากเทสต์ที่ล้มเหลวคือ I got the value 8 จะปรากฏอยู่ในส่วนสรุปของเอาต์พุต ซึ่งแสดงสาเหตุความล้มเหลวของเทสต์นั้นด้วย
หากเราต้องการดูข้อความที่พิมพ์ออกมาจากเทสต์ที่ผ่านด้วย เราสามารถบอกให้ Rust แสดงเอาต์พุตของเทสต์ที่สำเร็จออกมาได้ โดยใช้แฟล็ก --show-output:
$ cargo test -- --show-output
เมื่อเรารันเทสต์ในลิสติ้ง 11-10 อีกครั้งพร้อมกับแฟล็ก --show-output เราจะเห็นผลลัพธ์ดังนี้:
$ cargo test -- --show-output
Compiling silly-function v0.1.0 (file:///projects/silly-function)
Finished `test` profile [unoptimized + debuginfo] target(s) in 0.60s
Running unittests src/lib.rs (target/debug/deps/silly_function-160869f38cff9166)
running 2 tests
test tests::this_test_will_fail ... FAILED
test tests::this_test_will_pass ... ok
successes:
---- tests::this_test_will_pass stdout ----
I got the value 4
successes:
tests::this_test_will_pass
failures:
---- tests::this_test_will_fail stdout ----
I got the value 8
thread 'tests::this_test_will_fail' (6022313) panicked at src/lib.rs:19:9:
assertion `left == right` failed
left: 10
right: 5
note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace
failures:
tests::this_test_will_fail
test result: FAILED. 1 passed; 1 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.00s
error: test failed, to rerun pass `--lib`
การรันเทสต์บางส่วนตามชื่อ
การรันชุดทดสอบทั้งหมดในบางครั้งอาจใช้เวลานาน หากคุณกำลังพัฒนาหรือแก้ไขโค้ดเฉพาะจุดใดจุดหนึ่ง คุณอาจต้องการรันเฉพาะเทสต์ที่เกี่ยวข้องกับโค้ดส่วนนั้นเท่านั้น คุณสามารถเลือกสั่งรันเฉพาะเทสต์ที่ต้องการได้ โดยส่งชื่อของฟังก์ชันเทสต์เป็นอาร์กิวเมนต์ให้กับคำสั่ง cargo test
เพื่อสาธิตวิธีการรันเทสต์เพียงบางส่วน ก่อนอื่นเราจะสร้างเทสต์ขึ้นมา 3 ตัวสำหรับฟังก์ชัน add_two ดังที่แสดงในลิสติ้ง 11-11 แล้วลองเลือกสั่งรันเฉพาะบางตัว
pub fn add_two(a: u64) -> u64 {
a + 2
}
#[cfg(test)]
mod tests {
use super::*;
#[test]
fn add_two_and_two() {
let result = add_two(2);
assert_eq!(result, 4);
}
#[test]
fn add_three_and_two() {
let result = add_two(3);
assert_eq!(result, 5);
}
#[test]
fn one_hundred() {
let result = add_two(100);
assert_eq!(result, 102);
}
}
หากเราสั่งรันเทสต์โดยไม่ส่งอาร์กิวเมนต์ใดๆ เทสต์ทั้งหมดจะถูกรันแบบคู่ขนานตามที่เราเคยเห็นมาก่อน:
$ cargo test
Compiling adder v0.1.0 (file:///projects/adder)
Finished `test` profile [unoptimized + debuginfo] target(s) in 0.62s
Running unittests src/lib.rs (target/debug/deps/adder-92948b65e88960b4)
running 3 tests
test tests::add_three_and_two ... ok
test tests::add_two_and_two ... ok
test tests::one_hundred ... ok
test result: ok. 3 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.00s
Doc-tests adder
running 0 tests
test result: ok. 0 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.00s
การรันเทสต์เดี่ยว
เราสามารถส่งชื่อของฟังก์ชันเทสต์ใดๆ ให้กับ cargo test เพื่อสั่งรันเฉพาะเทสต์นั้นเพียงตัวเดียวได้:
$ cargo test one_hundred
Compiling adder v0.1.0 (file:///projects/adder)
Finished `test` profile [unoptimized + debuginfo] target(s) in 0.69s
Running unittests src/lib.rs (target/debug/deps/adder-92948b65e88960b4)
running 1 test
test tests::one_hundred ... ok
test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 2 filtered out; finished in 0.00s
มีเพียงเทสต์ชื่อ one_hundred เท่านั้นที่ถูกรัน ส่วนเทสต์อีก 2 ตัวที่มีชื่อไม่ตรงกันจะไม่ถูกนำมารัน เอาต์พุตของเทสต์จะแจ้งให้เราทราบว่ามีเทสต์อื่นๆ ที่ไม่ได้ถูกรัน โดยแสดงข้อความ 2 filtered out ที่ส่วนท้าย
เราไม่สามารถระบุชื่อของเทสต์หลายๆ ตัวพร้อมกันด้วยวิธีนี้ได้ เพราะมีเพียงค่าแรกที่ส่งให้ cargo test เท่านั้นที่จะถูกนำไปใช้ อย่างไรก็ตาม ยังมีอีกวิธีหนึ่งในการสั่งรันเทสต์หลายตัวพร้อมกัน
การกรองเพื่อรันเทสต์หลายตัว
เราสามารถระบุเพียงคำบางส่วนของชื่อเทสต์ และเทสต์ใดๆ ก็ตามที่มีชื่อตรงกับคำนั้นก็จะถูกนำมารัน ตัวอย่างเช่น เนื่องจากเทสต์ของเรามี 2 ตัวที่มีคำว่า add อยู่ในชื่อ เราจึงสามารถสั่งรันทั้งสองตัวนี้ได้ด้วยคำสั่ง cargo test add:
$ cargo test add
Compiling adder v0.1.0 (file:///projects/adder)
Finished `test` profile [unoptimized + debuginfo] target(s) in 0.61s
Running unittests src/lib.rs (target/debug/deps/adder-92948b65e88960b4)
running 2 tests
test tests::add_three_and_two ... ok
test tests::add_two_and_two ... ok
test result: ok. 2 passed; 0 failed; 0 ignored; 0 measured; 1 filtered out; finished in 0.00s
คำสั่งนี้จะรันเทสต์ทั้งหมดที่มีคำว่า add อยู่ในชื่อ และกรองเทสต์ชื่อ one_hundred ออกไป นอกจากนี้โปรดสังเกตว่าชื่อมอดูลที่เทสต์สังกัดอยู่จะกลายมาเป็นส่วนหนึ่งของชื่อเทสต์ด้วย ดังนั้นเราจึงสามารถสั่งรันเทสต์ทั้งหมดภายในมอดูลใดมอดูลหนึ่งได้โดยการกรองด้วยชื่อของมอดูลนั้น
การข้ามเทสต์เว้นแต่จะถูกร้องขออย่างเจาะจง
ในบางครั้ง เทสต์เฉพาะบางตัวอาจต้องใช้เวลาในการทำงานนานมาก คุณจึงอาจต้องการละเว้นเทสต์เหล่านั้นในการรันคำสั่ง cargo test ประจำวัน แทนที่จะต้องมาคอยพิมพ์ชื่อเทสต์ทั้งหมดที่ต้องการรันเป็นอาร์กิวเมนต์ คุณสามารถใช้แอตทริบิวต์ ignore กำกับไว้บนเทสต์ที่ใช้เวลานานเพื่อยกเว้นการรันได้ ดังที่แสดงในตัวอย่างนี้:
ชื่อไฟล์: src/lib.rs
pub fn add(left: u64, right: u64) -> u64 {
left + right
}
#[cfg(test)]
mod tests {
use super::*;
#[test]
fn it_works() {
let result = add(2, 2);
assert_eq!(result, 4);
}
#[test]
#[ignore]
fn expensive_test() {
// code that takes an hour to run
}
}
บนบรรทัดถัดจาก #[test] เราได้เพิ่ม #[ignore] ให้กับเทสต์ที่เราต้องการยกเว้น คราวนี้เมื่อเราสั่งรันเทสต์ it_works จะถูกรันตามปกติ แต่ expensive_test จะไม่ถูกรัน:
$ cargo test
Compiling adder v0.1.0 (file:///projects/adder)
Finished `test` profile [unoptimized + debuginfo] target(s) in 0.60s
Running unittests src/lib.rs (target/debug/deps/adder-92948b65e88960b4)
running 2 tests
test tests::expensive_test ... ignored
test tests::it_works ... ok
test result: ok. 1 passed; 0 failed; 1 ignored; 0 measured; 0 filtered out; finished in 0.00s
Doc-tests adder
running 0 tests
test result: ok. 0 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.00s
ฟังก์ชัน expensive_test จะถูกระบุสถานะเป็น ignored และหากเราต้องการสั่งรันเฉพาะเทสต์ที่ถูกข้ามไป เราสามารถสั่งได้ด้วยคำสั่ง cargo test -- --ignored:
$ cargo test -- --ignored
Compiling adder v0.1.0 (file:///projects/adder)
Finished `test` profile [unoptimized + debuginfo] target(s) in 0.61s
Running unittests src/lib.rs (target/debug/deps/adder-92948b65e88960b4)
running 1 test
test tests::expensive_test ... ok
test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 1 filtered out; finished in 0.00s
Doc-tests adder
running 0 tests
test result: ok. 0 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.00s
การควบคุมว่าจะให้เทสต์ใดทำงานบ้างจะช่วยให้คุณได้รับผลการทดสอบจาก cargo test อย่างรวดเร็ว และเมื่อถึงจังหวะที่เหมาะสมที่คุณต้องการตรวจสอบผลลัพธ์ของเทสต์ที่ถูก ignored ไว้ และมีเวลารอผลลัพธ์ คุณก็สามารถรัน cargo test -- --ignored ได้ และหากคุณต้องการสั่งรันเทสต์ทั้งหมดไม่ว่าตัวนั้นจะถูกทำเครื่องหมายว่าละเว้นไว้หรือไม่ก็ตาม คุณสามารถสั่งรันด้วยคำสั่ง cargo test -- --include-ignored