Quy tắc 0,5 log₁₀ không nên áp dụng cho các kết quả MPN do tính biến thiên của phương pháp.

Đối với phương pháp MPN, cũng có thể kiểm tra xem các tổ hợp ống và dung dịch pha loãng được báo cáo có phù hợp với giá trị MPN có được bằng cách tra bảng [xem TCVN 6404 (ISO 7218)].

Nếu chương trình PT hoặc văn bản pháp quy yêu cầu các giá trị MPN phải được xác định song hành, các kết quả có thể được so sánh và nếu các tổ hợp ống đáng tin cậy thì chênh lệch giữa hai kết quả này không được sai khác hơn 2,58 x  x 0,24 = 0,88 đối với phương pháp 3 x 5 ống và 2,58 x  x 0,32 = 1,17 đối với phương pháp 3 x 3 ống, tính theo đơn vị logarit thập phân.

Nếu so sánh hai phân bố với hai kết quả lặp lại cho mỗi phân bố thì trung bình của hai giá trị không được sai khác hơn 2,58 x 0,24 = 0,62 đối với phương pháp 3 x 5 ống và 2,58 x 0,32 = 0,83 đối với phương pháp 3 ống x 3 nồng độ, tính theo đơn vị logarit thập phân.

8.3.8. Đánh giá kỹ năng dài hạn

8.3.8.1. Yêu cầu chung

Đánh giá kỹ năng trong các chương trình thử nghiệm thành thạo thường bó gọn trong khuôn khổ đánh giá kết quả từ các đợt thử đơn lẻ, nhưng khi mở rộng phạm vi, việc đánh giá trong một khoảng thời gian dài hơn có thể có ích. Có một số hướng dẫn khi áp dụng kiểu đánh giá này cho các chương trình đánh giá chất lượng từ bên ngoài để hoàn thiện phương pháp.

Bất kể phương pháp nào đánh giá kỹ năng lâu dài phải đảm bảo rằng các phòng thử nghiệm thực hiện phép thử định lượng không bị nhận dạng ngẫu nhiên là có “kỹ năng kém” do số lượng vi sinh vật trong mẫu mà họ nhận được.

Các số đếm “thấp“ và “cao” cần được định rõ theo những quy tắc khách quan (ví dụ: sử dụng mô hình Poisson đối với số đếm thấp, phương pháp phân vị hoặc các phương pháp khác đối với số đếm cao), sau đó được dùng để xác định các phòng thử nghiệm có báo cáo kết quả thường xuyên hơn dự kiến hay không.

...

...

...

8.3.8.2. Đánh giá số đếm thấp

Nếu ngẫu nhiên là yếu tố duy nhất có liên quan thì các số đếm vùng biên cần được phân bố ngẫu nhiên. Các kết quả này có thể được xem xét kỹ lưỡng để xác định độ phân tán của các kết quả vùng biên, giữa các phòng thử nghiệm qua một loạt mẫu (ví dụ: sử dụng phép thử Q theo Cochran).

Nếu chúng không phân bố ngẫu nhiên thì có thể tiến hành phân tích giai đoạn 2 để xác định phân bố dự kiến của các số đếm vùng biên trong số các phòng thử nghiệm có báo cáo số liệu này, nếu các kết quả đơn giản chỉ là do sự thay đổi tự nhiên giữa các mẫu và không do ảnh hưởng từ kỹ năng phân tích của phòng thử nghiệm. Từ đó, sự trái ngược giữa số kỳ vọng của các phòng thử nghiệm và số thực tế quan sát được đã chỉ ra các phòng thử nghiệm có thể có vấn đề về kinh nghiệm. Ví dụ về đánh giá kỹ năng phân tích đối với mẫu có số lượng vi sinh thấp được nêu trong Bảng 2.

Bảng 2 - Các số kỳ vọng và quan sát được của tập hợp các kết quả giả định phân bố ngẫu nhiên của các kết quả thấp (từ một phân bố của mức mật độ thấp Clostridium perfringens trong các mẫu nước uống, khi mà biến thiên về số lượng giữa các mẫu thử có thể vượt quá sự biến đổi trong kỹ năng phân tích của phòng thử nghiệm)

Số thấp

Quan sát được

Kỳ vọng

0

58

...

...

...

1

32

48,56

2

18

16,94

3

14

3,15

...

...

...

3

0,33

5

2

0,02

Tổng số

127

127

Một hoặc hai kết quả có thể do ngẫu nhiên; ba có thể không do ngẫu nhiên; bốn hoặc hơn không thể là do ngẫu nhiên và quy trình cần được kiểm tra lại.

...

...

...

Đánh giá các số đếm cao dựa vào các nguyên tắc tương tự, nhưng kết quả của các bên tham gia ít biến động hơn do sự khác nhau trong thành phần mẫu được dự kiến.

Có thể đánh giá kỹ năng trong thời gian dài với trên 12 mẫu, ví dụ bằng phương pháp phân vị, cho phép tính tối đa là 24 điểm. Các đơn vị tham gia được giao một đích kỹ năng ít nhất là 70 %. Nếu bỏ qua quy tắc 0,5 log₁₀ và giả định rằng tất cả các bên tham gia có khả năng đạt đến kỹ năng tương đương thì bằng cách sử dụng lý thuyết đa thức, có thể thấy rằng xác suất để một phòng thử nghiệm nhận được một điểm số tích lũy ít hơn 70 % của điểm tối đa có thể là 5,2 %. Điều này có nghĩa rằng trong các điều kiện như trên thì xấp xỉ 1 trong 20 đơn vị tham gia có thể được nhận dạng không chính xác là “kỹ năng kém”. Trong thực tế, kỹ năng của các đơn vị không tương đương và một vài phòng thử nghiệm thiếu kinh nghiệm đối với các phép thử mà họ thực hiện, do đó xác suất về một kỹ năng đạt yêu cầu bị nhận định nhầm là “kém” thì thấp hơn nhiều so với giá trị trên. Hơn nữa, việc sử dụng quy tắc 0,5 log₁₀ làm giảm xác suất này đến ít hơn 0,1 %.

Ví dụ thực tế về đánh giá kỹ năng trong thời gian dài qua cách sử dụng các bảng thống kê được nêu trong Phụ lục C.

8.4. Đánh giá các phương pháp định tính

8.4.1. Yêu cầu chung

Đối với các nghiên cứu so sánh liên phòng thử nghiệm trong đó sử dụng một hoặc nhiều phương pháp định tính thì kết quả là rõ ràng, có hoặc không, phát hiện hoặc không phát hiện.

Các phương pháp phân tích thống kê đối với dạng kết quả này bị hạn chế, nhưng nhiều tùy chọn khác nhau đã được đề cập chẳng hạn như LOD₅₀, các đánh giá về mức phù hợp, tương hợp và tỷ lệ chính xác, và cách tiếp cận tối ưu vẫn đang được xem xét.

8.4.2. Kỹ năng của từng phòng thử nghiệm đơn lẻ

Một phương pháp đơn giản để các phòng thử nghiệm tham gia tự đánh giá là ghi lại số các kết quả dương tính và âm tính họ thu được cùng với số kết quả dương tính và âm tính được kỳ vọng. Thông tin này cần được kết nối với các ghi chép về mật độ vi sinh đích trong các mẫu để đánh giá kỹ năng phân tích và đồng thời cung cấp số liệu hiện hành về giới hạn phát hiện của phương pháp tại mỗi phòng thử nghiệm.

...

...

...

Diễn giải dữ liệu theo cách đơn giản:

a) đối với mức âm tính: tất cả các mẫu cần phải là âm tính;

b) đối với mức cao: tất cả các mẫu cần phải dương tính;

c) đối với mức thấp: có thể tính toán (xem Bảng 3) bằng cách sử dụng phân bố nhị thức và tỷ lệ phần trăm mẫu được tìm thấy dương tính (có thể nhận một giá trị tham chiếu từ nhà tổ chức hoặc một số ước tính tốt nhất từ kết quả của tất cả các bên tham gia) với mức tin cậy 95 %.

Bảng 3 - Xác suất tìm thấy một số nhất định dương tính trong số 6 mẫu được thử, tính theo phần trăm trung bình từ các mẫu dương tính (phân bổ nhị thức)

Số dương tính từ sáu mẫu

Phần trăm trung bình dương tính

10%

20%

...

...

...

40%

50%

60%

70%

80%

90%

0

53,1 %

26,2 %

...

...

...

4,7 %

1,6 %

0,4 %

0,1 %

0,0 %

0,0 %

1

35,4 %

39,3 %

...

...

...

18,7 %

9,4 %

3,7 %

1,0 %

0,2 %

0,0 %

2

9,8 %

24,6 %

...

...

...

31,1 %

23,4 %

13,8 %

6,0 %

1,5 %

0,1 %

3

1,5 %

8,2 %

...

...

...

27,6 %

31,3 %

27,6 %

18,5 %

8,2 %

1,5 %

4

0,1 %

1,5 %

...

...

...

13,8 %

23,4 %

31,1 %

32,4 %

24,6 %

9,8 %

5

0,0 %

0,2 %

...

...

...

3,7 %

9,4 %

18,7 %

30,3 %

39,3 %

35,4 %

6

0,0 %

0,0 %

...

...

...

0,4 %

1,6 %

4,7 %

11,8 %

26,2 %

53,1 %

Ví dụ: Để sử dụng Bảng 3, trước hết cần biết tỷ lệ dương tính trung bình. Ở đây, giả định tỷ lệ này là 30 %, có nghĩa là khoảng một trong ba mẫu có chứa vi sinh vật đích. Vì chỉ có 30 % các mẫu có vi sinh vật đích, nên dường như có một số mẫu có thể không chứa vi sinh vật đích trong khi có 6 mẫu được thử chẳng hạn.

Bảng 3 cho thấy rằng xác suất để có được một tập hợp sáu mẫu bao gồm bốn mẫu dương tính và hai mẫu âm tính là 6 % Điều này không chắc xảy ra nhưng vẫn có thể chấp nhận được khi giả định mức tin cậy là 95 %. Tổng xác suất tìm thấy 0, 1, 2, 3 hoặc 4 mẫu dương tính là 99,0 % (11,8 + 30,3 + 32,4 + 18,5 + 6,0). Trong trường hợp này, 99 % là giá trị nhỏ nhất ở trên 95 % (là giới hạn độ tin cậy). Bỏ đi 4 kết quả dương tính thành 93 %, tỷ lệ này thấp hơn mức tin cậy 95 %.

Theo cách lập luận khác thì xác suất để tìm thấy cả 6 trong 6 mẫu đều dương tính chỉ là 0,1 %. Điều này chắc chắn không xảy ra chỉ do ngẫu nhiên. Khi độ không đảm bảo được đặt ra ở mức tối đa là 5 %, (100 % - 95 % độ tin cậy), tỷ lệ trên sẽ nằm trong phạm vi giới hạn này. Cũng tương tự như vậy là tình huống có 5 hoặc 6 mẫu trong tổng số 6 mẫu thử được tìm thấy dương tính. Tổng các xác suất trên là 1,1 %, vẫn thấp hơn giới hạn 5 %. Chỉ khi tình huống trên có thêm 4 mẫu nữa trong 6 mẫu được tìm thấy dương tính thì sẽ làm cho độ không đảm bảo vượt quá giới hạn 5 %. Khi mức tối đa được thiết lập ở 5 %, tình huống có 5 hoặc 6 mẫu dương tính trong tổng 6 mẫu được thử sẽ được xem như một kết quả không mong đợi.

...

...

...

8.4.3. Chương trình so sánh kỹ năng của các phòng thử nghiệm

Để so sánh kỹ năng phân tích của một phòng thử nghiệm so với các phòng thử nghiệm khác thì nhà tổ chức có thể tính toán số lượng (hoặc tỉ lệ phần trăm) dương tính đối với các mức độ nhiễm vi sinh vật đích được tìm thấy cho mỗi mẫu thử bởi mỗi phòng thử nghiệm (được báo cáo theo mã của phòng thử nghiệm). Ví dụ cụ thể được nêu trong Hình 2. Trong nghiên cứu này, 28 phòng thử nghiệm tham gia (được chỉ thị theo mã phòng thử nghiệm trong trục N_L của Hình 2). Mỗi phòng thử nghiệm phân tích 22 mẫu phân gà. đã được gây nhiễm nhân tạo với vật liệu chuẩn chứa hai typ vi khuẩn Salmonella khác nhau ở 4 mức nhiễm khác nhau (dao động từ 10 đến 500 cfu/mẫu). Trong Hình 2, các kết quả được tổng hợp đối với mẫu có mức nhiễm thấp (n = 14). Số mẫu dương tính mà các phòng thử nghiệm tham gia thu được dao động từ 0 đến 11 mẫu (trục n₊ trong Hình 2).

Ngoài cách mô tả rõ ràng các kết quả như trên, có thể tính toán các tỉ lệ đặc hiệu, tỉ lệ chọn lọc và tỉ lệ chính xác cho mỗi mức độ nhiễm của các mẫu (theo ISO 16140^[4]). Các tỉ lệ này có thể được tính toán cho từng phòng thử nghiệm và cho kết quả từ tất cả các phòng thử nghiệm tham gia.

CHÚ DẪN:

N_L mã phòng thử nghiệm

n₊ số phát hiện dương tính

Hình 2 - Số lượng dương tính phân lập bởi mỗi phòng thử nghiệm đối với tất cả các mẫu có mức vi sinh thấp được thử nghiệm (n = 14)

Độ đặc hiệu, r_SP, được tính theo công thức:

...

...

...

trong đó:

n_ là số kết quả âm tính được tìm thấy;

E(n_-tot) là tổng số mẫu âm tính kỳ vọng.

Độ chọn lọc, r_SE, được tính theo công thức:

trong đó:

n₊ là số kết quả dương tính được tìm thấy;

E(n_+tot) là tổng số mẫu dương tính kỳ vọng.

Độ chính xác, r_AC, được tính theo công thức:

...

...

...

trong đó: n_tot là tổng số mẫu.

Việc đánh giá như trên chỉ có ý nghĩa nếu được liên kết với số lượng vi sinh vật đích có mặt trong mẫu.

PHỤ LỤC A

(Tham khảo)

VÍ DỤ VỀ CÁC CHI TIẾT ĐƯỢC ĐƯA VÀO KẾ HOẠCH CỦA CHƯƠNG TRÌNH PT

Kế hoạch chương trình PT - Tóm tắt chương trình

Tên chương trình:

Chương trình kiểm tra thực phẩm

...

...

...

Dạng chương trình:

Vi sinh thực phẩm

Mục đích:

Cung cấp mẫu đánh giá chất lượng từ bên ngoài đối với các phép thử thông thường trong các phòng thử nghiệm vi sinh thực phẩm

Tiêu chí lựa chọn đơn vị tham gia:

Phòng thử nghiệm vi sinh thực phẩm có trang thiết bị phù hợp để thao tác với các vi sinh vật gây bệnh thuộc cấp nguy hiểm 1 và 2

Các phòng thử nghiệm mục tiêu:

Các phòng thử nghiệm vi sinh thuộc tư nhân và khu vực công

...

...

...

Quy định của EU số 882/2004 liên quan đến kiểm soát pháp quyền về thực phẩm

Dạng mẫu:

Vi sinh vật được đông khô, đóng trong các lọ thủy tinh nhỏ

Các phép thử:

Phát hiện/không phát hiện:

Campylobacteria spp.

Escherichia coli O157

Salmonella spp.

Định lượng:

...

...

...

Bacillus cerius

Clostridium perfringens

Coliforms

Enterobacteriaceae

Escherichia coli

Listeria monocytogenes

Staphylococci dương tính với coagulase

Các tiêu chí về thành phần mẫu:

Có mặt hệ vi sinh vật nền giống như tồn tại trong các mẫu thực phẩm thật và đưa đến thách thức thực sự cho các quy trình thử vi sinh thực phẩm thông dụng

...

...

...

Lớn hơn 200

Số đợt phân phối hàng năm:

Sáu (6)

Số mẫu phân phối mỗi đợt:

Hai (2)

Nhà thầu phụ bên ngoài:

Không

Chuyên gia kỹ thuật:

Tên từng người

...

...

...

Tên phòng thử nghiệm và các phương pháp tiêu chuẩn được dùng. 25 mẫu từ mỗi mẻ được kiểm tra về tất cả các chỉ tiêu đã định

Phương pháp thống kê:

Trung vị đồng thuận (phương pháp đếm)

Phân vị để xác định giá trị bất thường

Tính điểm:

Có

Tiêu chí chấm điểm:

Ba điểm được tính cho mỗi mẫu: i) kiểm tra vi sinh gây bệnh; ii) đếm khuẩn lạc hiếu khí; iii) các vi sinh vật chỉ thị

Đánh giá kỹ năng liên tục:

...

...

...

Tiêu chí xác định “kết quả kém”:

ít hơn 70 % điểm tối đa có thể qua 6 đợt phân phối mẫu

Tiếp cận hỗ trợ tích cực bởi nhà tổ chức đối với “nơi có kết quả kém":

Có

Phương pháp đánh giá:

Có - chỉ có tính chất chỉ thị

Điều phối viên chương trình hoặc người được ủy quyền ký/ngày

Phê chuẩn bởi ban lãnh đạo:

Ngày

...

...

...

Ngày

Trị giá được duyệt:

Ngày

Ngày công nhận:

Ngày

Các nhận xét khác:

Xem xét tại cuộc họp ban lãnh đạo

PHỤ LỤC B

...

...

...

CÁC PHƯƠNG PHÁP KIỂM TRA MỨC SAI KHÁC GIỮA CÁC PHẦN MẪU CỦA VẬT LIỆU CẦN THỬ

B.1. Phép thử T₁-T₂

Phép thử này nên được sử dụng cho các trường hợp có ít vi sinh vật hiện diện trong các phần chia từ vật liệu thử (TM), ở mức từ 35 đến 40 cfu/đĩa, hoặc trường hợp không thể ấn định được “độ lệch chuẩn mục tiêu” để đánh giá độ đồng nhất đạt được.

Độ biến thiên giữa các phần mẫu phân tích của một đơn vị (hoàn nguyên) từ TM, T₁ và giữa các phần mẫu phân tích từ các đơn vị khác (đã hoàn nguyên) của mỗi mẻ TM, T₂, được kiểm tra theo các cách khác nhau. Các chi tiết được đề cập trong Tài liệu tham khảo [12], nhưng một nội dung tóm tắt được nêu dưới đây.

Áp dụng phép thử thống kê T₁ để xác định độ biến thiên giữa các phần mẫu phân tích từ một đơn vị (hoàn nguyên) của một TM (kiểm tra lặp lại):

              (B.1)

trong đó:

z_ij là số cfu trong một phần mẫu phân tích j của đơn vị thứ i;

z_i+ là tổng số cfu trong tất cả các phần mẫu phân tích của đơn vị i

...

...

...

J là số các phần mẫu phân tích từ mỗi đơn vị mẫu.

Áp dụng phép thử thống kê T₂ để xác định độ biến thiên giữa các phần mẫu phân tích từ những đơn vị khác nhau (hoàn nguyên) của một mẻ TM:

                            (B.3)

trong đó:

z₊₊ tổng số (cfu) trong tất cả các phần mẫu phân tích từ các đơn vị được kiểm tra của một mẻ TM

I là số các đơn vị mẫu được kiểm tra.

Nếu áp dụng phân bố Poisson thì T₁ và T₂ tuân theo một phân bố  với các bậc tự do lần lượt là I(J - 1) và I - 1. Trong trường hợp này, các giá trị kỳ vọng của T₁ và T₂ bằng số bậc tự do. Vì vậy,  và được kì vọng bằng 1.

Đối với độ biến thiên giữa các đơn vị trong một mẻ TM, theo phân bố Poisson là độ biến thiên nhỏ nhất theo lý thuyết có thể đạt được. Tuy nhiên, người ta dự kiến có sự phân tán mạnh và  thì hầu như là lớn hơn 1 (Tài liệu tham khảo [12]). Một mức biến thiên chấp nhận được giữa các đơn vị trong một mẻ TM là  ≤ 2.

...

...

...

Các dữ liệu được cho dưới đây:

Đơn vị:

số đếm (kép)

1

z₁₁ = 45        z₁₂ = 49

2

z₂₁ = 33        z₂₂ = 42

3

z₃₁ = 40        z₃₂ = 42

...

...

...

J = 2 (lặp lại hai lần)

z_1j/J = (45+49)/2 = 94/2 = 47

z_2j/J = (33+42)/2 = 75/2 = 37,5

z_3j/J = (40+42)/2 = 82/2 = 41

...

...

...

Kiểm tra hai phía ở mức tin cậy 95 %, giới hạn dưới và giới hạn trên đối với phân bố này, với 3 bậc tự do, lần lượt là 0,22 và 9,3. Giá trị T₁ đã tính (1,298) tuân theo các tiêu chí này.

Mức biến thiên có thể chấp nhận cho một mẻ mẫu là: T₂ /(I - 1) ≤ 2.

Ở đây, T₂ /(I - 1) = 2,206/(3 - 1) = 1,103 và như vậy, tuân thủ tiêu chí chấp nhận một mẻ mẫu.

B.2. Kiểm tra mức độ đồng nhất

Kiểm tra độ đồng nhất được khuyến nghị đối với các trường hợp mà trong các phần mẫu thử có chứa một lượng lớn vi sinh vật (nhiều hơn 35 đến 40 cfu/đĩa) và đã có sẵn một độ lệch chuẩn đích s_p, thể hiện mức hiệu suất dự kiến của các đơn vị tham gia PT. Phép kiểm tra này dựa trên phép thử “độ đủ đồng nhất” trong Tài liệu tham khảo [11].

Với một tập hợp các phần mẫu thử được phân tích kép và các kết quả được thể hiện dưới dạng đơn vị log, thì kết quả kiểm tra sẽ đạt nếu mức sai khác giữa các phần mẫu, S²_sam, thỏa mãn điều kiện (B.5):

trong đó, S²_an là độ biến thiên phân tích. Phép kiểm tra này không chắc chắn bằng phép thử T₁ - T₂ dẫn đến quyết định loại bỏ một vật liệu không đồng nhất hoàn toàn (các kết quả phân tích tuân theo phân bố Possion), nhưng vật liệu này lại đủ độ đồng nhất để có thể sử dụng cho một đợt thử nghiệm thành thạo với một độ lệch chuẩn đích là s_p. Điều này là do các mẫu được chấp nhận trừ khi có biểu hiện với mức tin cậy cao (95 %) rằng, sự phù hợp với mục đích sử dụng tiêu chuẩn s_sam > 0,3 s_p, trong đó s_sam là độ lệch chuẩn từ đó S_sam được ước tính.

...

...

...

Các kết quả định lượng thu được từ phân tích kép 10 phần mẫu thử, tính độ chênh lệch D, tổng S và D² ở dạng logarit thập phân, cho mỗi nhóm kết quả (Bảng 1).

Phần mẫu

Phân tích 1

Phân tích 2

Log - phân tích 1

Log - phân tích 2

D

S

D²

...

...

...

35

51

1,5441

1,7076

-0,1635

3,2516

0,026733

2

52

...

...

...

1,7160

1,6628

0,0532

3,3788

0,002835

3

35

33

1,5441

...

...

...

0,0256

3,0626

0,000653

4

53

38

1,7243

1,5798

0,1445

...

...

...

0,020878

5

30

40

1,4771

1,6021

-0,1249

3,0792

0,015610

...

...

...

33

30

1,5185

1,4771

0,0414

2,9956

0,001713

7

41

...

...

...

1,6128

1,7782

-0,1654

3,3909

0,027346

8

35

55

1,5441

...

...

...

-0,1963

3,2844

0,038532

9

68

67

1,8325

1,8261

0,0064

...

...

...

0,000041

10

52

60

1,7160

1,7782

-0,0621

3,4942

0,003362

...

...

...

Trong trường hợp này,   = 0,1382/20 = 0,00691.

Tính phương sai của  và chia kết quả cho 2. Giá trị này là .

Trong trường hợp này,  = 0,04224/2 = 0,02112

Tiếp đó, S²_an =  và S²_sam = ( -)/2

Trong trường hợp này, S²_an = 0,00691 và S²_sam = (0,02112 - 0,00691)/2 = 0,007104

Giá trị của F₁ và F₂ phụ thuộc vào số phần mẫu được kiểm tra trong phép thử này. Khi phân tích 10 phần mẫu thì F₁ = 1,88 và F₂ = 1,01 (giá trị cho số phần mẫu khác có thể tham khảo thêm trong Tài liệu tham khảo [11]).

Nếu độ lệch chuẩn mục tiêu được áp dụng cho các kết quả của phép thử thành thạo này, s_p, bằng 0,25 log₁₀, đơn vị, thì

Giá trị này lớn hơn S²_sam (0,007104). Do đó, Điều kiện (8.5) được thỏa mãn và vật liệu thử này đủ độ đồng nhất.

...

...

...

PHỤ LỤC C

(Tham khảo)

PHƯƠNG PHÁP THỰC HÀNH ĐÁNH GIÁ DÀI HẠN KỸ NĂNG CỦA CÁC ĐƠN VỊ THAM GIA CHƯƠNG TRÌNH PT SỬ DỤNG CÁC PHƯƠNG PHÁP ĐỊNH LƯỢNG

C.1. Chuẩn bị dữ liệu phân tích

Bốn cột trong một bảng trình bày được dùng để phân tích các kết quả định lượng:

a) số đếm được báo cáo bởi đơn vị tham gia (số đếm n_R);

b) số đếm được sử dụng vẽ đồ thị và biểu đồ, và/hoặc để tính điểm (số đếm n_s);

c) số đếm để phân tích (số đếm n_A);

d) một cột để nhận xét (nội dung được điền) (số đếm n_c) để ghi lại bất kỳ lưu ý nào về kết quả của các đơn vị tham gia.

...

...

...

Số đếm n_R cũng có thể được điền với nội dung khác, như NE (không thử/không kiểm tra), ND (không phát hiện) và UA (không thể đánh giá). Cần thực hiện nhập giá trị cho tất cả các trường trong cột.

Nếu số đếm n_R không thể phân tích được, (ví dụ: điền vào là NE) thì sẽ không phân tích sâu hơn hoặc không tính điểm.

Nếu số đếm n_R không thể đưa vào phân tích thống kê, ví dụ: kết quả được báo cáo ở dạng một giá trị bị chặn, nhưng vẫn được tính một điểm số, và/hoặc kết quả này được gắn lên đồ thị, sau đó sẽ ấn định một giá trị số học cho số đếm n_s này.

Giá trị này sẽ đảm bảo rằng điểm số chính xác được tính và kết quả này được vẽ chính xác lên đồ thị. Ví dụ: điểm số có thể không được tính cho các kết quả báo cáo là “không phát hiện” nhưng có thể hữu ích khi đưa các kết quả này lên một biểu đồ. Trong trường hợp này, số đếm n_s có thể được điền vào như là -99 và cột số đếm n_A cần để trống.

Nếu một kết quả báo cáo được tính điểm, một điểm số sẽ được đưa vào tính toán thống kê; khi đó số đếm n_A = số đếm n_s.

C.2. Xử lý các số liệu bị giới hạn

Tất cả các kết quả bị chặn dưới được phân tích theo một trong các cách sau:

a) Tất cả các kết quả này được ấn định một giá trị số đếm n_s là 0,2, nhưng không được đưa vào phân tích (số đếm n_A = 0). Điều này phát sinh khi việc báo cáo một giá trị bị chặn dưới, hoặc báo cáo là “zero” (0), hoặc “không phát hiện” rõ ràng là do lỗi của phòng thử nghiệm vì mức vi sinh vật hoặc nhóm vi sinh đích có trong mẫu là tương đối khá cao.

b) Tất cả các giá trị bị chặn dưới và các kết quả bằng 0 hoặc “không phát hiện” sẽ được ấn định một số đếm n_s là 0,2 ¹⁾ và được đưa vào phân tích vì mật độ vi sinh vật hoặc nhóm vi sinh vật đích là tương đối thấp và các kết quả này có thể phát sinh ngẫu nhiên (số đếm n_s = số đếm n_A = 0,2). Có một số ngoại lệ, chẳng hạn khi giá trị bị chặn dưới được báo cáo (<x) cho thấy một mức phát hiện không thích hợp và giá trị của x thực tế cao hơn trung vị (trong tính toán ban đầu). Trong các trường hợp ngoại lệ này thì cột số đếm n_A cần để trống.

...

...

...

Các giá trị bị chặn trên được điền vào là 1,0 log₁₀, trên số điểm tối đa được báo cáo. Nếu vì bất cứ lý do gì, kết quả này bị loại ra khỏi các biểu đồ và phân tích, và không được tính điểm nào, thì trường số đếm n_s và số đếm n_A nên để trống. Nếu một kết quả được báo cáo là >x, trong đó giá trị của x thấp hơn giá trị trung vị thì trường số đếm n_A nên để trống.

C.3. Dựng biểu đồ của các kết quả

Biểu đồ được xây dựng dựa trên các giá trị số đếm n_S. Có hai dạng biểu đồ được sử dụng cho các kết quả của chương trình PT: biểu đồ tần suất (hoặc biểu đồ cột) và biểu đồ phân tán. Các điểm sẽ được xem xét khi lựa chọn kiểu biểu đồ để sử dụng, kể cả kiểu định lượng (MPN hoặc đếm khuẩn lạc...) và số đơn vị tham gia áp dụng cách định lượng này.

Biểu đồ cột được tạo ra từ giá trị log thập phân của số đếm n_R, được nhóm lại như sau:

< 0, (0 đến 0,05), (0,05 đến 0,1), (0,1 đến 0,15), [giá trị log₁₀(số đếm n_R) lớn nhất], [giá trị log₁₀ (số đếm n_R) lớn nhất + 0,05].

Mọi trường hợp đặc biệt hoặc không số hóa được đưa lên biểu đồ (ví dụ: - 99) cần đưa chúng vào một thang riêng.

Cách khác, có thể tạo dựng biểu đồ cột dựa trên giá trị logarit thập phân của số đếm n_R được làm tròn đến 0,05 gần nhất. Trong trường hợp này, tạo nhóm giá trị như sau:

0, 0,05, 0,1, 0,15,... giá trị log₁₀ (số đếm n_R) lớn nhất.

Trong trường hợp này, thang 0,1 bao gồm mọi kết quả từ 0,075 đến 0,124.

...

...

...

Cách nhóm theo 0,05 log₁₀ thường được sử dụng cho biểu đồ cột, do đó dãy tính điểm cũng được làm tròn đến 0,05 log₁₀.

C.4. Tính điểm

Khi các kết quả của chương trình PT được đánh giá bằng điểm số, thì các chuẩn mực tính điểm cần được liệt kê trong kế hoạch chương trình PT hoặc trong các báo cáo. Điểm số tính cho các kết quả định lượng được điền vào một trường (cột) điểm (n_c-score); điều này có thể bổ sung thủ công, khi cần.

Lưu ý rằng điểm số cuối cùng đối với một kết quả có thể đạt được từ n_c-score, nhưng các yếu tố khác có thể cũng cần được xem xét đến.

PHỤ LỤC D

(Tham khảo)

VÍ DỤ VỀ MỘT BẢNG DỮ LIỆU AN TOÀN

Bảng dữ liệu an toàn đối với các mẫu của chương trình PT thực phẩm - dạng đông khô

...

...

...

Ngày soát xét:              ngày-tháng-năm

Ban hành đến:               tất cả các đơn vị tham gia chương trình

Nhận dạng sản phẩm và nơi thiết lập

Sản phẩm:                    Các mẫu thực phẩm được tạo ra cho các phép thử vi sinh thông thường

Nơi thiết lập:                 Địa chỉ đầy đủ và các chi tiết liên hệ với nhà tổ chức chương trình

Cấu tạo hoặc thông tin về thành phần

Các lọ thủy tinh nhỏ (vial) với nguyên liệu được làm đông khô, có chứa một hỗn hợp vi khuẩn thuộc nguy cơ nhóm 2 theo quy định bởi luật quốc gia và quốc tế. Vi sinh vật thuộc nhóm nguy cơ 2 có thể gây bệnh cho người và có thể là mối nguy cho cán bộ phòng thử nghiệm, nhưng không chắc phát tán ra cộng đồng.

Nhận dạng mối nguy

Mối nguy hóa lý:           Không áp dụng

...

...

...

Mối nguy về môi trường: Không áp dụng

Các phương tiện sơ cứu

Nếu xảy ra tai nạn khi tiếp xúc với vật liệu thử thì nhân viên phòng thử nghiệm phải tuân thủ quy trình sơ cứu nội bộ như vẫn thường được áp dụng khi phơi nhiễm với một mẫu thực phẩm tương tự (có chứa mối nguy vi sinh). Tiếp theo, cần có chỉ dẫn của thầy thuốc đối với sự phơi nhiễm này.

Các phương tiện chống cháy

Không áp dụng

Các phương tiện làm giảm bớt tai nạn

Phủ lên khu vực thao tác bằng một vật liệu hút-thấm và tưới đẫm lên nó một chất sát trùng thích hợp. Khu vực này cần để yên trong 30 min trước khi lau dọn lớp dung dịch sát trùng trên bằng một lớp vật liệu hút-thấm nữa. Cần mang trang bị bảo vệ cá nhân thích hợp.

Quản lý và lưu giữ

Bảo quản ở nhiệt độ phòng, trong chỗ tối. Các mẫu cần được xử lý trong môi trường phòng thử nghiệm, như trong hướng dẫn hoặc quy chuẩn quốc gia, thích hợp với phân tích vi sinh. Cán bộ thao tác với vật liệu thử cần được đào tạo về cách thao tác với các mẫu sinh vật lây nhiễm. Vật liệu này cần được xử lý với mức thận trọng giống như khi làm việc với các với mẫu thực phẩm tương tự. Cần tránh tiếp xúc tay và miệng trong quá trình thao tác với mẫu thử và quy trình chuẩn về rửa tay liên quan đến thao tác với các mẫu thường ngay cũng cần áp dụng với các mẫu PT.

...

...

...

Sử dụng GLP và mặc đồ bảo hộ phòng thử nghiệm thích hợp, mang găng tay và kính bảo vệ mắt. Việc lấy các lọ mẫu ra khỏi bao bì và hoàn nguyên cần được thực hiện trong một tủ hút bảo vệ.

Đặc tính hóa học và vật lý

Vật liệu khô, trơ, không mùi.

Độ ổn định và tính phản ứng

Quá trình bảo quản dường như không làm tăng hoặc giảm nguy cơ lây nhiễm gắn với việc xử lý mẫu.

Thông tin về độc tính

Không áp dụng

Thông tin vệ sinh thái

Không áp dụng

...

...

...

Các vật liệu đã sử dụng cần phải khử nhiễm bằng nồi hấp tiệt trùng, giống như đối với các thực phẩm có chứa các vi sinh vật lây nhiễm và phù hợp với các quy định quốc gia và nội bộ.

Thông tin vận chuyển

Tham khảo các quy định quốc gia và quốc tế về vận chuyển vi khuẩn thuộc nhóm nguy hiểm cấp độ 2 (chất sinh học, cấp hạng B, UN3373).

Thông tin quy định

EC Tác nhân sinh học, cấp độ nguy hiểm/nhóm nguy cơ 2

CẢNH BÁO - Bảng dữ liệu an toàn này không hàm chứa các đánh giá mối nguy về không gian thao tác riêng của người sử dụng theo yêu cầu của luật an toàn và sức khỏe.

Thông tin khác

Khi xảy ra sự cố liên quan đến nhân viên thử nghiệm bị phơi nhiễm với vật liệu chứa trong mẫu, cần liên hệ với nhà tổ chức chương trình PT.

Để có thêm thông tin an toàn liên quan đến mẫu, các bên tham gia nên đọc kỹ bản hướng dẫn gửi kèm theo mẫu này.

...

...

...

THƯ MỤC TÀI LIỆU THAM KHẢO

[1] TCVN 6910-2 (ISO 5725-2) Độ chính xác (độ đúng và độ chụm) của phương pháp đo và kết quả đo - Phần 2: Phương pháp cơ bản xác định độ lặp lại và độ tái lập của phương pháp đo tiêu chuẩn.

[2] TCVN 6910-4 (ISO 5725-4) Độ chính xác (độ đúng và độ chụm) của phương pháp đo và kết quả đo - Phần 4: Các phương pháp cơ bản xác định độ đúng của phương pháp đo tiêu chuẩn.

[3] TCVN 8128-1:2009 (ISO/TS 11133-1:2009) Vi sinh vật trong thực phẩm và thức ăn chăn nuôi - Hướng dẫn chuẩn bị và sản xuất môi trường nuôi cấy - Phần 1: Hướng dẫn chung về đảm bảo chất lượng đối với việc chuẩn bị môi trường nuôi cấy trong phòng thử nghiệm

[4] ISO 16140 Microbiology of food and animal feeding stuffs - Protocol for the validation of alternative methods

[5] TCVN ISO/IEC 17025 Yêu cầu chung về năng lực của phòng thử nghiệm và hiệu chuẩn

[6] ISO/TS 19036 Microbiology of food and animal feeding stuffs - Guidelines for the estimation of measurement uncertainty for quantitative determinations

[7] ISO/IEC Guide 99 International vocabulary of metrology - Basic and general concepts and associated terms (VIM)

[8] ILAC-G13, ILAC Guidelines for the requirements for the competence of providers of proficience schemes. Available (2010-02-10) at: http://www.ilac.org/documents/ILAC G13 08 2007.pdf

...

...

...

[10] AUGUSTIN, J.C., CARLIER, V. Lessons from the organization of a proficiency testing program in food microbiology by interlaboratory comparison: analytical methods in use, impact of methods on bacterial counts and measurement uncertainty of bacterial counts. Food Microbiol. 2006, 23, pp. 1-138

[11] FEARN, T., THOMPSON, M. A new test for “sufficient homogeneity”. Analyst 2001, 126, pp, 1414-1417

[12] HEISTERKAMP, S.H., HOEKSTRA, J.A., VAN STRIJP-LOCKEFEER, N.G.W.M,. VAVELAAR, A.H,. MOOIJMAN, K.A, IN’T VELD, P.H., S.H.W., MAIER, E.A.; GRIEPINK.B. Statistical analysis of certification trials for microbioligcal reference materials. Luxembourg: commission of the European communities, 1993. 41 p. (Report EUR 15008 EN.)

[13] JARVIS, B. Sampling for microbiological analysis. In: LUND, B.M., BAIR-PACKER, A C., GOULD, G.W., editors. The microbiological safety and quality of food, Vol. 2, pp.1691-1734. Gaithersburg, MD: Aspen, 2000

[14] JARVIS. B. Statistical aspects of the microbiological examination of foods, 2^nd edition. Amsterdam: Academic Press, 2008. 306 p.

[15] JARVIS, B., HEDDGES.A.J., CORRY, J.E.L. Assessment of measurement uncertainty for quantitative methods of analysis: comparative assessment of the precision (uncertainty) of bacterial colony counts. Int. J. Food Microbiol. 2007, 116, pp. 44-51

[16] JARVIS.B., CORRY, J.E.R., HEDGES, A.J. Estimates of measurement uncertainty from proficiency testing schemes, internal laboratory quality monitoring and during routine enforcement examination fo foods. J. Appl. Microbiol. 2007, 103, pp. 462-467

[17] TILLETT, H.E., LIGHTFOOT, N.F. EATON, S. PLACE, B.M. External quality assessment of microbial counts from water: To score or not to score for proficiency. J. Chart. Inst. Water Environ. Manage. 2000, 14, pp. 304-308

The 0,5 log₁₀ rule should never need to be applied to MPN results due to the inherent method variability.

It is also possible, for the MPN method, to check that the tube combinations and dilutions reported are consistent with the MPN reported using tables [see TCVN 6404 (ISO 7218)].

If the PT scheme or the legislation on which it is based requires MPN values to be determined in duplicate, the results can be compared and if the tube combinations are credible, then the difference between the two results should not differ, in terms of decimal logarithm units, by more than 2,58 x  x 0,24 = 0,88 for the three-by-five tube method and 2,58 x  x 0,32 = 1,17  for the three-by-three tube method.

If two distributions with two replicates per distribution are compared, then the mean of the two should not differ, in terms of decimal logarithm units, by more than 2,58 × 0,24 = 0,62 for the three-by-five tube method and 2,58 × 0,32 = 0,83 for the three-by-three tube method.

8.3.8. Long-term performance assessment

8.3.8.1. General

Performance assessment in proficiency testing schemes is generally confined to assessment of results from single rounds, but there are instances where assessment in the longer term may be beneficial. Whilst this generally applies to external quality assessment schemes, some guidance is given for the sake of completeness.

Any method of assessing long-term performance shall ensure that laboratories undertaking enumeration examinations are not identified as “poor performers” by chance due to the number of organisms in the samples they receive.

 “Low” and “high” counts should be defined according to objective rules (e.g. Poisson model-based definition for low counts, percentiles or other methods for high counts), then used to determine those laboratories reporting such results more frequently over time than could be expected by chance.

...

...

...

8.3.8.2. Low count assessments

f chance is the only factor involved, the “tail-end” counts should be distributed at random. The results may be scrutinized to determine the scatter of tail-end results, between laboratories over a series of samples (e.g. using Cochran's Q-test).

If they are not distributed at random, a second stage analysis may be performed to determine the expected distribution of tail-end counts, amongst those laboratories reporting them, if they were simply due to natural variation between samples and not to laboratory performance effect. Then, contrasting those expected numbers of laboratories with the number actually observed highlights those laboratories that may have experienced problems. An example of performance assessment for samples containing low numbers is given in Table 2.

Table 2 - Observed and expected numbers of sets of results assuming random distribution of low results (from a distribution of low levels of Clostridium perfringens in drinking water samples, where variation in numbers between test items may necessarily exceed laboratory performance variation)

No. of “lows”

Observed

Expected

0

58

...

...

...

1

32

48,56

2

18

16,94

3

14

3,15

...

...

...

3

0,33

5

2

0,02

Total

127

127

One or two low results could have been due to chance; three were possibly not due to chance; four or more were unlikely to be due to chance and procedures should be checked.

...

...

...

Assessment of higher counts relies on similar principles, but less variation in participants' results due to variation in sample content is expected.

Long-term performance with, for example, the percentile method of evaluation, can be assessed over 12 samples, allowing a maximum score of 24 points. Participants are set a performance target of at least 70 %. If the 0,5 log₁₀ rule is discounted and an assumption is made that all participants are capable of delivering equivalent performance, then using multinomial theory, it can be shown that the probability of a participant obtaining a cumulative score that is less than 70 % of the maximum possible score is 5,2 %. This means that under these circumstances, approximately 1 in 20 participants may be identified incorrectly as “poor performers”. In reality performance is not equivalent and some laboratories do experience difficulties with the examinations that they undertake, so the probability of a satisfactory performance being incorrectly identified as “poor” is much lower than this. Furthermore, the use of the 0,5 log10 rule reduces this probability to less than 0,1 %.

A practical example of long-term performance assessment using spreadsheets is shown in Annex C.

8.4. Assessment of qualitative methods

8.4.1. General

For interlaboratory comparison studies in which one or more qualitative methods are used, the results are in fact black or white, yes or no, detected or not detected.

Methods of statistical analysis for this type of result are limited, but various options have been proposed, such as LOD₅₀, accordance or concordance assessments and percentage accuracy, and the optimal approach is still under consideration.

8.4.2. Performance of individual laboratories

A simple method for self-assessment by participant laboratories is to record the number of positive and negative results they have found, together with the number of positive and negative results which were expected. This information should be linked with records of the levels of target organisms in the samples to assess performance and also provide ongoing data on the limit of detection of the method in individual laboratories.

...

...

...

The interpretation of the data is simple:

a) for the negatives: all samples should be found negative;

b) for the high level: all the samples should be found positive;

c) for the low level: it can be calculated (see Table 3) using the binomial distribution and the percentage of samples found positive (can be obtained from a reference value from the organizer or as a best estimate from the results of all participants) at a 95 % confidence level.

Table 3 - Chance of finding a certain number of positives out of six samples tested as a function of the average percentage of positive samples (binomial distribution)

Number of positives out of six samples

Average percentage of positives

10%

20%

...

...

...

40%

50%

60%

70%

80%

90%

0

53,1 %

26,2 %

...

...

...

4,7 %

1,6 %

0,4 %

0,1 %

0,0 %

0,0 %

1

35,4 %

39,3 %

...

...

...

18,7 %

9,4 %

3,7 %

1,0 %

0,2 %

0,0 %

2

9,8 %

24,6 %

...

...

...

31,1 %

23,4 %

13,8 %

6,0 %

1,5 %

0,1 %

3

1,5 %

8,2 %

...

...

...

27,6 %

31,3 %

27,6 %

18,5 %

8,2 %

1,5 %

4

0,1 %

1,5 %

...

...

...

13,8 %

23,4 %

31,1 %

32,4 %

24,6 %

9,8 %

5

0,0 %

0,2 %

...

...

...

3,7 %

9,4 %

18,7 %

30,3 %

39,3 %

35,4 %

6

0,0 %

0,0 %

...

...

...

0,4 %

1,6 %

4,7 %

11,8 %

26,2 %

53,1 %

Example: To use Table 3, first the average percentage of positives has to be known. Here it is assumed to be 30 %, meaning that about one out of three samples contains the target organism. As only 30 % of the samples contain the target organism, it is likely that some of the samples might not contain the target when, for example, six samples are tested.

Table 3 shows that the chance of obtaining a set of six samples consisting of four positives and two negatives is 6 %. This is not likely to happen, but is still acceptable when a level of confidence of 95 % is assumed. The sum of the chances of finding 0, 1, 2, 3 or 4 positives is 99,0 % (11,8 + 30,3 + 32,4 + 18,5 + 6,0). In this case, 99 % is the smallest value, which is above 95 % (the confidence limit). Leaving out four positives results in 93 %, which is below the 95 % confidence level.

Another reasoning is that the chance of finding six out of six positives is only 0,1 %. This is very unlikely to happen purely by chance. As the uncertainty is set at a maximum of 5 % (100 % – 95 % confidence level), this falls within this limit. The same occurs for the situation when five or six samples out of a total of six are found positive. The sum of these chances is 1,1 % which is still below the 5 % limit. Only when the situation where four out of six are positives (6 %) is added does the uncertainty exceed the 5 % limit. As the maximum is set at 5 %, the situation of five or six positives out of a total of six tested is regarded as an unexpected result.

...

...

...

8.4.3. Scheme comparisons of laboratory performance

To compare the performance of one laboratory against other participating laboratories, the scheme organizers may calculate the numbers (or percentages) of positives for the levels contaminated with the target organism found per test sample by each laboratory (reported by laboratory code). An example of such data is given in Figure 2. In this study 28 laboratories participated (indicated as lab codes on the N_L-axis of Figure 2). Each laboratory analysed 22 chicken faeces samples, artificially contaminated with reference materials containing two different Salmonella serovars at four different contamination levels (varying from 10 to 500 cfu per sample). In Figure 2 the results are summarized for the sample with the low level of contamination (n = 14). The number of positives found in the participating laboratories varied from 0 to 11 samples (n₊ -axis in Figure 2).

In addition to this more descriptive way of presenting the results, it is possible to calculate specificity rates, sensitivity rates and accuracy rates per level of contamination of the samples (ISO 16140^[4]). These rates may be calculated for each laboratory and for the results from all laboratories.

KEY:

N_L lab code

n+ No. of positives

Figure 2 - Number of positive isolations per laboratory code for all tested low-level materials (n = 14)

The specificity rate, r_SP, is given by:

...

...

...

where:

n_ is the number of negative results found;

E_{(n− tot)} is the total number of expected negative samples.

The sensitivity rate, r_SE, is given by:

where:

n₊ is the number of positive results found;

E_{(n+ tot)} is the total number of expected positive samples.

The accuracy rate, r_AC, is given by:

...

...

...

where n_tot is the total number of samples.

This assessment is only meaningful if linked with the number of target organisms present.

ANNEX A

 (informative)

EXAMPLE OF DETAILS TO BE INCLUDED IN A PT SCHEME PLAN

PT scheme plan - Summary of scheme

Scheme name:

Food examinations scheme

...

...

...

Scheme type:

Food microbiology

Aims:

To provide external quality assessment samples for general routine examinations undertaken by food microbiology laboratories

Criteria for selection of participants:

Food microbiology laboratories with laboratory facilities adequate for dealing with pathogenic microorganisms of risk categories 1 and 2

Target participants:

Food microbiology laboratories in the private and public sectors

...

...

...

EU Regulation 882/2004 concerning the official control of foodstuffs

Sample type:

Freeze-dried microorganisms in evacuated glass vials

Examinations:

Presence/absence:

Campylobacteria spp.

Escherichia coli O157

Salmonella spp.

Enumerations:

...

...

...

Bacillus cerius

Clostridium perfringens

Coliforms

Enterobacteriaceae

Escherichia coli

Listeria monocytogenes

Coagulase positive staphylococci

Criteria for sample content:

Realistic microflora simulating that of real foods and providing a realistic challenge to routine food microbiology procedures

...

...

...

More than 200

Number of distributions per year:

Six (6)

Number of samples per distribution:

Two (2)

External subcontractors:

None

Technical experts:

Named individuals

...

...

...

Name of provider laboratory and standard methods used. 25 samples from every batch examined for all tests specified

Statistical methods:

Consensus median (enumerations)

Percentiles to identify outliers

Allocation of scores:

Yes

Criteria for scores:

Three scores allocated per sample for: i) pathogen examinations; ii) aerobic colony counts; iii) indicator organisms

Continuous performance assessment:

...

...

...

Criteria for identifying “poor performers”:

Less than 70 % maximum possible score over six distributions

Proactive approach by organizers to “poor performance”:

Yes

Method assessment:

Yes - for indicators only

Scheme co-ordinator or deputy to sign/date

Approved by steering group:

Date

...

...

...

Date

Costing approved:

Date

Accreditation dated:

Date

Other comments:

Review at steering group meeting

ANNEX B

...

...

...

METHODS OF TESTING FOR VARIATION BETWEEN PORTIONS OF TEST MATERIALS

B.1. T₁  − T₂ test

This test is recommended for cases where low numbers of organisms are present in portions of test materials (TMs) at levels up to 35 to 40 cfu per plate or where no “target standard deviation” can be assigned for assessing sufficient homogeneity.

The variation between analytical portions from one (reconstituted) unit of TM, T₁, and that between analytical portions from different (reconstituted) units of one batch of TM, T₂, is tested in different ways. Details can be found in Reference [12], but a summary is given here.

For the determination of the variation between analytical portions of one (reconstituted) unit of an TM (replicate testing), the T1 test statistic is applied:

             (B.1)

where:

z_ij is the number of cfu in one analytical portion j of unit i;

z_i+ is the sum of numbers of cfus in all analytical portions of unit i

...

...

...

J is the number of analytical portions per unit.

For the determination of the variation between analytical portions from different (reconstituted) units of one batch of TM, the T2 test statistic is applied:

                            (B.3)

where:

z₊₊ is the sum of numbers of cfus in all analytical portions of the tested units of one batch of TMs

I is the number of units tested.

If the Poisson distribution applies, T₁ and T₂ follow a -distribution with I(J − 1) and I − 1 degrees of freedom, respectively. In this case, the expected values of T₁ and T₂ are the same as the number of degrees of freedom. Hence,  and  are expected to be equal to one.

For the variation between units of one batch of TM, the Poisson distribution is the theoretical smallest possible variation that could be achieved. However, overdispersion is expected and  is mostly larger than 1 (Reference [12]). An acceptable variation between units of a batch of TM is  ≤ 2.

...

...

...

Given the following data:

Unit:

 (duplicate) counts:

1

z₁₁ = 45        z₁₂ = 49

2

z₂₁ = 33        z₂₂ = 42

3

z₃₁ = 40        z₃₂ = 42

...

...

...

J = 2 (two replicates)

z_1j/J = (45+49)/2 = 94/2 = 47

z_2j/J = (33+42)/2 = 75/2 = 37,5

z_3j/J = (40+42)/2 = 82/2 = 41

...

...

...

Tested two-sided at the 95 % confidence level, the lower and upper limit for this distribution are, with 3 degrees of freedom, 0,22 and 9,3, respectively. The calculated T₁ value (1,298) follows these criteria.

Accepted variation for the batch is: T₂ /(I - 1) ≤ 2.

Here T₂ /(I - 1) = 2,206/(3 - 1) = 1,103 and thus follows the criteria for acceptability of the batch.

B.2. Test for sufficient homogeneity

This test is recommended for cases where larger numbers of organisms (more than 35 to 40 cfu per plate) are present in portions of the test material and a target standard deviation, s_p, that describes the performance expected of PT scheme participants is available. It is based on the “sufficient homogeneity” test of Reference [11].

Given a set of test material portions analysed in duplicate with results expressed in log units, the test is passed if the between-portion variance, S²_sam, satisfies Condition (B.5):

where S²_an is the analytical variance. This test is less likely than that of T₁ − T₂ to lead to the rejection of a test material that is not perfectly homogenous (analytical results follow the Poisson distribution), but is sufficiently homogenous to be used in a proficiency test round with a target standard deviation of s_p. This is because materials are accepted unless it is shown with high confidence (95 %) that the fitness for purpose criterion of s_sam > 0,3 s_p, where s_sam is the standard deviation of which s_sam is an estimate.

...

...

...

Given quantitative results from the duplicate analysis of 10 test material portions, calculate the difference (D) and sum (S) and the square of D (D²) of the decimal logarithm of each set of results (Table 1).

Portion

Analysis 1

Analysis 2

Log analysis 1

Log analysis 2

D

S

D²

...

...

...

35

51

1,5441

1,7076

-0,1635

3,2516

0,026733

2

52

...

...

...

1,7160

1,6628

0,0532

3,3788

0,002835

3

35

33

1,5441

...

...

...

0,0256

3,0626

0,000653

4

53

38

1,7243

1,5798

0,1445

...

...

...

0,020878

5

30

40

1,4771

1,6021

-0,1249

3,0792

0,015610

...

...

...

33

30

1,5185

1,4771

0,0414

2,9956

0,001713

7

41

...

...

...

1,6128

1,7782

-0,1654

3,3909

0,027346

8

35

55

1,5441

...

...

...

-0,1963

3,2844

0,038532

9

68

67

1,8325

1,8261

0,0064

...

...

...

0,000041

10

52

60

1,7160

1,7782

-0,0621

3,4942

0,003362

...

...

...

In this case,  = 0,138 2/20 = 0,00691.

Calculate the variance of and divide it by two. This is equal to .

In this case,  = 0,04224/2 = 0,02112

Then S²_an =  and S²_sam = ( -)/2

In this case,  S²_an = 0,00691 and S²_sam = (0,02112 - 0,00691)/2 = 0,007104

Values for F₁ and F₂ depend on the number of portions examined in the test. For 10 portions F₁ = 1,88 and F₂ = 1,01 (values for other numbers of portions may be found in Reference [11]).

If the target standard deviation to be applied to the proficiency test results, σp, is equal to 0,25 log₁₀ units then

This value is larger than S²_sam (0,007104). Hence Condition (B.5) is satisfied and the test material is sufficiently homogenous.

...

...

...

ANNEX C

 (informative)

A PRACTICAL METHOD TO ASSESS LONG-TERM PERFORMANCE OF PARTICIPANTS IN PT SCHEMES USING ENUMERATION METHODS

C.1. Preparing data for analysis

Four columns of a spreadsheet are required to analyse enumeration results:

a) the count as reported by the participant (n_R-count);

b) the count to be used for charts and histograms and/or for scoring (n_S-count);

c) the count for analysis (n_A-count);

d) a comment column (text field) (n_C-count) for recording any notes about participants' results.

...

...

...

The n_R-count may also be entered as other text such as NE (not examined), ND (not detected), and UA (unassessable). Entries shall be made for all fields in the column.

If the n_R-count cannot be analysed (e.g. entered as NE) then there is no further analysis or allocation of score.

If the n_R-count cannot be included in the statistical analysis, e.g. the result was reported as a censored value, but a score is to be allocated and/or the result is to be plotted, then a numerical value shall be assigned to the n_s-count.

This value shall ensure that the correct score is allocated and that the result is plotted correctly. For example, scores may not be allocated to results reported as “not detected” but it may be helpful to include those results on a chart. In this case, the n_s-count may be entered as −99 and the n_A-count should be left blank.

If a reported result is to be allocated, a score is to be included in the statistical calculations; then the n_A-count = n_s-count.

C.2. Dealing with censored data

All low censored results are analysed in one of the following ways.

a) All results are assigned an n_s-count value of 0,2, but are not included in the analysis (n_A-count = 0). This arises when reports of a low censored value or reports of zero or “not detected” are clearly due to laboratory error because the level of the target organism or group in the sample was relatively high.

b) All low censored values and results of zero or “not detected” are assigned an n_s-count of 0,21) and included in the analysis because the level of the target organism or group was relatively low and those results may have arisen by chance (n_s-count = n_A -count = 0,2). There are exceptions, such as when the reported low censored value (<x) shows an inappropriate level of detection and the value of x is actually higher than the median (on initial calculation). In these exceptional cases the n_A-count should be left blank.

...

...

...

High censored values are entered as 1,0 log₁₀ above the maximum reported score. If, for any reason, the results are to be excluded from the charts and analysis, and no scores are to be allocated, then the n_s-count and n_A-count fields should be left blank. If a result is reported as >x where the x-value is less than the median then the n_A-count field should be left blank.

C.3. Plotting results

Plots are based on the n_S-count values. There are two main types of plots used for PT scheme results: histograms (or bar charts) and scatter plots. Points to be considered when choosing which type of plot to use include the type of examination (MPN, colony counts, etc.) and the number of participants undertaking the examination.

Histograms are produced from the decimal logarithm value of the nR-count grouped as follows:

< 0, (0 to 0,05), (0,05 to 0,1), (0,1 to 0,15), (max. log10 nR-count), (max. log10 n_R)-count + 0,05]

Any non-numeric or special cases to be plotted (e.g. −99) should be given their own bar.

Alternatively, the histogram may be produced based on the decimal logarithm value of the n_R-count rounded to the nearest 0,05. In this case the groupings are as follows.

0, 0,05, 0,1, 0,15 …. max. (log10 n_R-count).

In this case, the bar 0,1 includes all results from 0,075 to 0,124.

...

...

...

Bin-sizes (groups) of 0,05 log₁₀ are normally used for the histograms so the ranges for allocation of scores are also rounded to 0,05 log₁₀.

C.4. Allocation of scores

Where PT scheme results are assessed using scores, the criteria for allocation of scores should be listed in scheme protocols or reports. The score for the enumeration result is entered in a score field (nC-score); this may be manually amended where necessary.

Note that the final score for a result may be reached from the nC-score, but other factors may also require consideration.

ANNEX D

 (informative)

EXAMPLE OF A SAFETY DATA SHEET

Safety data sheet for food PT scheme samples - Freeze-dried

...

...

...

Review date:                dd-mm-yy

Issued to:                     All scheme participants

Identification of the product and the establishment

Product:                       Simulated food samples for general microbiological examinations

Establishment:             Full address and contact details for scheme organizer

Composition or information on ingredients

Glass vials of freeze-dried material containing a mixture of bacteria of hazard group 2 as defined by national and international legislation. A hazard group 2 organism may cause human disease and may be a hazard to laboratory workers, but is unlikely to spread to the community.

Hazard identification

Physicochemical hazard:          Not applicable

...

...

...

Environmental hazard: Not applicable

First aid measures

If accidental contact with material occurs, laboratory staff shall follow local first aid procedures that are normally applied following exposure to an equivalent food sample. Following exposure to the material, medical advice shall be sought.

Fire fighting measures

Not applicable

Accidental release measures

Cover the area with absorbent material and flood with a suitable disinfectant. The area shall be left undisturbed for 30 min before the spill is mopped up with an excess of absorbent material. Wear appropriate personal protective equipment.

Handling and storage

Store at room temperature in the dark. Samples shall be processed in a laboratory environment which, as defined by national regulations or guidelines, is suitable for the practice of microbiology. Staff handling the material should have been trained in the handling of infectious biological material. The material should be treated with the same degree of care as would be exercised with equivalent food samples. Hand-tomouth contact should be avoided while working with the samples and normal hand-washing procedures relating to the handling of routine samples shall also be observed with PT samples.

...

...

...

Use good laboratory practice and wear appropriate laboratory coats, gloves and eye protection. Removal of vials from packaging and reconstitution should be carried out in an exhaust protective cabinet.

Physical and chemical properties

Inert odourless dry material.

Stability and reactivity

Storage is unlikely to increase or decrease the risks of infection associated with handling the material.

Toxicological information

Not applicable

Ecological information

Not applicable

...

...

...

The used material shall be disposed of using an autoclave as for food products containing infectious microorganisms and in accordance with all local and national regulations.

Transport information

Refer to national and international regulations for transport of bacteria in hazard group 2 (biological substance, category B; UN3373).

Regulatory information

EC Biological agent, hazard category/risk group 2

CAUTION - This safety data sheet does not constitute the user's own assessments of workplace risk as required by health and safety legislation.

Other information

In the event of an accident involving exposure of staff to the material contained in the samples, contact the PT scheme organizers.

For further safety information concerning this product, participants are advised to read the instruction sheet accompanying the samples.

...

...

...

BIBLIOGRAPHY

 [1] TCVN 6910-2 (ISO 5725-2) Accuracy (trueness and precision) of measurement methods and results - Part 2: Basic method for the determination of repeatability and reproducibility of a standard measurement method.

 [2] TCVN 6910-4 (ISO 5725-4) Accuracy (trueness and precision) of measurement methods and results - Part 4: Basic methods for the determination of the trueness of a standard measurement method.

 [3] TCVN 8128-1:2009 (ISO/TS 11133-1:2009) Microbiology of food and animal feeding stuffs — Guidelines on preparation and production of culture media - Part 1: General guidelines on quality assurance for the preparation of culture media in the laboratory

[4] ISO 16140 Microbiology of food and animal feeding stuffs - Protocol for the validation of alternative methods

[5] TCVN ISO/IEC 17025 General requirements for the competence of testing and calibration laboratories

[6] ISO/TS 19036 Microbiology of food and animal feeding stuffs - Guidelines for the estimation of measurement uncertainty for quantitative determinations

[7] ISO/IEC Guide 99 International vocabulary of metrology - Basic and general concepts and associated terms (VIM)

[8] ILAC-G13, ILAC Guidelines for the requirements for the competence of providers of proficiency schemes. Available (2010-02-10) at: http://www.ilac.org/documents/ILAC G13 08 2007.pdf

...

...

...

[10] AUGUSTIN, J.C., CARLIER, V. Lessons from the organization of a proficiency testing program in food microbiology by interlaboratory comparison: analytical methods in use, impact of methods on bacterial counts and measurement uncertainty of bacterial counts. Food Microbiol. 2006, 23, pp. 1-138

[11] FEARN, T., THOMPSON, M. A new test for “sufficient homogeneity”. Analyst 2001, 126, pp, 1414-1417

[12] HEISTERKAMP, S.H., HOEKSTRA, J.A., VAN STRIJP-LOCKEFEER, N.G.W.M,. VAVELAAR, A.H,. MOOIJMAN, K.A, IN’T VELD, P.H., S.H.W., MAIER, E.A.; GRIEPINK.B. Statistical analysis of certification trials for microbioligcal reference materials. Luxembourg: commission of the European communities, 1993. 41 p. (Report EUR 15008 EN.)

[13] JARVIS, B. Sampling for microbiological analysis. In: LUND, B.M., BAIR-PACKER, A C., GOULD, G.W., editors. The microbiological safety and quality of food, Vol. 2, pp.1691-1734. Gaithersburg, MD: Aspen, 2000

[14] JARVIS. B. Statistical aspects of the microbiological examination of foods, 2^nd edition. Amsterdam: Academic Press, 2008. 306 p.

[15] JARVIS, B., HEDDGES.A.J., CORRY, J.E.L. Assessment of measurement uncertainty for quantitative methods of analysis: comparative assessment of the precision (uncertainty) of bacterial colony counts. Int. J. Food Microbiol. 2007, 116, pp. 44-51

[16] JARVIS.B., CORRY, J.E.R., HEDGES, A.J. Estimates of measurement uncertainty from proficiency testing schemes, internal laboratory quality monitoring and during routine enforcement examination fo foods. J. Appl. Microbiol. 2007, 103, pp. 462-467

[17] TILLETT, H.E., LIGHTFOOT, N.F. EATON, S. PLACE, B.M. External quality assessment of microbial counts from water: To score or not to score for proficiency. J. Chart. Inst. Water Environ. Manage. 2000, 14, pp. 304-308

Tiêu chuẩn quốc gia TCVN 9331:2012 (ISO/TS 22117 : 2010) về Vi sinh vật trong thực phẩm và thức ăn chăn nuôi - Hướng dẫn và các yêu cầu cụ thể về thử nghiệm thành thạo thông qua so sánh liên phòng thử nghiệm