Tính khả dụng của một chiếc đồng hồ báo thức đối với mục tiêu sẽ được đánh thức vào buổi sáng có thể được thử nghiệm bằng cách phát hiện xem, liệu sau khi thiết lập chế độ báo thức, người sử dụng có được gọi dậy ở thời điểm xác định vào buổi sáng hay không.

Ngoài ra, nếu nhận biết được khi nào chức năng báo thức được thiết lập chính xác, thì nó sẽ luôn kêu vào một thời điểm xác định và đủ to để đánh thức người sử dụng, việc đo đạc tính khả dụng của tương tác với giao diện người sử dụng bằng cách quan sát xem liệu người sử dụng có thiết lập thời gian chính xác và bật chức năng báo thức không là phù hợp với sự tin tưởng về tính khả dụng của sản phẩm đối với mục tiêu là được gọi dậy.

Do đó nếu đồng hồ báo thức được nhận biết là có chất lượng kỹ thuật như yêu cầu, thì việc thử nghiệm tính khả dụng của tương tác với giao diện người sử dụng cũng là một phương pháp kiểm tra tính khả dụng của sản phẩm. Nếu chất lượng kỹ thuật của đồng hồ báo thức không được nhận biết, thì tính khả dụng của tương tác với giao diện người sử dụng sẽ không cung cấp sự bảo đảm về tính khả dụng của đồng hồ báo thức trong việc đánh thức người sử dụng.

5.4  Hiệu lực và độ tin cậy

Cần dành sự quan tâm đặc biệt đến thiết kế các hoạt động thử nghiệm dựa trên người sử dụng nhằm bảo đảm kết quả đạt được sẽ:

- có hiệu lực, nghĩa là dữ liệu đó được thu thập trong thực tế và đo đạc đúng đối tượng mà việc thử nghiệm dự kiến được tiến hành đo đạc [nghĩa là chúng là những phép đo tính khả dụng phù hợp] và

- đáng tin cậy, nghĩa là hoạt động thử nghiệm sẽ tạo ra những kết quả nhất quán nếu phải tiến hành lặp đi lặp lại.

Một hoạt động thử nghiệm có hiệu lực và đáng tin cậy cung cấp cơ sở để từ đó một người có thể đánh giá các kết quả có thể được phổ biến để phán đoán được tính khả dụng của sản phẩm được thử nghiệm.

Phương pháp thử nghiệm được chỉ rõ tại Điều 6 kết hợp với nghiệm tốt được thiết kế để cực đại hóa tính hiệu lực và độ tin cậy của kết quả. Điều đặc biệt quan trọng là một mẫu đại diện của người sử dụng dự kiến tham gia vào hoạt động thử nghiệm nếu kết quả được áp dụng vào bộ phận người sử dụng dự kiến đó.

...

...

...

Bất kỳ hoạt động thử nghiệm nào có sự tham gia của con người cần được triển khai thực hành tốt trong các vấn đề liên quan đến đạo đức.

CHÚ THÍCH 1: Một số quốc gia có luật về nghiên cứu chủ thể là con người. Nhiều tổ chức tuân thủ theo các quy trình và quy định đã được thiết lập. Một số các tổ chức nghề nghiệp có các bộ quy tắc thực hành dành cho việc quản lý về mặt đạo đức của hoạt động thực nghiệm. Mục đích của các bộ quy tắc thực hành này là để bảo đảm lợi ích và quyền của những bên liên quan, bao gồm cả những người tham gia và những người có thể bị ảnh hưởng bởi hoạt động thử nghiệm, cũng như các điều tra viên.

Đặc biệt, việc thiết kế và tiến hành các hoạt động thử nghiệm cần bảo đảm bảo vệ được quyền lợi và sự an toàn của các cá nhân. Ví dụ:

- Không hoạt động thử nghiệm nào được yêu cầu các mức độ vượt quá các nỗ lực tâm lý hoặc tâm thần.

CHÚ THÍCH 2: Điều này đóng vai trò cực kỳ quan trọng khi các hoạt động thử nghiệm có sự tham gia của người cao tuổi hoặc những người khuyết tật.

- Cần bảo đảm tính riêng tư của các cá nhân tham gia.

- Cần duy trì sự bí mật của bất kỳ dữ liệu nào được thu thập.

- Nếu một số nhóm người sử dụng được xem là dễ bị tổn thương, ví dụ: trẻ em, người già, hoặc người khuyết tật, cần đặc biệt lưu tâm nhằm bảo vệ quyền lợi của các đối tượng này.

- Những người tham gia thử nghiệm cần được cung cấp thông tin phù hợp về mục đích và cách thức tiến hành bất kỳ nghiên cứu nào để từ đó cho phép họ quyết định xem liệu có nên tham gia hay không.

...

...

...

6  Tổng quan quy trình thử nghiệm

Để đo tính khả dụng và/hoặc khả năng tiếp cận sử dụng phương thức thử nghiệm tổng thể tại Điều 7, các hoạt động sau đây sẽ được tiến hành.

CHÚ THÍCH: Khi có những sự phụ thuộc qua lại lẫn nhau, có thể cần tiến hành song song một số hoạt động.

a) Xác định mục đích và phạm vi của hoạt động thử nghiệm (xem 7.1).

b) Nhận diện (các) sản phẩm được thử nghiệm (xem 7.2).

c) Xác định rõ các mục tiêu được tính tới trong hoạt động thử nghiệm (xem 7.3.2).

d) Xác định rõ (các) nhóm người sử dụng tham gia vào thử nghiệm (xem 7.3.3).

e) Xem xét liệu có sử dụng các nhóm người sử dụng thử nghiệm có chọn lọc để đánh giá khả năng tiếp cận hay không (xem 7.3.3.4).

f) Xác định rõ các đặc điểm về môi trường (xem 7.3.4).

...

...

...

h) Nhận diện các phép đo liên quan (xem 7.5.2).

i) Xác định số lượng người tham gia được yêu cầu để đạt được mức độ tin cậy như mong muốn (xem 7.5.3).

j) Tuyển dụng một mẫu những người sử dụng (xem 7.5.4).

k) Cấu hình sản phẩm (xem 7.5.5).

l) Xác định rõ các kịch bản thử nghiệm và các tiêu chí mục tiêu (xem 7.5.6).

m) Thiết lập thủ tục thử nghiệm (xem 7.5.7).

n) Tạo lập môi trường thử nghiệm (xem 7.5.8).

o) Đánh giá xem các tiêu chí để đạt được mục tiêu có đáp ứng được người sử dụng cá nhân hay không (xem 7.5.10).

p) Tính toán kết quả (xem Điều 8).

...

...

...

7  Phương pháp thử nghiệm

7.1  Mục đích và phạm vi thử nghiệm

Loại hình sử dụng của sản phẩm đã thử nghiệm phải được nhận diện, và quyết định xem liệu có cần phải thử nghiệm đối với khả năng tiếp cận hay không (xem 7.3.3.4). Mục đích của việc thử nghiệm (xem 5.2) và phạm vi (xem 5.3) của thử nghiệm sẽ được xác định để cho phép thiết kết được một thử nghiệm phù hợp và đem lại thông tin như yêu cầu.

7.2  Sản phẩm được thử nghiệm

Nhận diện (các) sản phẩm và (các) phiên bản cụ thể được thử nghiệm và, nếu phù hợp, tổ chức chịu tránh nhiệm cung cấp dịch vụ được hỗ trợ bởi sản phẩm.

Nếu bất kỳ sản phẩm nào được thử nghiệm không có chứng nhận sản phẩm, thì cần đảm bảo rằng những sản phẩm này an toàn để những người tham gia thử nghiệm sử dụng.

VÍ DỤ: Những vấn đề bao gồm an toàn điện, cạnh sắc hoặc các bộ phận nhỏ và không đính chặt khi tiến hành thử nghiệm ở trẻ nhỏ.

7.3  Tình huống đánh giá

7.3.1  Khái quát

...

...

...

CHÚ THÍCH 1: Thông tin chi tiết về tình huống sử dụng có thể tham khảo tại ISO/IEC 25063.

CHÚ THÍCH 2: Nếu thông tin chi tiết về tình huống sử dụng hiện thời hoặc dự kiến không sẵn có, thì cần phải tìm hiểu về thông tin dạng này. Ví dụ, nếu một thử nghiệm đang được tiến hành bởi hoặc thay mặt cho nhà sản xuất, thì nhà sản xuất có thể đã sẵn có những thông tin này.

7.3.2  Chỉ rõ việc đạt được mục tiêu sẽ được đo như thế nào

7.3.2.1  Phạm vi của các mục tiêu

Việc đo đạc tính khả dụng có thể tập trung vào [1] việc liệu người sử dụng có thể tương tác thành công với giao diện của sản phẩm, hay [2] liệu sản phẩm nói chung có đáp ứng được các tiêu chí khả dụng, hoặc [3] liệu việc cài đặt và thiết lập một sản phẩm tiêu dùng có đáp ứng được các tiêu chí khả dụng (xem 5.3).

7.3.2.2  Xác định rõ các mục tiêu của người sử dụng

(Các) mục đích chủ yếu về tính khả dụng của một sản phẩm cần được xác định.

Các mục tiêu của người sử dụng được thử nghiệm sẽ được xác định. Các mục tiêu cần được xác định trong mối liên hệ với việc nhận diện các nhóm người sử dụng (xem 7.3.3). Những nhóm người sử dụng khác nhau có thể có những mục tiêu khác nhau.

Đối với những mục tiêu được sử dụng để thử nghiệm, sẽ có khả năng được:

...

...

...

- nhận diện những tiêu chí để đạt được mục tiêu một cách thành công.

Việc đạt được một mục tiêu có thể phụ thuộc vào việc đạt được các mục tiêu nhỏ.

VÍ DỤ 1: Mục đích của việc xem tin tức trên TV có thể dựa trên việc đạt được những mục tiêu nhỏ là bật TV lên và chọn chương trình phù hợp.

Đôi khi có nhiều hơn một cách để đạt được cùng một mục tiêu.

VÍ DỤ 2: Một bản ghi có thể được xác định bởi cả ngày tháng và thời gian hoặc bằng tên.

Trong suốt quá trình sử dụng sản phẩm lần đầu tiên, mục tiêu chính có thể là việc cài đặt. Khi cài đặt đã hoàn tất, thì nó sẽ không còn là mục tiêu chính nữa.

(Các) mục tiêu của người sử dụng và tình huống sử dụng sản phẩm sẽ được nhận diện dựa trên hiểu biết về nhu cầu của người sử dụng, ví dụ: dựa trên thông tin thu được từ người sử dụng, khách hàng hoặc nhà cung cấp. Khi thử nghiệm các mục tiêu chính (xem 5.3.1), những mục tiêu được thử nghiệm sẽ bao gồm các dạng người sử dụng và mục đích người sử dụng thường xuyên và quan trọng nhất, và việc báo cáo kết quả sẽ giải thích làm thế nào các mục tiêu chính được nhận diện.

CHÚ THÍCH 1: Khi tiến hành thử nghiệm một sản phẩm sử dụng được ngay, tổ chức chịu trách nhiệm việc vận hành sản phẩm hoặc cung cấp dịch vụ có thể chia nhỏ tần suất và đặc điểm của những giao dịch mong đợi được thực hiện khi sử dụng sản phẩm.

Những mục tiêu và tình huống sử dụng được thử nghiệm sẽ dành cho các đầu ra mà người sử dụng có thể hy vọng một cách hợp lý là có khả năng đạt được trong tình huống sử dụng khi dùng sản phẩm để phục vụ một hoặc nhiều mục đích được xác định bởi nhà sản xuất.

...

...

...

CHÚ THÍCH 2: Tình huống này có thể nảy sinh khi tiến hành các thử nghiệm mang tính cạnh tranh khi sử dụng một vài sản phẩm với những phạm vi chức năng khác nhau.

VÍ DỤ: Một trong những mục tiêu chính được nhận diện khi sử dụng một chiếc điện thoại di động là có thể sử dụng nó trong một phạm vi rộng các điều kiện môi trường, bao gồm môi trường khá ồn ào, do vậy môi trường này có thể được tính đến trong một thử nghiệm mang tính cạnh tranh thậm chí chất lượng âm thanh của một chiếc điện thoại không phù hợp để nó có thể được nghe thấy trong môi trường này. Điện thoại không có chất lượng âm thanh phù hợp sẽ không có mặt trong nhiệm vụ thử nghiệm dành cho tình huống đó, nhưng sự không tương xứng của nó sẽ được ghi lại.

7.3.2.3  Thiết lập các tiêu chí dành cho việc kiểm tra đạt được mục tiêu thử nghiệm

Các mục tiêu thử nghiệm sẽ được thể hiện dưới hình thức những đầu ra dự kiến. Khi đo đạc tính năng tổng thể, các mục tiêu sẽ được mô tả độc lập theo phương tiện mà nhờ đó để đạt được các mục tiêu đã đề ra.

VÍ DỤ 1: Mục tiêu của một cái lò là để lò được làm nóng tới một nhiệt độ nhất định. Mục đích của một chiếc máy bán vé tự động là có thể mua được vé khứ hồi từ Luân-đôn tới Man-chét-tơ với giá rẻ nhất có thời hạn sử dụng phù hợp với ngày giờ dự kiến.

Những tiêu chí dành cho việc đạt được mục tiêu chính xác và hoàn thiện một cách phù hợp sẽ được xác định rõ theo cách có thể kiểm tra được. Các tiêu chí mà việc đạt được thành công một mục đích nào đó sẽ càng phù hợp với các tiêu chí có thể áp dụng bởi một người sử dụng tiêu biểu càng tốt, hơn là có bất kỳ trở ngại nào về công nghệ. Đối với một số sản phẩm, có thể chỉ có một kết quả được chấp nhận [ví dụ: để mở được một kiện hàng]. Đối với những sản phẩm khác, có thể có một loạt những đầu ra chấp nhận được [ví dụ: sự chính xác về nhiệt độ của một chiếc lò hay độ khô của quần áo].

Nếu một mục tiêu tổng thể có thể phần nào đạt được, cần xác định các tiêu chí đối với việc đạt được những mục tiêu nhỏ góp phần vào mục tiêu tổng thể.

VÍ DỤ 2: Mục tiêu khi sử dụng máy ảnh là có thể tạo ra một bức ảnh của một đồ vật ở đằng xa trong điều kiện ánh sáng kém. Tấm ảnh tốt nhất có thể chụp được sử dụng chế độ phóng to hết cỡ, chống rung và không sử dụng đèn flash. Nếu không sử dụng một trong những chế độ thiết lập này có thể sẽ làm giảm chất lượng của bức ảnh do vậy từng mục tiêu phụ được đánh giá riêng biệt.

Vì việc hoàn thiện thành công chính là tiêu chí, do vậy các phương thức khác nhau để đạt được (các) mục đích (bao gồm cả các lỗi được hiệu chỉnh thành công) sẽ được tính đến như những kết quả khả quan trừ khi phương tiện được sử dụng đem lại những kết quả không như mong muốn, ví dụ như đặt ra một rủi ro đối với sức khỏe của một cá nhân hoặc gây hư hỏng sản phẩm.

...

...

...

Các mục tiêu và nhiệm vụ có thể được phân thành các mục tiêu và nhiệm vụ con.

Các đầu ra của nhiệm vụ con cần đạt được để sử dụng sản phẩm nhằm đạt được (các) mục tiêu sẽ được nhận diện để hỗ trợ trong việc lập kế hoạch thử nghiệm và diễn giải kết quả. Sự nhận diện các nhiệm vụ con có thể được căn cứ trên thông tin do nhà sản xuất cung cấp, phân tích sản phẩm và/hoặc quan sát một mẫu đại diện của những người sử dụng tiềm năng.

7.3.3  Xác định (các) nhóm người sử dụng được dùng để thử nghiệm

7.3.3.1  Khái quát

Nhận diện phạm vi của những người sử dụng thực tế hoặc tiềm năng của sản phẩm. Đối với các sản phẩm tiêu dùng, điều này cần bao gồm cả những người sử dụng hiện có và người sử dụng mới, nếu phù hợp. Những nhóm người sử dụng khác nhau có thể sử dụng sản phẩm cho những mục tiêu khác nhau.

CHÚ THÍCH: Một số sản phẩm nhằm vào các phân khúc dân số đặc biệt (ví dụ: những người có sở thích đặc biệt hoặc một phân khúc thị trường liên quan đến thu nhập hay nhóm tuổi) hoặc có thể trong một họ các sản phẩm liên quan dành cho các phân khúc thị trường khác nhau.

Điều quan trọng là cần xét đến những người ở gần cuối phạm vi đặc điểm của người sử dụng trong bộ phận người sử dụng (xem 7.3.3.4), đặc biệt đối với những sản phẩm có thể dùng được ngay và những sản phẩm khác sẵn sàng được sử dụng công cộng. Đặc biệt là những dạng sau:

- những người sử dụng có các khả năng thể chất và nhận thức ở gần cuối phạm vi (ví dụ: kích thước cơ thể, sức bền, năng lực cơ sinh, các khả năng thị giác hoặc thính giác), đặc biệt là người cao tuổi, và

- những người sử dụng có các đặc điểm nhận thức ở gần cuối phạm vi như là kết quả của kiến thức, kinh nghiệm, văn hóa, khả năng biết đọc biết viết hoặc ngôn ngữ riêng biệt.

...

...

...

Những người sử dụng với một phạm vi về đặc điểm và khả năng rộng nhất có thể (bên trong bất kỳ tập con nào) mà thích hợp với việc thử nghiệm cần được thử nghiệm [có tính đến khả năng tiếp cận, xem 7.3.3.4], và nếu bất kỳ đặc điểm nào được trông đợi là có ảnh hưởng to lớn đến tính khả dụng, thì mỗi nhóm người sử dụng hoặc điều kiện của bối cảnh cần được thử nghiệm hoặc phân tích riêng biệt (xem Phụ lục C).

7.3.3.2  Các đặc điểm của người sử dụng

Các đặc điểm phân biệt mọi người trong những nhóm người sử dụng được lựa chọn và được trông đợi là có một ảnh hưởng đáng kể đối với tính khả dụng sẽ được nhận diện, tính đến cả những đặc điểm được giải thích trong TCVN 11698-1 (ISO 20282-1), Điều 7, và được tóm tắt dưới đây (xem C.2).

Đối với những nhóm người sử dụng tham gia vào hoạt động thử nghiệm, thì những thông tin sau đây được xem là cần thiết:

- Những đặc điểm về người sử dụng nào có thể ảnh hưởng tới tính khả dụng của sản phẩm nào đang được thử nghiệm?

- Phạm vi của những đặc điểm nào tồn tại trong nhóm người sử dụng dự kiến hoặc thực tế?

- Sự phân bổ của từng đặc điểm của người sử dụng tương ứng được mong đợi là gì?

a) Các đặc điểm tâm lý và xã hội

Cần thiết lập các đặc điểm và khả năng nhận thức (ví dụ: kiến thức và kinh nghiệm, những khác biệt về văn hóa, và khả năng biết đọc biết viết và ngôn ngữ) sẽ tạo ra ảnh hưởng lo lớn tới tính khả dụng. Điều này được thực hiện bởi đánh giá chuyên môn, sự thu thập dữ liệu sử dụng thực tế hoặc những nghiên cứu theo kinh nghiệm để đánh giá hiệu quả của những đặc điểm về người sử dụng khác nhau.

...

...

...

Nhận diện xem sản phẩm yêu cầu những đặc điểm thể chất riêng biệt (ví dụ như kích thước cơ thể, sức bền, năng lực cơ sinh, khả năng thị giác và thính giác hoặc khả năng sử dụng tay thuận). Cả những thử nghiệm trước đó của người sử dụng gần với các giới hạn mong đợi và việc sử dụng các nguồn dữ liệu hiện có về phạm vi đặc điểm của con người có thể được dùng để thiết lập xem liệu phạm vi dự kiến của người sử dụng có thể sử dụng sản phẩm hay không. Nếu số người không thể sử dụng sản phẩm đại diện cho một phần không thể bỏ qua của người sử dụng dự kiến, thì kết quả kiểm thử trên người sử dụng là không thích hợp. (xem 7.4.2).

VÍ DỤ 1: Dữ liệu đang tồn tại có thể được sử dụng để xác định cỡ chữ để dễ đọc bởi các phân khúc đặc biệt của dân số hoặc chiều cao được yêu cầu để với tới các phím điều khiển của một máy bán hàng tự động.

c) Nhân khẩu học

Nhân khẩu học như tuổi tác, giới tính và tình trạng kinh tế xã hội đem lại một cách thức thuận tiện cho việc phân nhóm một số các đặc điểm thể chất, tâm lý và xã hội, nhưng những đặc điểm khác biết khác (như kinh nghiệm với những dạng khác nhau của một loại sản phẩm) có thể đóng vai trò quan trọng hơn.

VÍ DỤ 2: Tập hợp người sử dụng một chiếc điện thoại di động dự tính là 80 % nói tiếng Anh, 10 % nói tiếng Pháp và 10 % nói các ngôn ngữ khác. Giả định như tất cả những người sử dụng này sẽ có kinh nghiệm trước về sử dụng điện thoại di động để gọi một cuộc điện thoại.

7.3.3.3  Các nhóm người sử dụng

Quyết định xem những đặc điểm của các nhóm người sử dụng dự kiến hoặc thực tế được xác định trong 7.3.3.1 chia người sử dụng thành các tiêu chí riêng sẽ có một ảnh hưởng lớn tới tính khả dụng (Xem C.2).

VÍ DỤ 1: Một sản phẩm toàn cầu được thử nghiệm, sử dụng các nhóm riêng biệt đối với từng dân tộc hoặc ngôn ngữ.

Cần quyết định việc thử nghiệm đối với người sử dụng lần đầu và/hoặc người đã có kinh nghiệm trước đó. Thậm chí với một sản phẩm mới, người ta có thể có kinh nghiệm với cùng loại sản phẩm hoặc kiểu dáng tương tự có từ trước, do vậy dạng kinh nghiệm thích hợp rất cần được xác định.

...

...

...

CHÚ THÍCH: Đối với việc thiết lập và cài đặt, cũng như đối với các sản phẩm sử dụng trong những tình huống nhất định, thì việc tiến hành với những người sử dụng lần đầu tiên là phù hợp. Nhưng đối với một sản phẩm chủ yếu được sử dụng thường xuyên, tốt hơn hết là thử nghiệm những người sử dụng sau các giai đoạn thực hành ban đầu.

7.3.3.4  Lựa chọn các nhóm người sử dụng để đánh giá khả năng tiếp cận

Việc lựa chọn các nhóm người sử dụng cho thử nghiệm có thể cung cấp thông tin về khả năng tiếp cận một sản phẩm.

Nếu sản phẩm được thử nghiệm là sản phẩm có thể sử dụng được ngay hoặc một sản phẩm sẵn sàng được sử dụng ở nơi công cộng, và khi sản phẩm dự định sẽ hỗ trợ những người có phạm vi về đặc điểm và khả năng rộng nhất, những người mà các đặc điểm về thể chất và tâm lý hướng đến gần các cực trị của phạm vi kể trên bên trong một bộ phận dân cư nói chung, thì các nhóm đại diện cho từng cực trị của phạm vi được mong đợi có ảnh hưởng nhất định đến tính khả dụng sẽ được lựa chọn để thử nghiệm.

Cần tính đến các xu hướng về nhân khẩu học nói chung, ví dụ: tại nơi dân số nhìn chung là người cao tuổi, người già cần được tham gia trừ khi sản phẩm đặc biệt loại trừ việc tham gia sử dụng của họ.

Thay vì thử nghiệm một mẫu từ công chúng, các nhóm thử nghiệm được lựa chọn từ những người có khả năng sẽ thấy khó khăn khi đạt được những mục tiêu đã xác định, đặc biệt, các mục tiêu liên quan đến sự hiệu quả. Một kết quả khả quan đối với sự hiệu quả thường cũng có tác dụng đối với những thành viên của công chúng phổ thông những người ít có cơ hội được trải nghiệm những khó khăn (xem C.5).

VÍ DỤ 1: Những thử nghiệm sơ bộ đối với một máy bầu cử điện tử đã cho thấy nó có thể được sử dụng thành công bởi những người không thuộc về các cực trị của phạm vi đặc điểm và khả năng, là những thứ có thể ảnh hưởng tới khả năng sử dụng máy bầu cử của những người này. Để đưa ra một sự bảo đảm bổ sung, rằng có thể được sử dụng bởi tất cả những người trong phạm vi có quyền được bầu cử, các thử nghiệm được lặp lại ở hai nhóm nhỏ, một nhóm với các khả năng hạn chế về thể chất và nhóm thứ hai là nhóm có ở lứa tuổi trên 75 và không có kỹ năng sử dụng máy tính.

VÍ DỤ 2: Bao bì dự kiến được sử dụng với những người ở độ tuổi từ 8 đến 90. Có một sự quan tâm đặc biệt về việc bao bì này có thể được mở bởi những người lớn tuổi, những người mà cả sức bền về thể chất lẫn khả năng về giác quan đều kém hơn so với những người sử dụng trẻ tuổi. Các thử nghiệm được tiến hành trên một mẫu gồm những người sử dụng tuổi đời từ 65 đến 90. Nếu nhóm thử nghiệm thành công trong việc mở được bao bì, thì có thể dự báo được rằng những thành viên trẻ tuổi hơn của dân số sử dụng sẽ cũng có khả năng mở được bao bì đó.

CHÚ THÍCH 1: Lợi ích của sự tiếp cận này là nếu việc thử nghiệm có thể bị hạn chế đối với những mẫu từ những cực trị của dân số, thì tổng số những người tham dự có thể giảm xuống trong khi vẫn chiếm một mức khá cao về lòng tin thường gắn với số người tham dự nhiều hơn.

...

...

...

Tuyên bố về khả năng tiếp cận của một sản phẩm cần cụ thể đối với những đặc điểm của những người tham dự vào thử nghiệm. Ví dụ, được thiết lập rằng một sản phẩm có thể được sử dụng bởi những người hạn chế về khả năng trí tuệ, điều này không thể sử dụng để tuyên bố rằng sản phẩm cũng có thể được sử dụng phù hợp cho những người gặp hạn chế về màu sắc. Bất kỳ một tuyên bố nào về khả năng tiếp cận của một sản phẩm sẽ được hỗ trợ bởi các chi tiết về tập hợp người sử dụng là tập hợp mà những người tham gia là mẫu đại diện.

7.3.4  Nhận diện các đặc điểm môi trường

Những môi trường chủ đạo mà sản phẩm được (hoặc dự kiến sẽ) sử dụng cho những người sử dụng được lựa chọn và các nhiệm vụ cần được xác định. Những thuộc tính về vật lý, xã hội hoặc môi trường kỹ thuật đó có khả năng sẽ tạo ra những ảnh hưởng đáng kể đối với hiệu quả, hiệu suất hoặc sự thỏa mãn mà với chúng những mục tiêu có thể đạt được sẽ được xác định.

VÍ DỤ: Máy ảnh có thể được sử dụng vào buổi tối khi có thể không có sự chiếu sáng nào cả. Nhiệt độ trải rộng từ - 5°C đến + 40°C.

7.4  Kiểm tra xem sản phẩm có khả năng đạt được những mục tiêu dự kiến đối với những người sử dụng dự kiến

7.4.1  Kiểm tra xem sản phẩm có khả năng kỹ thuật đáp ứng tiêu chí để đảm bảo đạt được mục tiêu một cách thành công

Đối với từng mục tiêu được thử nghiệm, một cuộc kiểm tra sẽ được tiến hành để xem sản phẩm có khả năng tạo ra những kết quả có thể thỏa mãn đầy đủ những nhu cầu của người sử dụng. Những mục tiêu đơn giản có thể được kiểm tra bằng việc thanh tra (ví dụ: xem công tắc bật/tắt có vận hành chính xác). Đối với những mục tiêu phức tạp hơn (ví dụ: xem chuông báo động có phát ra âm thanh đủ lớn hoặc chiếc lò nóng lên tới mức nhiệt hiển thị không), việc kiểm tra sẽ căn cứ như sau:

a) Tài liệu do nhà sản xuất cung cấp nói rõ việc vận hành sản phẩm đáp ứng được những tiêu chuẩn kỹ thuật đã được thiết lập.

b) Thực hiện những thử nghiệm kỹ thuật dựa trên các Tiêu chuẩn Quốc tế hoặc các tiêu chuẩn đã được công bố khác mà với đó thiết lập nên chất lượng được công nhận (ví dụ: xem các tính năng điều khiển của một thang máy có ở trong đường bao tầm với của những người ngồi xe lăn).

...

...

...

d) Đối với việc cài đặt và thiết lập, một chuyên gia có thể kiểm tra xem sản phẩm có thể được cài đặt và thiết lập theo cách sẽ đáp ứng được những yêu cầu của người sử dụng một cách phù hợp.

Nếu không sẵn có một nguồn chứng cứ nào nói trên, thử nghiệm để đạt được các mục tiêu nằm ngoài phạm vi tại tiêu chuẩn này và sự thiếu vắng bằng chứng để hỗ trợ cho mục tiêu này sẽ được nhắc tới trong báo cáo.

Nếu từ một kết quả của các hoạt động kiểm tra nói trên, không mục tiêu nào có thể đạt được cùng sản phẩm, thì chúng sẽ bị loại bỏ khỏi thử nghiệm về tính khả dụng tổng thể của sản phẩm đó.

7.4.2  Kiểm tra xem sản phẩm có tương thích với những đặc điểm của người sử dụng dự kiến

Kiểm tra sẽ được tiến hành xem các nhóm người sử dụng dự kiến có thể, nói chung, vận hành một sản phẩm, ví dụ: xem các tính năng điều khiển có trong tầm với và/hoặc xem những người sử dụng có kiến thức thiết yếu cần thiết.

CHÚ THÍCH 1: Một số nhóm người sử dụng, ví dụ như người cao tuổi hoặc người khuyết tật, có thể sử dụng các chế độ tương tác khác nhau.

Tại nơi việc thanh tra sản phẩm cho thấy việc đạt được thành công bất kể một mục tiêu nào được xác định tại Mục 7.3.2.2 là không thể đối với một số thành viên của một nhóm sử dụng dự kiến, thông tin về sự thiếu vắng hỗ trợ dành cho mục tiêu này sẽ được nêu ra trong báo cáo.

CHÚ THÍCH 2: Ngoài ra, có thể sẽ phù hợp để tiến hành xem xét việc thiết kế hoạt động thử nghiệm.

CHÚ THÍCH 3: ISO/TR 22411 bao gồm dữ liệu và kiến thức ecgônômi về khả năng của con người đối với người cao tuổi và những người khuyết tật mà căn cứ vào đó để tiến hành các hoạt động thanh tra.

...

...

...

7.5  Thiết kế và tiến hành thử nghiệm

7.5.1  Khái quát

Một lần thử nghiệm có thể bao gồm các thử nghiệm đối với những sản phẩm khác nhau, những nhóm người sử dụng và/hoặc những mục tiêu khác nhau và cũng có thể bao gồm nhiều hơn một nhiệm vụ được tiến hành thử nghiệm. Các phép đo được mô tả trong phần còn lại của 7.5 là những phép đo cần được nhận diện cho từng nhiệm vụ.

7.5.2  Nhận diện các phép đo liên quan

7.5.2.1  Khái quát

Các phép đo được yêu cầu (chữ đậm) và các ví dụ về những thuộc tính lựa chọn có thể được đo được đưa ra trong Bảng 1.

Bảng 1 - Các ví dụ về những phép đo thuộc tính của tính khả dụng

Thuộc tính

Các phép đo khách quan

...

...

...

Hiệu quả

Tỉ lệ thành công

Thành công được nhận thấy

Hiệu suất

a) nguồn lực được sử dụng

Thời gian thực hiện nhiệm vụ, chi phí thực hiện nhiệm vụ

Thời gian được nhận thấy, chi phí được nhận thấy

b) nhu cầu về nguồn lực con người

Nỗ lực nhận thức hoặc thể chất

...

...

...

Nỗ lực tâm lý được nhận thấy

Gánh nặng thể chất được nhận thấy

Sự thỏa mãn

Các phép đo tâm sinh lý [ví dụ: Galvanic da phản ứng (GSR), giãn đồng tử]

- không được thiết lập tốt vì không đáng tin cậy

Một người có thể đo những kết quả tiềm ẩn về sự thỏa mãn, ví dụ:

- sử dụng lại sản phẩm hoặc dịch vụ

- mua sản phẩm hoặc dịch vụ

- thay đổi nhãn mác

...

...

...

Thỏa mãn với thời gian thực hiện nhiệm vụ

Các phép đo về sự hài lòng

Các phép đo về kinh nghiệm của người sử dụng

Các phép đo về lòng tin

Các phép đo về sự thoải mái

Xu hướng khuyến cáo

Tầm quan trọng tương đối của các phép đo khác nhau sẽ phụ thuộc vào dạng (các) mục tiêu và tình huống sử dụng.

7 5.2.2  Hiệu quả

Hiệu quả sẽ được đo bằng tỷ lệ thành công: tỷ lệ phần trăm người sử dụng thành công trong việc đạt được từng nội dung sử dụng sản phẩm [xem 7.3.2.3]

...

...

...

Nhận thức của người tham gia về sự thành công (thành công được nhận thấy) cũng cần được đánh giá đối với những nhiệm vụ thực hiện tại nơi có thể không có một sự chắc chắn nào.

7.5.2.3  Hiệu suất

a) Tận dụng nguồn lực

Thời gian dùng để thực hiện mục tiêu cần được đo đạc.

Nhằm cho phép tính thời gian thực hiện nhiệm vụ, cần xác định chỉ tiêu dành cho việc hoàn thiện nhiệm vụ. Điều này cần bao gồm một tuyên bố của người sử dụng cho thấy họ tin tưởng rằng mình đã hoàn thành nhiệm vụ. Các phép đo thời gian thực hiện nhiệm vụ sẽ chỉ bao gồm thời gian tự thực hiện nhiệm vụ, không kể thời gian đọc và hiểu những chỉ dẫn dành cho nhiệm vụ. Việc tính thời gian nên bắt đầu sau khi người sử dụng đã đọc những chỉ dẫn và tại thời điểm thông tin trên màn hình tương tác được hiển thị phục vụ người sử dụng. Những hướng dẫn nhiệm vụ thử nghiệm cần sẵn có cho người tham dự để tiến hành xem lại trong suốt quá trình thực hiện nhiệm vụ.

Cần thiết lập một khoảng thời gian tối đa cho phép để đạt được mục tiêu một cách thành công. Khoảng thời gian này cần phù hợp nhằm cho phép những người thử nghiệm thử nhiều cách khác nhau để đạt được mục tiêu trước khi họ từ bỏ. Khoảng thời gian được mong đợi để hoàn thiện nhiệm vụ cần được ước tính từ những lần tiền thử nghiệm và khoảng thời gian tối đa cho phép để người sử dụng thực hiện trước khi họ được phân loại như đã không đạt được mục tiêu tối thiểu phải lớn hơn 3 lần so với thời gian mong đợi. Phép đo thời gian thực hiện nhiệm vụ cần dừng lại nếu cần nhiều thời gian hơn là khoảng thời gian tối đa và nhiệm vụ sẽ được phân loại là không thành công.

Chi phí thực hiện nhiệm vụ: Mặc dù thời gian là nguồn lực được đo phổ biến nhất, nhưng trong một số trường hợp, các nguồn lực khác tính bằng chi phí tiền tệ lại đóng vai trò quan trọng (như chi phí cho một cuộc gọi).

Thời gian được nhận thấy, chi phí được nhận thấy: điều quan trọng là biết được cảm giác của người sử dụng về thời gian hay chi phí.

b) Yêu cầu về nguồn lực con người

...

...

...

Nỗ lực thể chất: đối với các tính năng điều khiển vật lý, sẽ có một mức độ tối ưu về nỗ lực thể chất và có một mức độ tối đa có thể chấp nhận được về nỗ lực thể chất được đo một cách khách quan hoặc chủ quan.

Nỗ lực tâm lý: ngoài nỗ lực tâm lý có thể được chấp nhận tối đa, còn có thể tồn tại một lượng nhỏ các nhiệm vụ (ví dụ để duy trì sự yêu thích). Nỗ lực tâm lý thường được đo nhiều nhất thông qua một bộ câu hỏi.

7.5.2.4  Sự thỏa mãn

Sự thỏa mãn toàn diện đối với tất cả các mục tiêu có trong thử nghiệm sẽ được đo ngay tại phần cuối của thử nghiệm sử dụng thang đo biểu tượng diễn cảm tại E.1. SUS cũng có thể được sử dụng.

CHÚ THÍCH 1: Thang đo biểu tượng diễn cảm có lợi thế là đơn giản và nhanh chóng đối với người quản trị và được sử dụng rộng rãi trong nghiên cứu về người tiêu dùng.

CHÚ THÍCH 2: Thang đo SUS được sử dụng rộng rãi trong nghiên cứu tính khả dụng và, vì nó có 10 câu hỏi, nên có lẽ sẽ có độ tin cậy cao hơn. Sự phân bố kết quả đối với các dạng thức khác nhau của sản phẩm cũng sẵn có. [24]

Đo đạc sự thỏa mãn có thể bao gồm sự thỏa mãn toàn diện về sản phẩm, sự thỏa mãn với từng đặc điểm của sản phẩm, sự thỏa mãn với việc đạt được mục tiêu tương ứng, sự thích thú khi sử dụng.

Khi hơn một nhiệm vụ được thử nghiệm, nếu phù hợp, sự thỏa mãn cần được đo cho từng nhiệm vụ cũng như cho việc sử dụng tổng thể (xem E.2).

CHÚ THÍCH 3: Đo sự thỏa mãn sau thử nghiệm tổng thể sẽ có được cảm tưởng toàn diện của người sử dụng một cách chính xác hơn, trong khi đo sự thỏa mãn sau từng nhiệm vụ (ví dụ: với thang đo biểu tượng diễn cảm) sẽ đem lại sự đánh giá chính xác hơn về sự thỏa mãn của người sử dụng với từng mục tiêu hoặc nhiệm vụ.

...

...

...

CHÚ THÍCH 4: Kết quả của sự thỏa mãn có thể bao gồm những ảnh hưởng đến thái độ như mua hoặc sử dụng lại một sản phẩm hoặc một nhãn hiệu được tin dùng.

7.5.3  Xác định số người tham dự được yêu cầu đối với mức độ tin cậy mong đợi

Để giảm bớt tác động của bất kỳ lỗi lấy mẫu nào, một lượng ít nhất là 10 người tham gia đại diện sẽ được sử dụng cho từng nhóm người sử dụng được thử nghiệm (xem C.3).

Mức độ tin cậy thống kê được yêu cầu (tin tưởng rằng kết quả không tình cờ xảy ra) sẽ được nhận diện. Mức độ của sự tin cậy cần thiết sẽ phụ thuộc vào dạng thử nghiệm và mục đích. Tỷ lệ thành công theo yêu cầu càng cao và sự tin cậy càng cao, thì sẽ yêu cầu càng nhiều người sử dụng.

CHÚ THÍCH: Trong công tác khoa học, thường yêu cầu tối thiểu 95 % sự tin cậy để rút ra kết luận, nhưng đối với một số mục đích kinh doanh, thì mức độ thấp hơn về lòng tin (khoảng 80 %) có thể phù hợp [21] nếu 20 % rủi ro của một kết luận không chính xác có thể được chấp nhận.

VÍ DỤ 1: Tiêu chuẩn Quốc tế đối với các hộp đựng không chỉ định cho trẻ em, tiêu chuẩn ISO 8317, yêu cầu 75 % trẻ em không thể mở được hộp, với 95 % tin tưởng.

VÍ DỤ 2: Bảng D.2 cho thấy 95 % sự tin cậy và 80 % tỷ lệ thành công, với một mẫu gồm 14 người sử dụng, thì tất cả những người sử dụng này phải thành công hoặc 20 trong số 21 người sử dụng trong một mẫu thử phải thành công. Bảng D.1 cho thấy rằng nếu 80 % sự tin cậy là vừa đủ, thì các mẫu thử nhỏ bằng 4 có thể đem lại 80 % sự tin cậy trong tỷ lệ thành công là 80 %.

7.5.4  Tuyển một mẫu thử người sử dụng

Một mẫu thử (hoặc các mẫu thử) đại diện cho (các) nhóm người sử dụng dự kiến hoặc người sử dụng thực tế sẽ được tuyển chọn (từ tập hợp người sử dụng được nhận diện trong mục 7.3.3) để tham gia thử nghiệm. (Những) mẫu người sử dụng sẽ được lựa chọn để làm mô phỏng cho sự phân bổ các đặc điểm người sử dụng thích hợp trong (các) nhóm người sử dụng xác định (xem C.4). (Các) mẫu cần có sự phân bổ giá trị hoặc thuộc tính của các đặc điểm người sử dụng liên quan gần với (các) nhóm người sử dụng dự kiến hoặc thực tế được xác định trong 7.3.3.

...

...

...

VÍ DỤ: Một chuông báo thức yêu cầu sự khéo léo trong sử dụng để vận hành các tính năng điều khiển và tuổi đọc 12 năm để hiểu được các hướng dẫn. Những đặc điểm người sử dụng liên quan này được lấy mẫu thông qua những người sử dụng được tuyển với một sự phân bổ đại diện về lứa tuổi và trình độ học vấn hiện có. Chỉ 5 % người mua được kỳ vọng có kinh nghiệm trước về dạng đồng hồ báo thức này, và vì nhiệm vụ thiết lập báo thức được mong đợi là sẽ khó hơn rất nhiều đối với những người chưa có kinh nghiệm sử dụng, chỉ những người chưa có kinh nghiệm trước mới được thử nghiệm.

Những người tham gia thử nghiệm sẽ không thuộc tổ chức tiến hành thử nghiệm hay chế tạo ra sản phẩm, trừ khi sản phẩm được sử dụng trong tổ chức đó, trong trường hợp này những người tham gia thử nghiệm sẽ không thuộc bộ phận phát triển, cần cố gắng tuyển những người không phải là thành viên gia đình hay bạn bè vì họ có thể sẽ thiên vị.

CHÚ THÍCH 2: Những người tham dự đã quen với lĩnh vực công nghệ và/hoặc quy trình thiết kế và phát triển sở hữu kiến thức và kỹ năng mà những người sử dụng đại diện không có. Tham gia cùng họ trong nghiên cứu có thể thỏa hiệp sự hợp lệ của nghiên cứu đó.

7.5.5  Cấu hình sản phẩm

Phiên bản của sản phẩm được thử nghiệm sẽ được ghi lại. Việc đánh giá sẽ được tiến hành với sản phẩm đang được sử dụng kết hợp với thiết bị hoặc tài liệu thông thường có mặt trong quá trình sử dụng sản phẩm.

Thương hiệu sản phẩm có thể ảnh hưởng lớn đến sự thỏa mãn do vậy nếu phù hợp để giảm bớt ảnh hưởng của Thương hiệu sản phẩm lên kết quả, thì nên dấu kín Thương hiệu sản phẩm đó.

Sản phẩm cần được lắp đặt theo một cấu hình phù hợp (thường là cấu hình mặc định khi phân phối), hoặc đối với việc lắp đặt và thiết lập, thì cấu hình sẽ được cung cấp khi người sử dụng theo cách điển hình mà họ nhận được.

Khi thử nghiệm bắt đầu, sản phẩm cần được thiết lập theo một cấu hình đặc thù mà người sử dụng có thể sẽ được trải nghiệm.

VÍ DỤ: Sử dụng một chiếc điện thoại di động với các cài đặt mặc định hoặc sử dụng một đầu ghi TV đặt dưới TV. Để cài đặt, chiếc điện thoại di động được cung cấp một chiếc hộp trong đó có tài liệu liên quan. Một chiếc lò nướng được lắp đặt chuyên nghiệp trong một căn nhà thực tế kết nối với đường cung cấp khí đốt hoặc điện, nhưng thiếu cấu hình cho đồng hồ hoặc các tính năng điều khiển khác.

...

...

...

7.5.6  Xác định các tình huống thử nghiệm và tiêu chí mục đích

Một tình huống thử nghiệm sẽ được xác định cho từng mục tiêu được thử nghiệm.

Một tình huống thử nghiệm là một ví dụ về tình huống đánh giá mô tả một hoàn cảnh mà tại đó người tham dự được yêu cầu đạt được (các) mục tiêu nhất định trong một môi trường đặc biệt.

Tình huống thử nghiệm sẽ bao gồm một tuyên bố chính xác về mục tiêu sẽ đạt được (xem 7.3.2).

VÍ DỤ 1: Sử dụng điện thoại gọi đến số 01509 123456.

VÍ DỤ 2: Thiết lập các tính năng cho một chiếc điện thoại di động trong lần sử dụng đầu tiên.

Đối với từng mục tiêu thử nghiệm, tiêu chí đối với việc đạt được mục tiêu sẽ được xác định (xem 7.3.2.3), cùng với cách thức thiết lập để có thể đạt được mục tiêu đó.

Đôi khi có thể thiết lập tiêu chí dành cho thời gian thực hiện nhiệm vụ có thể chấp nhận được, [27] ví dụ, dựa trên khoảng thời gian người sử dụng dự kiến sẽ đạt được cùng mục tiêu khi sử dụng sản phẩm khác. Thời gian có thể chấp nhận được tối đa sẽ được xác định cho từng nhiệm vụ (xem 7.5.2.3).

Nếu có nhiều hơn một mục tiêu được tiến hành thử nghiệm, sẽ cần phải quyết định thứ tự tiến hành các nhiệm vụ. Nói chung, nếu có một trình tự thông thường mà các nhiệm vụ sẽ được tiến hành, thì trình tự đó sẽ chính là thứ tự tiến hành thử nghiệm. Nếu không tồn tại trình tự nào cả, thì cần tránh tiến hành thử nghiệm theo một trình tự cố định nhằm tránh các ảnh hưởng trật tự tùy tiện. Trong trường hợp này, trật tự cần được thay đổi một cách có hệ thống hoặc chỉ định người tham gia thử nghiệm một cách ngẫu nhiên.

...

...

...

a) Một kịch bản bằng văn bản sẽ được chuẩn bị cho từng mục tiêu nhiệm vụ, bao gồm các hướng dẫn được trình diễn cho từng người sử dụng. Kịch bản sẽ bao gồm phần mô tả tình huống trong đó việc thử nghiệm sẽ được tiến hành (ví dụ: chụp một bức ảnh tại buổi họp mặt gia đình) và sẽ xác định rõ mục đích cụ thể và các điều kiện áp dụng cho mục đích đó. Sẽ không có những gợi ý về việc đạt được mục tiêu hay sử dụng những đặc điểm nào. Kịch bản nên bao gồm tất cả những thông tin mà người sử dụng cần biết để thực hiện nhiệm vụ. Những người tham dự sẽ không được yêu cầu đọc bất kỳ một hướng dẫn sử dụng sản phẩm sẵn có nào (xem 7.5.5).

b) Người sử dụng sẽ không được cung cấp bất kỳ một gợi ý hoặc hỗ trợ nào từ nhân sự tiến hành thử nghiệm, nhưng dựa trên mục đích của thử nghiệm, những hướng dẫn đi kèm với sản phẩm có thể được cung cấp.

c) Những người tiến hành thử nghiệm sẽ ghi lại khoảng thời gian cần để đạt được từng mục tiêu. Nếu người sử dụng dùng hết tổng lượng thời gian tối đa cho phép mà không đạt được mục tiêu, họ sẽ được yêu cầu dừng lại và nếu phù hợp, sẽ chuyển tới mục tiêu tiếp theo.

d) Bản chất của bất kỳ lỗi nào hoặc những khó khăn khác mà người sử dụng gặp phải có thể được ghi lại nhằm nhận diện các vấn đề về tính khả dụng và có thể được cung cấp như phản hồi để phục vụ thiết kế. Điều này có thể bao gồm những gì mà tập con các mục tiêu đã đạt được hoặc chưa đạt được và lý do tại sao.

7.5.8  Tạo ra môi trường thử nghiệm

a) Thử nghiệm sẽ được tiến hành trong một môi trường mô phỏng gần giống với môi trường mà sản phẩm sẽ được sử dụng. Nếu sử dụng một phòng thí nghiệm tính khả dụng, thì cần ghi lại các điều kiện thông thường có thể ảnh hưởng tới mức độ của tính khả dụng đạt được.

Nếu một mục tiêu đạt được trong khi việc sử dụng sản phẩm có thể chịu ảnh hưởng xấu bởi các điều kiện môi trường cụ thể, thì thử nghiệm có thể được tiến hành trong các điều kiện đó nhằm bảo đảm các mức độ cao của tính khả dụng trong mọi tình huống.

VÍ DỤ 1: Thường được sử dụng trong thời tiết lạnh bởi những người đeo găng tay do đó sẽ được thử nghiệm trong môi trường lạnh.

b) Nếu sản phẩm thường được sử dụng/lắp đạt trong môi trường căng thẳng, thì điều này có thể được tái hiện lại trong môi trường thử nghiệm hoặc sử dụng một thử nghiệm trên hiện trường.

...

...

...

c) Cung cấp bất kỳ tài liệu cần thiết để sử dụng/lắp đặt sản phẩm.

d) Cung cấp cách thức truy nhập một đường dây hỗ trợ hoặc hỗ trợ qua mạng, nếu được, cho một sản phẩm.

VÍ DỤ 3: Cầu là, ghi chú cho một máy, bánh mì cho lò nướng bánh, quần áo cho một máy giặt.

7.5.9  Thử nghiệm thí điểm

Khi lần đầu thử nghiệm một sản phẩm, một hoặc hai người hoàn thiện thử nghiệm về tính khả dụng có thể cho thấy những sai sót rõ ràng với thiết kế thử nghiệm hoặc với sản phẩm trước khi tiết hành thử nghiệm đầy đủ. Một thử nghiệm thí điểm có thể điều chỉnh lại các tình huống nhiệm vụ nhằm giảm bớt sự tối nghĩa và tránh những vấn đề không mong muốn.

7.5.10  Đánh giá xem liệu tiêu chí đối với việc đạt được mục tiêu đã được đáp ứng bởi những người sử dụng cá nhân

Đối với mỗi người sử dụng, thành công của từng mục tiêu được thử nghiệm sẽ được phán đoán bởi việc đánh giá đầu ra để tìm hiểu xem tiêu chí thành công đã được đáp ứng hay chưa (xem 7.3.2.3). Một trong những phương pháp sau đây sẽ được sử dụng vào việc đánh giá:

a) đánh giá bởi người quản lý thử nghiệm thành công thông qua việc điều tra đầu ra, khi hoạt động này được tiến hành theo cách thức hợp lý và đáng tin cậy;

b) đánh giá thành công dựa trên trình tự các bước hành động của người sử dụng được biết là sẽ dẫn đến kết quả đáng tin cậy trong một đầu ra có thể được chấp nhận (xem 5.3);

...

...

...

8  Kết quả

8.1  Khái quát

Tất cả các phương pháp sẽ được ghi lại bằng các khoảng tin cậy (xem Phụ lục D).

Nếu tuyên bố một yêu cầu đã được đáp ứng, thì mức thống kê có ý nghĩa sẽ được xác định.

Nếu tiến hành so sánh hai sản phẩm, ý nghĩa thống kê về bất cứ sự khác biệt nào giữa các sản phẩm đó hoặc các điều kiện khác sẽ được xác định.

8.2  Mục tiêu

Nếu đo đạc tính khả dụng của toàn bộ sản phẩm, và nếu tất cả các mục tiêu chính của sản phẩm đều đã được thử nghiệm cho cùng kết quả (đạt hoặc không đạt), thì báo cáo có thể đưa ra kết luận về tính khả dụng của một sản phẩm.

Mặt khác, nếu nhiều hơn một mục tiêu được thử nghiệm, thì các kết quả thử nghiệm sẽ xác định những mục tiêu nào được thử nghiệm và lý do tại sao, các lý do sẽ được đưa ra cho từng mục tiêu riêng biệt. Khi tiến hành so sánh các sản phẩm cả các mục tiêu chính sẽ được nhận diện và sử dụng như cơ sở để tiến hành thử nghiệm lẫn các mục tiêu được sử dụng để thử nghiệm sẽ được định rõ bằng phần giải thích tại sao các mục tiêu lại được lựa chọn.

8.3  Hiệu quả

...

...

...

VÍ DỤ: 11 trong số 12 người sử dụng đạt được các mục tiêu chính khi sử dụng một sản phẩm. Ước tính với 80 % sự tin cậy và tối thiểu 82,1 % người sử dụng dự kiến sẽ thành công.

8.4  Hiệu suất

(Các) kết quả được báo cáo sẽ bao gồm thời gian trung bình nhân [29] mà người sử dụng cần để đạt được (các) mục tiêu cụ thể thành công, cùng với các khoảng tin cậy.

CHÚ THÍCH: số trung bình nhân là giá trị trung bình của dữ liệu nhật ký được chuyển đổi, được chuyển lại về thang đo nguyên bản.

VÍ DỤ: Thời gian trung bình mà những người sử dụng này cần để mua thành công đúng tấm vé là 20 s (với 95 % xác suất giá trị thật nằm giữa khoảng 15 s và 25 s).

Các phép đo hiệu suất khác (xem 7.5.2.3) cũng có thể được báo cáo.

8.5  Thỏa mãn

Kết quả đã báo cáo sẽ bao gồm giá trị trung bình [30] các điểm biểu tượng diễn cảm (xem Phụ lục E) cùng với các khoảng tin cậy.

9  Báo cáo

...

...

...

CHÚ THÍCH: Báo cáo toàn diện cung cấp thông tin cần thiết phục vụ các thử nghiệm so sánh trong tương lai.

Nếu một phiên bản ngắn của báo cáo được cung cấp, cần bao gồm những thông tin trong phần tóm tắt cho lãnh đạo tại F.2.

Nếu tất cả các mục tiêu chính của sản phẩm được thử nghiệm cho cùng kết quả, thì tuyên bố có thể bao gồm một tuyên bố tổng thể về tính khả dụng của một sản phẩm.

Bất kỳ tuyên bố về kết quả nào đều phải gồm các thông tin sau đây:

a) các mục tiêu không được hỗ trợ (xem 7.4);

b) nếu các mục tiêu chính được thử nghiệm, và phần giải thích về cách thức nhận diện các mục tiêu chính (xem 7.3.2.2);

c) nếu các mục tiêu chính không được thử nghiệm, thì những lý do lựa chọn mục tiêu sẽ được thử nghiệm (xem 7.3.2.2).

Phụ lục A

...

...

...

Các mục tiêu của người sử dụng

Bảng 1 đưa ra những ví dụ về các mục tiêu của người sử dụng dành cho việc lựa chọn các sản phẩm.

CHÚ THÍCH: Sẽ là không phù hợp nếu chỉ tiến hành thử nghiệm những mục tiêu chính, trong trường hợp còn có các mục tiêu quan trọng khác.

Bảng 1 - Các ví dụ về những sản phẩm khác nhau và (các) mục tiêu chính gắn với người sử dụng

Sản phẩm

(Các) mục tiêu chính

Ví dụ về nhiệm vụ nhỏ

Những vấn đề về lắp đặt

Đồng hồ báo thức

...

...

...

Điều chỉnh thời gian, đặt thời gian báo thức, bật báo thức, tắt báo thức

Việc lắp các bộ pin là nhiệm vụ lắp đặt và bảo quản

Thiết bị đo huyết áp

Đo được huyết áp

Đeo vào, khởi động đo, đọc kết quả, tháo ra

Việc lắp các bộ pin là nhiệm vụ lắp đặt và bảo quản

Máy quay video

Ghi băng video và phát lại

Lắp phương tiện ghi, quay video, dừng lại, phát đoạn phim

...

...

...

Máy rút tiền (ATM)

Lấy được tiền bằng cách sử dụng thẻ tín dụng

Đưa thẻ vào máy, nhập mã PIN, nhập số lượng tiền, lấy lại thẻ, lấy tiền, nhận lại thẻ

Việc lắp đặt không phải là trách nhiệm của người mua

Máy cassette

Ghi âm và phát thông tin âm thanh

Lắp băng cassette mới vào máy, điều khiển các mức độ, ghi, dừng chức năng ghi, tua lại băng, phát băng, điều chỉnh âm lượng, tháo băng khỏi máy

Thiết lập chế độ âm thanh nổi là một nhiệm vụ lắp đặt

Đầu máy CD

...

...

...

Cho CD vào máy, phát CD, chọn rãnh ghi, dừng CD, lấy CD ra khỏi máy

Máy rửa bát

Để có được chén bát sạch

Cho chén đĩa vào máy, cho chất tẩy rửa, chọn chương trình và khởi động máy, dừng máy, lấy chén đĩa ra

Máy sấy

Sấy khô quần áo

Cho quần áo vào máy, chọn chương trình, tắt máy, lấy quần áo ra

...

...

...

Lò sưởi điện

Làm ấm một khu vực

Bật máy lên, chọn chế độ làm ấm, tắt máy

Bếp hồng ngoại

Nấu ăn

Bật ô bếp được chọn ở mức nhiệt xác định, điều chỉnh nhiệt độ trong thời gian nấu, tắt bếp

Bàn là điện

...

...

...

Đặt bàn là ở mức nhiệt theo mong muốn, dùng bàn là loại bỏ các nếp nhăn, tắt bàn là

Máy xay sinh tố

Trộn đều các loại thực phẩm

Tháo cuộn dây, cắm điện, cho thực phẩm vào máy và lắp dụng cụ trộn, bật máy, trộn đều, tắt máy, lấy thực phẩm ra, rửa sạch, cuộn dây

Bếp điện

Để hâm nóng thực phẩm

Bật mâm làm nóng được chọn ở mức nhiệt được lựa chọn

...

...

...

Lò nướng điện

Nấu ăn

Làm nóng lò ở nhiệt độ mong muốn

Máy fax

Gửi (các) trang tới một số fax cụ thể

Đưa trang giấy vào máy, quay số và gửi fax tới số đó, lấy lại tờ giấy

Kết nối với một đường dây điện thoại và bật lên là những nhiệm vụ lắp đặt

Thiết bị dập lửa trong nhà bếp

...

...

...

Lấy thiết bị dập lửa, kích hoạt thiết bị dập lửa

Bếp gas

Hâm nóng thức ăn

Bật mâm bếp được chọn, đánh lửa, điều chỉnh mức nhiệt

Công tắc đèn

Chiếu sáng vị trí riêng biệt

Bật đèn trong phòng được chọn, tắt đèn trong phòng được chọn

...

...

...

Tủ két

Cất thứ gì đó vào nơi an toàn và lấy lại nó sau

Đưa tiền vào, mở két, cất đồ vật, đóng két, giữ chìa khóa hoặc mật mã, mở két, lấy lại đồ vật

Lò vi sóng

Làm nóng thức ăn ở  một mức nhiệt phù hợp

Cho thức ăn vào lò, chọn mức năng lượng và thời gian, khởi động, lấy thức ăn ra

Điện thoại di động

...

...

...

b) thực hiện cuộc gọi đi

Kích hoạt điện thoại, kích hoạt số (quay số)

Đóng gói

Bao gói quanh vật cần được bảo quản

Mở gói, bở bớt các miếng đệm/chèn

Máy bán vé đỗ xe tự động

Tuân theo nội quy đỗ xe tại một địa điểm cụ thể

...

...

...

Máy ảnh

Chụp ảnh để sau này xem lại

Lắp phim hoặc phương tiện lưu trữ vào máy, bật máy, ngắm, chụp, thực hiện các bước để xem lại ảnh

Việc lắp các bộ pin là nhiệm vụ lắp đặt và bảo quản

Máy bán hàng tự động

Mua một sản phẩm

Chọn một sản phẩm, đút tiền vào máy, lấy sản phẩm

...

...

...

Gọi điện tới một số nhất định

Kích hoạt điện thoại (nhấc ống nghe), trả tiền, kích hoạt số điện thoại (quay số)

Máy bán cà phê tự động

Mua một cốc cà phê hoặc một loại cà phê đặc biệt

Chọn loại cà phê, đưa tiền vào máy, lấy cà phê

Đài

Nghe một đài phát thanh đặc biệt

...

...

...

Tủ lạnh

Trữ thực phẩm ở một nhiệt độ phù hợp

Cho thực phẩm vào, chọn nhiệt độ phù hợp, lấy thực phẩm ra

Buồng điện thoại

a) nhận cuộc gọi đến

b) thực hiện cuộc gọi đi

Kích hoạt điện thoại (nhấc ống nghe), kích hoạt số điện thoại (quay số)

...

...

...

Hộp thu tín hiệu vệ tinh

Xem các chương trình TV được chọn

Bật lên, chọn trạm thu tín hiệu, tắt đi

Thiết lập là một nhiệm vụ lắp đặt

Máy trả lời điện thoại

Ghi lại và phát các cuộc gọi đến

Phát các cuộc gọi đến, phát cuộc gọi nhận được cụ thể, xóa hết các cuộc gọi

Ghi lại các tin nhắn thuộc về nhiệm vụ thiết lập

Vô tuyến có điều khiển từ xa

...

...

...

Bật TV, chọn chương trình và âm thanh bằng điều khiển từ xa, tắt TV

Thiết lập các kênh là một nhiệm vụ cài đặt

Máy nướng bánh mỳ

Có được miếng bánh mỳ đã nướng vừa tới

Cho bánh mỳ vào máy, chọn chế độ nướng, bật máy, lấy bánh mỳ ra

Máy hút bụi

Làm sạch một khu vực sàn nhà

Tháo dây cuốn, cắm điện, bật máy, chọn độ mạnh, di chuyển chổi, tắt máy, rút phích cắm, cuộn dây

...

...

...

Máy ghi hình cá nhân (PVR)

Ghi và phát các video

Bật máy, định vị hướng dẫn chương trình, chọn chương trình được ghi, định vị dang sách các đoạn ghi, chọn chương trình, chạy chương trình, tắt máy

Máy bán vé giao thông tự động

Mua một chiếc vé cho một lộ trình phù hợp

Chọn tuyến đường, mức phí một chiều tới điểm đến, đưa tiền vào máy, lấy vé

Máy giặt

...

...

...

Cho quần áo vào máy, cho chất tẩy rửa, chọn chương trình phù hợp, khởi động máy, lấy quần áo ra sau khi máy dừng, tắt máy

Vòi nước

Lấy nước ở nhiệt độ được yêu cầu

Bật vòi, điều chỉnh nhiệt độ, tắt vòi

Phụ lục B

(Tham khảo)

...

...

...

B.1  Sự khác nhau giữa các phương pháp thử nghiệm tính khả dụng mẫu và tổng thể

Các phương pháp thử nghiệm tổng thể được sử dụng để đo khả năng hữu dụng của một sản phẩm. Phần này của ISO/TR 20282 bao gồm một phương pháp thử nghiệm có thể được sử dụng, ví dụ: để ước tính phần trăm số người thành công trong việc đạt được mục tiêu của mình trong thực tế sử dụng. Các phương pháp mẫu được sử dụng để hiểu được điểm mạnh và điểm yếu của một sản phẩm để cải thiện tính khả dụng của sản phẩm đó. Các phương pháp mẫu để thử nghiệm tính khả dụng dựa trên người sử dụng chủ yếu sử dụng một số ít người sử dụng và gồm cả ý kiến rõ ràng của người sử dụng do đó các phương pháp này không đưa ra được những ước tính chính xác về hiệu quả, hiệu suất và sự thỏa mãn.

B.2  Sự lựa chọn các phép đo

Để có được các phép đo tính khả dụng đáng tin cậy, cần có một phương pháp đánh giá tổng thể phù hợp với tiêu chuẩn ISO 9241-11. Điều này trái ngược với các phương pháp đánh giá mẫu đặc thù sử dụng một lượng nhỏ người tham gia để nhận diện các vấn đề về tính khả dụng.

Hiệu quả được nhận diện trong tiêu chuẩn ISO 9241-11 dưới dạng độ chính xác và hoàn thiện, nhưng đối với những nhiệm vụ đơn giản thuộc phạm vi tại tiêu chuẩn này ISO/TR 20282, thì chỉ sử dụng tỷ lệ thành công.

CHÚ THÍCH: Khá khó để đo đặc độ chính xác; ví dụ xem tiêu chuẩn ISO/IEC 205062.

Hiệu suất được định nghĩa tại tiêu chuẩn ISO 9241-11 dưới hình thức nguồn lực được sử dụng liên quan đến độ chính xác và hoàn thiện. Đối với các mục đích thực tiễn, thời gian là nguồn lực quan trọng nhất (và tự nó có thể diễn giải một cách dễ dàng hơn so với một tỷ lệ).

Sự thỏa mãn được định nghĩa tại tiêu chuẩn ISO 9241-11 như là thoát khỏi sự lo lắng, và những thái độ tích cực hướng đến việc sử dụng một sản phẩm. Đối với tính khả dụng, thành tố quan trọng nhất của sự thỏa mãn chính là thái độ tích cực.

B.3  Số lượng người sử dụng

...

...

...

Phụ lục C

(quy định)

Tuyển chọn mẫu đại diện cho người sử dụng

C.1  Quyết định việc chia nhỏ người sử dụng thành từng nhóm

Quyết định xem các đặc điểm của những nhóm người sử dụng dự kiến hay thực tế được nhận diện trong 7.3.3 để chia người sử dụng thành các nhóm riêng biệt sẽ có ảnh hưởng to lớn đến tính khả dụng.

Nếu có nhiều hơn một nhóm người sử dụng riêng biệt, thì quyết định xem liệu thử nghiệm toàn bộ hay chỉ một vài nhóm người sử dụng, dựa trên mục đích của thử nghiệm.

VÍ DỤ 1: Nếu ngôn ngữ nói sẽ ảnh hưởng lớn đến tính khả dụng, thì từng nhóm ngôn ngữ sẽ được thử nghiệm riêng biệt.

VÍ DỤ 2: Nếu kiến thức hoặc kinh nghiệm có trước sẽ gây ảnh hưởng lớn đến tính khả dụng, thì mỗi nhóm sẽ được thử nghiệm riêng biệt.

...

...

...

VÍ DỤ 4: Nếu tính khả dụng được biết tới là có thể chấp nhận được đối với các nhóm người sử dụng chiếm ưu thế, thì chỉ những nhóm người sử dụng gặp nhiều khó khăn hơn (như lớn tuổi hơn hoặc những người khuyết tật) có thể được thử nghiệm.

VÍ DỤ 5: Để đánh giá xem tính khả dụng và khả năng tiếp cận dành cho người sử dụng với phạm vi đặc điểm rộng nhất có thể đã đạt được, các nhóm người sử dụng rút ra từ các điểm cực trị của phạm vi đa dạng của các đặc điểm sẽ được thử nghiệm.

VÍ DỤ 6: Nếu thông tin được yêu cầu về tính khả dụng đối với toàn bộ tập hợp người, thì một mẫu đại diện rút ra từ tập hợp người có thể được thử nghiệm. Để mở rộng tối đa tính hợp lệ thống kê, sử dụng một mẫu càng lớn càng tốt. Nhưng không thể rút bất kỳ một suy luận thống kê nào về tính khả dụng cho bất kỳ nhóm hợp thành nào mà chỉ đại diện cho một phần trăm nhỏ tập hợp người sử dụng.

Nếu sau thử nghiệm, việc kiểm tra dữ liệu thử nghiệm cho thấy có những khác biệt lớn hơn dự kiến giữa các nhóm con bên trong một nhóm người sử dụng, thì sản phẩm có thể được tiến hành thử nghiệm lại sử dụng các mẫu người sử dụng mới cho mỗi nhóm con.

Việc quyết định xem nên thử nghiệm trên những người sử dụng lần đầu và/hoặc trên những người đã có kinh nghiệm trước đóng vai trò quan trọng. Thậm chí với một sản phẩm mới, người sử dụng có thể đã có kinh nghiệm khi sử dụng những sản phẩm tương tự hoặc mẫu tương tự có trước đó, do vậy cần xác định dạng kinh nghiệm liên quan trước đó.

VÍ DỤ 7: Người sử dụng một chiếc điện thoại di động được chia thành những nhóm xác định bởi kinh nghiệm của họ trong việc cài đặt dạng điện thoại di động này:

a) chưa từng cài đặt một chiếc điện thoại di động nào;

b) đã từng cài đặt điện thoại di động nhưng của một nhãn hiệu khác;

c) trước đây đã cài đặt một chiếc điện thoại di động tương tự.

...

...

...

Chỉ một nhóm duy nhất có thể được thử nghiệm, ví dụ: những người sử dụng thường xuyên nhất hoặc một nhóm người sử dụng đặc biệt.

VÍ DỤ 8: Đồng hồ báo thức tại khách sạn có vẻ như khó điều chỉnh nếu lần đầu sử dụng, nhưng lại dễ điều chỉnh từ các lần tiếp theo trở đi. Chỉ những người chưa dùng đồng hồ báo thức loại này trước đây mới được thử nghiệm.

C.2  Lựa chọn quy mô mẫu

Để giảm bớt ảnh hưởng của bất kỳ lỗi lấy mẫu nào, tối thiểu 10 người tham dự đại diện sẽ được sử dụng cho từng nhóm người sử dụng.

Quy mô mẫu càng lớn, thì sự dự đoán càng chính xác (miễn là mẫu phải đại diện cho tập hợp người sử dụng). Nếu kết quả đạt được từ mẫu trước chưa chuẩn, thì những người tham dự bổ sung có thể được thử nghiệm.

VÍ DỤ: Nếu tỷ lệ thành công đo được là 90 %:

- Trường hợp 9 người thành công trong tổng số 10 người sử dụng, thì tỉ lệ thành công của tập hợp người sử dụng tối thiểu với 80 % độ tin cậy là 79 %.

- Trường hợp 18 người thành công trong tổng số 20 người sử dụng, thì tỷ lệ thành công của tập hợp người sử dụng tối thiểu với 80 % độ tin cậy là 81 %.

- Trường hợp 45 người thành công trong tổng số 50 người sử dụng, thì tỉ lệ thành công của tập hợp người sử dụng tối thiểu với 80 % độ tin cậy là 86 %.

...

...

...

C.3  Tuyển một mẫu đại diện người sử dụng

Các nhóm người sử dụng hoàn toàn khác biệt về đặc điểm, nhiệm vụ hoặc môi trường là những yếu tố ảnh hưởng lớn tới tính khả dụng. Bên trong mỗi nhóm người sử dụng, sẽ có nhiều đặc điểm khác nhau (như tuổi tác hoặc giới tính) có thể ảnh hưởng đến tính khả dụng. Một mẫu đại diện cho các đặc điểm kể trên cần được tuyển lựa để tham gia thử nghiệm. Việc lấy mẫu theo dạng phân tầng có thể được sử dụng để có được một mẫu đại diện cho các đặc điểm phù hợp. Nếu được thử nghiệm tại hiện trường, mẫu đại diện có thể được xây dựng thông qua phỏng vấn để chọn ra những gì cần đưa vào mẫu đó.

Nhiều đặc điểm về thể chất và tâm lý thông thường (như sức khỏe, độ sắc nét thị giác và các khả năng nhận thức) có thể ảnh hưởng đến tính khả dụng, có thể được lấy mẫu trực tiếp thông qua sự đa dạng về nhân khẩu học phù hợp như lứa tuổi, giới tính và trình độ giáo dục. Người sử dụng cần được lựa chọn để làm đại diện cho những biến số về nhân khẩu học này và các đặc điểm đáng kể khác mà sẽ không đầy đủ nếu chỉ lấy mẫu bởi các biến số nhân khẩu học.

VÍ DỤ 1: Trong một tập hợp dân số đa dân tộc, những người sử dụng được chọn có một loạt các nền tảng văn hóa mà họ đại diện.

VÍ DỤ 2: Khi thử nghiệm một sản phẩm tiêu dùng, người sử dụng được chọn sẽ là đại diện về kinh nghiệm mà họ có được với các thương hiệu/nhãn hàng khác nhau.

VÍ DỤ 3: Một đồng hồ báo thức yêu cầu dùng tay để vận hành các chức năng điều khiển và độ sắc nét thị giác tốt để đọc được chỉ dẫn. Những đặc điểm người sử dụng phù hợp được lấy mẫu thông qua tuyển lựa người sử dụng với sự phân bổ đại diện về lứa tuổi, năng lực và trình độ học vấn. Do có 5 % người mua được hy vọng có kinh nghiệm trước đây về loại đồng hồ báo thức này và nhiệm vụ thiết lập chiếc đồng hồ này được mong chờ là sẽ khó hơn đối với những người không có được kinh nghiệm này, và chỉ những người chưa có kinh nghiệm mới được tham gia thử nghiệm.

Lấy mẫu theo dạng phân tầng (xem ISO 15535) nên được sử dụng để phân bổ người sử dụng qua càng nhiều vị trí hoán đổi của các đặc điểm nhân khẩu học (nhưng không ảnh hưởng đáng kể tới tính khả dụng thực tiễn) càng tốt. Sự kết hợp được lựa chọn về đặc điểm của người sử dụng có thể được liệt kê ra trong một bảng.

VÍ DỤ 4: Bảng C.1 trình bày một mẫu gồm 12 người tham dự trong một nhóm người sử dụng được chọn, do vậy họ có cùng các thuộc tính đại diện tương đồng: tuổi từ 18 đến 65, giới tính và trình độ học vấn.

Bảng C.1: Ví dụ về một mẫu phân tầng

...

...

...

Trình độ học vấn cao nhất

Tổng số

Giáo dục phổ thông

Đào tạo cao hơn

Nam

Nữ

Nam

Nữ

18-33

...

...

...

1

1

1

4

34-58

1

1

1

1

...

...

...

59-65

1

1

1

1

4

Tổng số

6

6

...

...

...

C.4  Các nhóm người sử dụng thiểu số

Nếu không thể bao gồm cả những nhóm người sử dụng thiểu số (như một dân tộc hoặc một dạng khuyết tật đặc biệt) bởi những người này cấu thành một phần trăm rất nhỏ của tập hợp người sử dụng dự kiến bên trong một mẫu đại diện, các thử nghiệm bổ sung có thể được tiến hành với các mẫu riêng lẻ cho từng nhóm để xác định xem các thành viên của những nhóm này có thể sử dụng sản phẩm.

Kết cấu của các mẫu dành cho thử nghiệm cần không bao gồm các thành viên của nhóm người sử dụng với các đặc điểm được cho là sẽ có những ảnh hưởng đáng kể về tính khả dụng. Nếu người sử dụng với những đặc điểm này là một phần của tập hợp người sử dụng dự kiến, thì một mẫu đại diện cần được thử nghiệm như một nhóm người sử dụng riêng lẻ.

CHÚ THÍCH: Nếu tính khả dụng được biết tới có thể được chấp nhận đối với hầu hết tập hợp người sử dụng, thì thử nghiệm có thể giới hạn cho những nhóm nhất định được dự báo là sẽ gặp nhiều khó khăn hơn.

C.5  Tần suất tham gia

Nếu người tham gia được tuyển từ một cơ sở dữ liệu của tình nguyện viên, thì cần giới hạn tần số những người này được phép tham dự vào thử nghiệm. Điều này nhằm tránh tạo ra “những người tham dự thử nghiệm chuyên nghiệp”. Điều này có thể căn cứ trên hướng dẫn được sử dụng trong nghiên cứu thị trường đối với các nhóm trọng điểm (thường giới hạn tham gia hai lần/năm).

C.6  Dữ liệu sử dụng thông thường

Dữ liệu có thể thu được từ một sản phẩm có thể sử dụng được ngay trong hoạt động sử dụng thông thường, thông qua quan sát (nếu được chấp thuận) và từ dữ liệu được thu thập tự động từ một máy đã được trang bị để ghi lại các hành động và phản hồi của người sử dụng.

CHÚ THÍCH: Dữ liệu từ tài liệu được ghi lại có thể cung cấp những ước tính chính xác về thời gian thực hiện nhiệm vụ để hoàn thiện nhiệm vụ đó. Dữ liệu về tỷ lệ thành công sẽ ít có giá trị hơn, vì nó chỉ ghi lại thông tin về những người bắt đầu nhưng không hoàn thành nhiệm vụ. Tỷ lệ này không bao gồm những người quyết định không bắt đầu thực hiện nhiệm vụ.

...

...

...

Phụ lục D

(quy định)

Các khoảng tin cậy

D.1  Hiệu quả

Hiệu quả được đo bằng phần trăm người sử dụng đạt được mục tiêu sử dụng một sản phẩm một cách thành công. Các khoảng tin cậy dành cho sự hiệu quả sẽ được tính toán sử dụng số liệu thống kê nhị thức chính xác (Xem phần Thư mục tham khảo). Để thiết lập được tỉ lệ thành công cao với mức độ tin cậy cao thì cần có một mẫu lớn người sử dụng. Bảng D.1 đưa ra những ví dụ về cách tính toán thống kê (sử dụng phương pháp Adjusted Wald) của số người sử dụng không thành công tối đa được yêu cầu để tính toán các tỷ lệ thành công của tập hợp người sử dụng lớn hơn 75 % và 80 % với 80 % và 95 % sự tin cậy sử dụng thử nghiệm một đuôi (one-tailed test) (khi giả thuyết là chỉ được loại bỏ với các giá trị thấp hơn đáng kể).

CHÚ THÍCH 1: Phương pháp Adjusted Wald được dùng để tính các khoảng tin cậy vì phương pháp này cung cấp các giá trị tập hợp người sử dụng đối với các mẫu nhỏ. [25] [28] [31]

VÍ DỤ: Nếu 9 trong 10 người sử dụng thành công, thì có xác suất 95 % cho tỷ lệ thành công tối thiểu là 63 % và xác suất 80 % cho tỉ lệ thành công là 78 %.

CHÚ THÍCH 2: Những số liệu thống kê này chỉ có giá trị đối với những mẫu ngẫu nhiên với sự phân bổ kết quả thử nghiệm xấp xỉ mức bình thường. Điều quan trọng là người sử dụng được chọn ngẫu nhiên và khi phân tầng một mẫu, thì điều quan trọng là người sử dụng được chọn ngẫu nhiên theo từng phạm trù (xem Phụ lục C).

CHÚ THÍCH 3: Mức 95 % sự tin cậy là bình thường trong nghiên cứu khoa học và khi đưa ra tuyên bố cụ thể; tuy nhiên, mức 80 % sự tin cậy có thể là đủ cho các quyết định kinh doanh.

...

...

...

- 0 trong số 14 đến 20 người sử dụng được thử nghiệm;

- 1 trong số từ 21 đến 28;

- 2 trong số 30 người sử dụng;

- 3 trong số 40;

- 5 trong số 50, và

- 13 trong số 100 người sử dụng.

Số lượng tối đa những người sử dụng không thành công được yêu cầu để ước tính tỷ lệ thành công của tập hợp người sử dụng lớn hơn 75 % với 95 % sự tin cậy là:

- 0 trong số từ 10 đến 16 người sử dụng,

- 1 trong số từ 17 đến 21 người sử dụng,

...

...

...

- 3 trong số 30 người sử dụng,

- 5 trong số 40 người sử dụng,

- 7 trong số 50 người sử dụng, và

- 17 trong số 100 người sử dụng.

CHÚ THÍCH 4: Ví dụ về những ước tính khác của tỷ lệ thành công của tập hợp người sử dụng được giới thiệu tại Bảng D.1 và D.2. Trong các bảng này:

Cột 1: Số người tham gia vào thử nghiệm.

Cột 2: Số lượng tối đa người tham gia thử nghiệm có thể không thành công khi mục đích của thử nghiệm là cho thấy với 80 % sự tin cậy thì tỷ lệ thành công của tập hợp người sử dụng sẽ lớn hơn 75 %.

Cột 3: Đối với số lượng những người tham gia không thành công đã được chỉ rõ, thì phần trăm số người tối thiểu được ước tính trong tập hợp người sử dụng, những người có khả năng sử dụng sản phẩm thành công, được tính với 80 % xác suất.

Cột 4: Số lượng tối đa người tham gia thử nghiệm có thể không thành công khi mục đích thử nghiệm cho thấy với 80 % sự tin cậy thì tỉ lệ thành công của tập hợp người sử dụng lớn hơn 80 %.

...

...

...

Bảng D.1 - Ví dụ về cách tính toán thống kê của 80 % các khoảng tin cậy

1

2

3

4

5

Tỷ lệ thành công của tập hợp người sử dụng ước tính

75%

80%

...

...

...

Số lượng tối đa những người sử dụng không thành công

Tỷ lệ thành công của tập hợp người sử dụng tối thiểu được ước tính

Số lượng tối đa những người sử dụng không thành công

Tỷ lệ thành công của tập hợp người sử dụng tối thiểu được ước tính

3

0

77,6 %

...

...

...

0

82,2 %

0

82,2 %

5

0

85,3 %

0

85,3 %

...

...

...

0

87,5 %

0

87,5 %

7

0

89,1 %

0

89,1 %

...

...

...

0

90,3 %

0

90,3 %

9

1

76,7 %

0

91,3%

...

...

...

1

78,8 %

0

92,1 %

11

1

80,6 %

1

80,6 %

...

...

...

1

82,1 %

1

82,1 %

13

1

83,3 %

1

83,3 %

...

...

...

2

75,9 %

1

84,4 %

15

2

77,4 %

1

85,4 %

...

...

...

2

78,7 %

1

86,3 %

17

2

79,9 %

1

87,0 %

...

...

...

2

81,0%

2

81,0%

19

3

75,9 %

2

81,9%

...

...

...

3

77,0 %

2

82,8 %

21

3

78,0 %

2

83,5 %

...

...

...

3

79,0 %

2

84,2 %

23

3

79,8 %

3

84,9 %

...

...

...

4

75,9 %

3

80,6 %

25

4

76,8 %

3

81,4%

...

...

...

4

77,7 %

3

82,0 %

27

4

78,5 %

3

82,7 %

...

...

...

5

75,2 %

3

83,3 %

29

5

76,0 %

3

83,5 %

...

...

...

5

76,8 %

4

80,5 %

...

...

...

7

76,9 %

5

82,4 %

...

...

...

9

77,0 %

7

81,3%

...

...

...

21

75,4 %

16

80,7 %

Bảng D.2 - Ví dụ về cách tính toán thống kê của 95 % khoảng tin cậy

1

2

3

4

...

...

...

Tỷ lệ thành công của tập hợp người sử dụng ước tính

75%

80%

Số người sử dụng

Số lượng tối đa những người sử dụng không thành công

Tỷ lệ thành công của tập hợp người sử dụng tối thiểu được ước tính

Số lượng tối đa những người sử dụng không thành công

Tỷ lệ thành công của tập hợp người sử dụng tối thiểu được ước tính

...

...

...

10

0

75,1 %

11

...

...

...

76,9 %

12

0

78,4 %

13

...

...

...

79,7 %

14

0

80,9 %

0

80,9 %

15

...

...

...

82,0 %

0

82,05

16

0

82,9 %

0

82,9 %

17

...

...

...

76,0 %

0

83,8 %

18

1

77,2 %

0

84,5 %

19

...

...

...

78,2 %

0

85,2 %

20

1

79,1 %

0

85,9 %

21

...

...

...

80,0 %

1

80,0 %

22

2

75,1 %

1

80,8 %

23

...

...

...

76,0 %

1

81,5%

24

2

76,9 %

1

82,2 %

25

...

...

...

77,7 %

1

82,8 %

26

2

78,5 %

1

83,4 %

27

...

...

...

79,2 %

1

83,9 %

28

3

75,5 %

1

84,4 %

29

...

...

...

76,2 %

2

80,4 %

30

3

76,9 %

2

81,0 %

...

...

...

40

5

76,2 %

3

82,2 %

...

...

...

50

7

75,9 %

5

80,6 %

...

...

...

100

17

75,95

13

80,4 %

D.2  Hiệu suất

...

...

...

CHÚ THÍCH 1: Sai số chuẩn của giá trị trung bình là độ lệch tiêu chuẩn của mẫu được chia bởi căn bậc hai của kích thước mẫu.

CHÚ THÍCH 2: Kích thước của khoảng tin cậy sẽ phụ thuộc vào kích thước mẫu và sự đa dạng trong tập hợp người sử dụng được thử nghiệm. Sự đa dạng sẽ giảm cùng với kích thước mẫu tăng và thông thường sẽ lớn hơn đối với các tập hợp người sử dụng đa dạng hơn.

VÍ DỤ: Sai số chuẩn của giá trị trung bình được tính sau khi việc chuyển đổi hàm lô ga và tương đương với mức 4,2 s. Thời gian thực hiện nhiệm vụ trung bình là 22,2 s do đó kết quả có thể được báo cáo như số trung bình của 22,2 s, với 95 % khả năng là giá trị thật nằm giữa 18,0 s và 26,4 s.

D.3  Thỏa mãn

Các khoảng tin cậy đối với sự thỏa mãn sẽ được tính toán bằng cách sử dụng sai số chuẩn của giá trị trung bình.

Phụ lục E

(quy định)

Các ví dụ về thang đo sự hài lòng

...

...

...

Thang đo theo biểu tượng diễn cảm được Kunin (1955) đề cập đến lần đầu tiên, [20] đã được sử dụng rộng rãi trong tâm lý học để đo lượng cảm xúc theo khía cạnh sự hài lòng và cũng được sử dụng trong các bài kiểm tra tính khả dụng trong công nghiệp. Phiên bản năm-điểm của thang đo gằn đây được Ruth Jager (2004) xác nhận là một thông số phân tích và cũng được kiểm tra với các trường hợp đúng cho sự cách đều. [18]

Các vòng tròn nên có đường kính 10,5mm và thang đo nên được sử dụng trong khoảng cách 69mm tính từ tâm hai đường tròn ngoài cùng.

Với người dùng bị hạn chế về thị giác, kích thước có thể tăng lên theo tỷ lệ.

“Hãy chọn khuôn mặt tương ứng gần nhất với mức độ hài lòng với...”

Hình E.1 - Thang đo biểu tượng diễn cảm

Các biểu tượng diễn cảm có các giá trị tương ứng với -2, -1, 0, +1, +2. Không được phép có các giá trị trung gian giữa các giá trị trên. Một nhóm giá trị có thể thực hiện như một phép trung bình cộng.

E.2  Bản câu hỏi về độ hài lòng

Bản câu hỏi về độ hài lòng được sử dụng rộng rãi và bản câu hỏi hợp lệ với nhiều câu hỏi có thể đo lường trên nhiều khía cạnh khác nhau của sự hài lòng có thể đưa ra các kết quả đáng tin cậy hơn một bản câu hỏi chỉ có đầu mục đơn, nhưng các bản câu hỏi đầu mục đơn như thang đo biểu tượng diễn cảm, SMEQ, [32] hay thang đo Likert [26] thường tiện dụng hơn trong từng nhiệm vụ.

...

...

...

ISO/IEC 25010 phân biệt các khía cạnh tiềm ẩn của sự hài lòng có thể đo lường được:

- Sự hữu dụng: mức độ mà những người có liên quan được thỏa mãn với kết quả thực dụng mà họ cảm nhận được, bao gồm cả cảm nhận về kết quả chấp nhận được khi sử dụng và các hệ quả/hậu quả của việc sử dụng (ví dụ như sử dụng SUS[15]).

- Lòng tin: mức độ mà người có liên quan được thỏa mãn với sản phẩm sẽ đối xử như mong đợi (ví dụ sử dụng Thang đo Lòng tin Hệ thống [19]).

- Sự thích thú: mức độ mà người sử dụng đạt được sự thích thú khi được thỏa mãn đầy đủ các nhu cầu cá nhân. Nhu cầu cá nhân có thể bao gồm cả việc thu được sự hiểu biết và kỹ năng, truyền đạt được cá tính của cá nhân, và kích thích một kỷ niệm thích thú. Nếu sự thích thú là một vấn đề quan trọng, một bộ câu hỏi như AttrakDiff[17] nên được sử dụng.

- Tiện nghi: mức độ mà người sử dụng hài lòng với tiện nghi thân thể (sử dụng bản câu hỏi như CCBaseline[22]).

Phụ lục F

(quy định)

Định dạng mẫu cho các báo cáo kiểm tra

...

...

...

F.1  Đầu đề trang

Các thông tin sau cần được cung cấp:

a) tiêu đề: ISO/TS 20282-2 Báo cáo kiểm tra tính khả dụng;

b) sản phẩm và phiên bản được kiểm tra;

c) thời gian thực hiện kiểm tra;

d) địa điểm tiến hành kiểm tra;

e) ngày viết báo cáo;

f) tên tổ chức kiểm tra;

g) đầu mối liên lạc của và chi tiết liên hệ của tổ chức kiểm tra.

...

...

...

Phần này cung cấp một cái nhìn tổng quan của quá trình thử nghiệm. Mục đích của phần này là cung cấp một bản tóm tắt độc lập.

Một cái nhìn tổng quan của quá trình thử nghiệm cần được cung cấp cho một số lượng rộng rãi người đọc, trong đó bao gồm:

a) tên và mô tả của sản phẩm,

b) (các) nhóm người sử dụng, (các) mục tiêu, và (các) môi trường đã được thử nghiệm,

c) các chỉ dẫn kèm theo sản phẩm được cung cấp cho người sử dụng và liệu họ có sử dụng, và

d) kết quả của mỗi mục tiêu được thể hiện bằng điểm số đạt được hoặc biện pháp đo xu hướng các khoảng tin cậy trung tâm phù hợp khác.

F.3  Sản phẩm và bối cảnh sử dụng được kỳ vọng

F.3.1  Mô tả toàn bộ sản phẩm

Các thông tin sau nên được cung cấp:

...

...

...

b) các thành phần hoặc chức năng của sản phẩm đã được đánh giá.

F.3.2  Bối cảnh sử dụng được kỳ vọng

Các thông tin sau nên được cung cấp:

a) mục tiêu đã được thử nghiệm và lý do tại sao chúng được chọn;

b) các nhóm người sử dụng sản phẩm dự kiến hoặc thực tế và họ được xác định như thế nào;

c) với các nhóm người sử dụng đó đã được tính đến trong quá trình thử nghiệm, các thông tin sau là cần thiết:

- các đặc tính của người sử dụng có thể ảnh hưởng đến tính khả dụng của sản phẩm;

- phạm vi của các đặc tính tồn tại trong nhóm người sử dụng dự kiến hay thực tế;

- sự phân bố được kỳ vọng của mỗi đặc tính của người sử dụng thích hợp;

...

...

...

d) các môi trường chính trong đó sản phẩm được (hoặc dự kiến được) sử dụng.

F4  Phương pháp

F.4.1  Khái quát

Cần được cung cấp đủ thông tin để cho phép một người thử nghiệm độc lập tái tạo lại thủ tục sử dụng trong quá trình kiểm thử.

F.4.2  Những người tham gia

Những thông tin về người tham gia sau đây cần được cung cấp:

a) bất kỳ đặc tính của người sử dụng nào về thân thể, cảm nhận, hoặc nhận thức được cho rằng có ảnh hưởng đến tính khả dụng;

b) tổng số người tham gia thử nghiệm;

c) (các) nhóm người sử dụng được thử nghiệm và tại sao họ lại được lựa chọn;

...

...

...

e) những người tham gia được lựa chọn như thế nào và liệu họ có đại diện cho những đặc tính thiết yếu;

f) bất kỳ điểm khác biệt nào giữa những mẫu người tham gia và tập hợp người sử dụng;

g) bảng của những người tham gia (hàng) theo các đặc tính (cột), bao gồm các nhân khẩu học thích hợp, kinh nghiệm, và bất kỳ các yêu cầu đặc biệt khác.

Các đặc tính này cần hoàn thành trọn vẹn đủ để khi cần có thể tuyển dụng một nhóm người tham gia tương đương.

Các đặc tính nên được chọn để thích hợp với tính khả dụng của sản phẩm; chúng nên cho phép một người đọc quyết định mức độ tương đương của những người tham gia và tập hợp người sử dụng.

BẢNG VÍ DỤ: Bảng sau là một ví dụ; các đặc tính được trình bày là tiêu biểu nhưng có thể không bao gồm được hết tất cả các thể loại cần thiết của một tình huống thử nghiệm.

Giới tính

Độ tuổi

...

...

...

Thuộc tính thân thể

Kinh nghiệm nhiệm vụ

Kinh nghiệm về các sản phẩm có liên quan

P1

...

...

...

P2

Pn

...

...

...

ví dụ “Giới tính”, chỉ ra là “Nam” hay “Nữ”.

ví dụ “Độ tuổi”, độ tuổi theo thời gian của người tham gia hoặc chỉ ra là thành viên của một khoảng tuổi (ví dụ như từ 25 tuổi đến 45 tuổi) hoặc một độ tuổi (ví dụ như dưới 18 tuổi, trên 65 tuổi) nếu như không biết chính xác tuổi của người tham gia.

ví dụ “Khả năng ngôn ngữ”, chỉ ra bất kỳ kỹ năng ngôn ngữ nào phù hợp.

ví dụ “Thuộc tính thân thể”, mô tả bất kỳ thuộc tính thân thể nào có liên quan đến tính khả dụng.

ví dụ “Kinh nghiệm nhiệm vụ”, mô tả kiến thức phù hợp như kinh nghiệm của người sử dụng đã thực hiện nhiệm vụ dạng này như thế nào.

...

...

...

F.4.3  Bối cảnh sản phẩm được sử dụng trong thử nghiệm

Các thông tin sau đây cần được cung cấp:

- bất kỳ sự khác biệt nào được biết giữa bối cảnh được đánh giá và bối cảnh sử dụng được kỳ vọng.

F.4.3.1  Các nhiệm vụ

Các thông tin sau đây cần được cung cấp:

a) các kịch bản nhiệm vụ cho việc thử nghiệm;

b) tại sao nhiệm vụ này lại được lựa chọn;

VÍ DỤ 1: Các nhiệm vụ thường xuyên nhất, các nhiệm vụ quan trọng nhất.

c) các nhiệm vụ này được xác định như thế nào;

...

...

...

d) bất kỳ dữ liệu về nhiệm vụ được đưa ra cho những người tham gia;

e) các bộ tiêu chí hoàn chỉnh được thiết lập cho mỗi kiểm thử.

F.4.3.2  Môi trường kiểm thử

Các thông tin sau đây cần được cung cấp:

a) sự bố trí và loại không gian trong đó việc đánh giá được thực hiện;

VÍ DỤ 1: Trong phòng thí nghiệm tính khả dụng, phòng khách, nội bộ văn phòng, trong phòng gia đình, sảnh công cộng.

b) bất kỳ các đặc trưng thích hợp hoặc hoàn cảnh mà có thể ảnh hưởng đến các kết quả;

VÍ DỤ 2: Các thiết bị ghi hình ảnh và âm thanh, các gương một chiều, hoặc thiết bị thu thập dữ liệu tự động.

F.4.3.3  Môi trường kỹ thuật và công nghệ

...

...

...

F.5  Thiết kế thực nghiệm

F.5.1  Khái quát

Các thông tin sau đây cần được cung cấp:

- các phép đo mà từ đó dữ liệu được ghi lại

F.5.2  Thủ tục

Các thông tin sau đây cần được cung cấp:

a) các định nghĩa vận hành của các phép đo;

b) các giới hạn thời gian của các nhiệm vụ;

c) các chính sách và các thủ tục cho việc tương tác giữa (các) người kiểm thử và các đối tượng.

...

...

...

a) trình tự của các sự kiện từ khi chào hỏi những người tham gia cho đến khi giải tán họ;

b) chi tiết của những thỏa ước không tiết lộ, điền đầy đủ mẫu, khởi động, đào tạo trước nhiệm vụ, và thẩm vấn;

c) xác minh lại những điều người tham gia biết và hiểu về quyền của họ như những đối tượng là con người;

d) các bước cần được thực hiện trong các phần kiểm thử và dữ liệu ghi nhận được;

e) số lượng và vai trò của những ai đã tiếp xúc với những người tham gia trong quá trình thử nghiệm

f) liệu những cá nhân khác đã xuất hiện trong môi trường kiểm thử;

g) liệu những người tham dự đã được trả tiền hoặc đền bù khác.

F.5.2.1  Các chỉ dẫn chung cho người tham gia

Các thông tin sau đây cần được cung cấp:

...

...

...

b) các chỉ dẫn cho người tham gia cần tương tác như thế nào với bất kỳ một người nào xuất hiện, bao gồm họ sẽ yêu cầu trợ giúp như thế nào và tương tác như thế nào với những người tham dự khác, nếu có thể.

Các thông tin sau đây nên được cung cấp:

a) xác nhận rằng người tham gia đã biết và hiểu quyền của họ như một đối tượng là con người (với những đồng thuận bằng văn bản theo các mẫu có trong một Phụ lục).

F.5.2.2  Chỉ dẫn nhiệm vụ cho người tham gia

Các thông tin sau đây cần được cung cấp:

- các tóm tắt chỉ dẫn nhiệm vụ

F.5.3  Các phép đo về tính khả dụng

Các thông tin sau đây cần được cung cấp như đã được chỉ ra trong Điều 7:

a) các phép đo về tính hiệu quả;

...

...

...

c) các phép đo về sự thỏa mãn;

Sự quan trọng của từng phép đo có thể phải được giải thích.

F.6  Các kết quả

F.6.1  Khái quát

Các thông tin sau đây cần được cung cấp đủ chi tiết để cho phép tái lập lại dữ liệu điểm số của phương pháp đo lường bởi một tổ chức khác khi thực hiện lại thử nghiệm:

a) dữ liệu thu được và điểm số;

b) dữ liệu thu gọn;

VÍ DỤ 1: Dữ liệu được tổ hợp qua các nhiệm vụ hoặc nhóm người sử dụng.

c) phân tích thống kê.

...

...

...

Các thông tin sau đây cần được cung cấp:

- bảng các kết quả thực hiện theo từng nhiệm vụ hoặc nhóm người sử dụng bao gồm các khoảng tin cậy.

Các định dạng đồ họa khác nhau có hiệu quả trong việc mô tả dữ liệu tính khả dụng trong cái nhìn đầu tiên. Các loại đồ thị khác nhau có hiệu quả khi so sánh thời gian tiêu chuẩn của chuyên gia so với thời gian trung bình thực hiện của những người tham gia cho một sản phẩm.

F.6.2  Các kết quả thực hiện

Một bảng kết quả có thể được trình bày theo nhóm của các nhiệm vụ có liên quan khi điều này có hiệu năng cao hơn và mang lại ý nghĩa.

Các thông tin sau đây nên được cung cấp:

a) (các) bảng biểu tóm tắt của kết quả thực hiện trên toàn bộ các nhiệm vụ;

b) trình diễn bằng đồ họa của các kết quả thực hiện.

Bảng ví dụ

...

...

...

Nhiệm vụ thành công

Thời gian thực hiện nhiệm vụ (min)

Điểm số thỏa mãn

1

2

...

...

...

N

Trung bình

...

...

...

Nhỏ nhất

Lớn nhất

...

...

...

F.7  Phần phụ lục

Các thông tin sau đây cần được cung cấp:

a) các chỉ dẫn chung cho người tham gia (nếu không có trong nội dung chính của báo cáo);

b) các chỉ dẫn nhiệm vụ cho người tham gia

Các thông tin sau đây nên được cung cấp:

- đưa ra các ghi chú giải thích hoặc cập nhật các kết quả thử nghiệm.

Phụ lục G

...

...

...

Đặc tả các yêu cầu về tính khả dụng

G.1  Giới thiệu

Một bản đặc tả các yêu cầu về tính khả dụng có thể được sử dụng (ví dụ như, trong mua sắm hoặc, nội bộ, trong quá trình phát triển) để xác định các yêu cầu cho tính khả dụng và/hoặc tính tiếp cận (trong ngữ cảnh của sự hiệu quả, hiệu năng, và sự thỏa mãn) của việc đạt được các mục tiêu của người sử dụng (bao gồm cả việc thiết lập và lắp đặt) và ngữ cảnh trong đó các yêu cầu nên được đánh giá (các nhóm người sử dụng, các thành quả, và môi trường được sử dụng trong thử nghiệm).

Phụ lục G sẽ xác định thông tin cần được đưa vào trong một bản đặc tả về tính khả dụng.

G.1.1  Khái quát

Ngữ cảnh sử dụng: Mô tả ngữ cảnh sử dụng cần phải có các mục sau:

- những người sử dụng,

- các thành quả/kết quả,

- môi trường vật lý và xã hội.

...

...

...

- cho các thành quả/kết quả quan trọng nhất: các kịch bản kiểm thử và các thông số đo lượng cho mỗi kịch bản;

- ít nhất một giá trị mục tiêu cho mỗi kịch bản kiểm thử.

G.2  Ngữ cảnh

G.2.1  Người sử dụng

Các thông tin sau đây cần được cung cấp:

a) danh sách của nhóm người sử dụng được kỳ vọng;

b) các đặc tính và năng lực then chốt của từng nhóm người sử dụng những yêu cầu được cung cấp.

Các đặc tính nên được chọn sao cho phù hợp với việc sử dụng sản phẩm; chúng nên đủ chi tiết để đảm bảo những người tham gia thử nghiệm, người đại diện cho những người sử dụng thực tế, có thể được lựa chọn.

CHÚ THÍCH: Các yếu tố thích hợp có thể bao gồm kinh nghiệm sử dụng máy tính, sử dụng các sản phẩm tương tự, quen thuộc với nhiệm vụ, tần suất sử dụng, sự thành thạo, đào tạo, văn hóa, quốc tịch, độ tuổi, các nhu cầu đặc biệt, và mục đích sử dụng sản phẩm.

...

...

...

G.2.2  Kết quả

Kết quả của mỗi nhóm người sử dụng cần được liệt kê, mà không cần tham chiếu đến các phương tiện cụ thể để đạt được chúng. Kết quả nên là một giá trị đầu ra dự kiến cho người sử dụng.

CHÚ THÍCH: Trong một số trường hợp, nếu có thể nên xác định và liệt kê tất cả các kết quả thông thường. Trong các trường hợp khác, danh sách nên giới hạn ở lắp đặt và thiết lập, các nhiệm vụ quan trọng nhất, các nhiệm vụ tiêu biểu, và những nhiệm vụ mà có thể phải gặp thường xuyên nhất.

G.2.3  Các môi trường vật lý và xã hội

Bất kỳ khía cạnh môi trường vật lý và xã hội nào được kỳ vọng mà có thể ảnh hưởng đến tính khả dụng nên được xác định:

a) môi trường vật lý trong đó sản phẩm được sử dụng, bao gồm vị trí và các điều kiện vật lý phù hợp, như nhiệt độ hay chiếu sáng;

b) môi trường tổ chức, trong đó gồm có động lực công việc nhóm, sức ép với thời gian, giám sát, và hỗ trợ;

c) bất kỳ rủi ro nào về vật lý hay tài chính, cũng như các vấn đề về sức khỏe và an toàn.

G.3  Các thông số đo lượng tính khả dụng

...

...

...

Kết quả kết hợp với một nhiệm vụ sẽ tạo thành một cơ sở các yêu cầu nên được xác định với những kịch bản thử nghiệm. Với mỗi kết quả được chi tiết hóa, xây dựng một hay nhiều kịch bản kiểm thử cụ thể để xác định các đặc tính của người sử dụng và môi trường sử dụng và mục tiêu để thực hiện nhiệm vụ này. Có rất nhiều kịch bản thử nghiệm độc lập cho những người sử dụng lần đầu tiên và người đã có nhiều kinh nghiệm.

Với mỗi kịch bản thử nghiệm, các thông số đo lượng phù hợp cần được xác định. Có thể bao gồm những thông số sau:

a) Hiệu quả: tỷ lệ hoàn thành không có người hỗ trợ. Tỷ lệ hoàn thành là tỷ lệ phần trăm người tham gia có thể hoàn thành và thu nhận được từng kết quả chính xác trong khoảng thời gian tối đa đã được xác định. Nếu kết quả chỉ thu được một phần (như không hoàn thành hoặc đạt được kết quả dưới mức tối ưu), thì cũng vẫn có ích để thiết lập các yêu cầu cho việc thu nhận được một phần của kết quả, được ghi điểm theo thang từ 0 % tới 100 % dựa trên các tiêu chí cụ thể có liên quan đến giá trị của một phần kết quả.

VÍ DỤ: Tỷ lệ phần trăm của khách hàng có thể hoàn thành một giao dịch trên một trang thông tin điện tử (website)

CHÚ THÍCH: Các yêu cầu về tính hiệu quả dựa trên kết quả chính xác. Cần chấp nhận rằng người sử dụng thao tác sai trong quá trình tương tác, và tiếp tục thực hiện đến xong sau khi đã gặp lỗi. Theo dõi các lỗi là cực kỳ hữu ích trong việc quyết định khía cạnh nào của sản phẩm cần được hoàn thiện.

b) Hiệu suất: thời gian trung bình cần thiết để hoàn thành mỗi kết quả và các thông số đo khác về nguồn lực sử dụng.

c) Sự thỏa mãn: kết quả điểm số trung bình trong khi sử dụng bản câu hỏi phỏng vấn được thiết lập riêng.

Tương quan về sự quan trọng liên quan giữa các thông số đo này nên được chỉ rõ.

Các giá trị mục tiêu là những giá trị nhỏ nhất có thể chấp nhận được suy ra từ những giá trị hiện có hoặc giá trị của hệ thống so sánh cạnh tranh cho cùng một nhiệm vụ và kết quả dựa trên đánh giá của các chuyên gia. Những giá trị mục tiêu khác tốt hơn giá trị nhỏ nhất có thể chấp nhận được cũng có thể được xác định.

...

...

...

a) một yêu cầu rõ ràng,

b) một yêu cầu tạm thời là đối tượng để thương thảo thêm, hoặc

c) một đối tượng mục tiêu để hướng dẫn.

CHÚ THÍCH: Một cách thông thường để thiết lập các giá trị mục tiêu là đầu tiên đo lường tính hiệu quả, hiệu năng, và sự hài lòng cho từng kết quả bằng sử dụng một hệ thống đã có sẵn hay so sánh cạnh tranh, và sau đó đặt ra các yêu cầu cho một hệ thống mới cũng tốt tương tự hoặc tốt hơn hệ thống hiện có.

Khi các giá trị mục tiêu đã được xác định như các yêu cầu, chúng nên bao gồm hệ số tin cậy (mức độ tin cậy) thống kê cần thiết (hệ số hay mức độ tin cậy mà kết quả không phải xảy ra do ngẫu nhiên) (xem 7.5.3).

G.4  Các yêu cầu cho việc thử nghiệm

Nếu các yêu cầu cho việc kiểm thử là cần thiết và yêu cầu đưa vào, các định dạng trong Phụ lục H sẽ được sử dụng. Phụ lục H cung cấp những yêu cầu cho việc xác định phương pháp được sử dụng để thử nghiệm liệu các yêu cầu về tính khả dụng đã đáp ứng và ngữ cảnh trong đó việc đo lường được thực hiện.

CHÚ THÍCH: Các chỉ tiêu về tính hiệu năng và sự hài lòng được xác định trong G.3 là những giá trị được yêu cầu trong ngữ cảnh sử dụng. Sự chính xác và chuẩn xác trong đó chúng được đo lường sẽ được quyết định bằng ngữ cảnh chúng được đo lường (số lượng và loại người sử dụng, cách mà các nhiệm vụ được mô phỏng, và môi trường hoạt động được mô phỏng).

...

...

...

(quy định)

Đặc tả các thủ tục kiểm thử tính khả dụng

H.1  Khái quát

Phụ lục H liệt kê thông tin cần thiết khi xác định thủ tục thực hiện việc kiểm tra liệu những yêu cầu về tính khả dụng (được đặc tả trong Phụ lục G) có đạt được hay không. Kết quả của công tác kiểm thử có thể được ghi lại sử dụng định dạng trong Phụ lục F sau đây.

H.2  Những người sử dụng

Các thông tin sau đây cần được cung cấp:

a) phân chia của nhóm người sử dụng đã kiểm thử, nếu có nhiều hơn một;

b) tổng số người tham gia cần thiết;

c) cách người tham gia được lựa chọn theo những đặc tính cần thiết mà họ có.

...

...

...

Các thông tin sau đây nên được cung cấp:

a) bất kỳ sự khác biệt được kỳ vọng nào giữa những mẫu người tham gia và nhóm người sử dụng;

VÍ DỤ: Kinh nghiệm của những người tham gia với sản phẩm sẽ ít hơn người sử dụng bình thường đang được hướng tới.

b) mô tả của bất kỳ nhóm người sử dụng nào cần sự trợ giúp đặc biệt.

H.3  Ngữ cảnh của sản phẩm sử dụng trong kiểm thử

H.3.1  Kết quả

Các thông tin sau đây cần được cung cấp:

a) các kịch bản nhiệm vụ cần được kiểm thử;

b) các chỉ tiêu cho việc hoàn thành của mỗi kết quả;

...

...

...

H.4  Hỗ trợ thử nghiệm

Các thông tin sau đây cần được cung cấp:

a) cấu hình và loại không gian trong đó công tác đánh giá được thực hiện;

VÍ DỤ: Phòng thí nghiệm tính khả dụng, phòng khách, nội bộ văn phòng, phòng gia đình, sàn sản xuất.

b) cách những khía cạnh thích hợp của môi trường sử dụng dự kiến sẽ được mô phỏng.

H.4.1  Môi trường kỹ thuật và công nghệ

Nếu sản phẩm cần các thiết bị hoặc các thiết bị hỗ trợ về công nghệ và kỹ thuật khác để hoạt động, chúng cần được chỉ rõ, như điện thoại di động cần nhà cung cấp dịch vụ, TV cần được điều khiển bằng bộ điều khiển từ xa.

H.4.2  Các vấn đề về đạo đức

Bất kỳ thủ tục hoặc quy định nào cần tôn trọng để đảm bảo về đạo đức [5.5] cần được xác định.

...

...

...

Các thông tin sau đây cần được cung cấp:

a) thiết kế logic của công tác đánh giá nếu có nhiều hơn một điều kiện được thử nghiệm;

b) các phương pháp đo được thực hiện.

H.5.1  Thủ tục

Các thông tin sau đây cần được cung cấp:

a) định nghĩa hoạt động của các thông số đo lường;

b) định nghĩa hoạt động của bất kỳ các biến số độc lập nào hoặc các biến số điều khiển;

c) thời gian giới hạn tối đa của kết quả;

d) các chính sách và các thủ tục cho việc tương tác giữa (các) người thử nghiệm và đối tượng.

...

...

...

Các thông tin sau đây cần được cung cấp:

a) các hướng dẫn được đưa cung cấp người tham gia (trong phần này hoặc trong một Phụ lục khác);

b) các hướng dẫn về cách người tham gia tương tác với bất kỳ người nào có mặt, bao gồm cách họ yêu cầu hỗ trợ hoặc tương tác với những người tham gia khác, nếu phù hợp.

H.5.3  Các hướng dẫn nhiệm vụ cho người tham gia

Các thông tin sau đây cần được cung cấp:

- hướng dẫn tóm tắt nhiệm vụ

H.6  Các thông số đo tính khả dụng

Các thông tin sau đây cần được cung cấp:

a) các thông số được sử dụng cho tính hiệu quả;

...

...

...

c) các thông số được sử dụng cho độ hài lòng.

Tính hiệu quả, hiệu suất, và sự thỏa mãn cần được đo lường, thậm chí khi chúng rất khó để diễn dịch trong một ngữ cảnh sử dụng phức tạp. Trong trường hợp này, các yêu cầu cần xác định tại sao nhà cung cấp không cân nhắc đến những bộ tiêu chuẩn đo có ý nghĩa.

VÍ DỤ: Giả sử rằng ngữ cảnh sử dụng của sản phẩm bao gồm thời gian thực, tương tác không giới hạn giữa một nhóm cộng tác. Trong trường hợp này, thông số đo nhiệm vụ - đúng hạn có thể không diễn dịch một cách có ý nghĩa của việc đo lường hiệu năng bởi vì, với nhiều người sử dụng, thời gian dành cho nhiệm vụ này là thời gian rảnh rỗi (thời gian giải trí).

Nếu cần cung cấp cho người tham gia sự trợ giúp khi cần thiết, các thông số đo lường hiệu năng và hiệu quả cần được cung cấp cho cả hai điều kiện có hỗ trợ và không có hỗ trợ và số lượng và loại hỗ trợ cũng cần được đưa vào như một phần của kết quả.

H.6.1  Hiệu quả

Hiệu quả đặt ra mối liên hệ giữa kết quả của việc sử dụng sản phẩm tới độ chính xác và hoàn thiện mà kết quả có thể đạt được. Nó không tính tới cách thức để có được kết quả, chỉ tập trung vào chừng mực mà kết quả đã đạt được Hiệu năng đặt ra mối liên quan đến mức độ hiệu quả thu được và lượng tài nguyên đã tiêu thụ.

H.6.1.1  Tỷ lệ hoàn thành nhiệm vụ

Tỷ lệ hoàn thành là tỷ lệ phần trăm của những người tham gia đã hoàn thành một cách chính xác cho mỗi nhiệm vụ. Nếu những kết quả chỉ thu được một phần (như không hoàn thành hoặc kết quả dưới mức tối ưu), thì chúng cũng vẫn có thể có ích để thiết lập các yêu cầu cho việc hoàn thành một phần nhiệm vụ, được cho điểm trên thang đo 0 % đến 100 % dựa trên các chỉ tiêu riêng biệt liên quan đến giá trị của một phần của kết quả. Ví dụ, một nhiệm vụ thử nghiệm chính tả có thể bao gồm việc xác định và hiệu chỉnh 10 lỗi chính tả và tỷ lệ hoàn thành được tính toán dựa trên số phần trăm lỗi chính tả được hiệu chỉnh. Một phương pháp tính toán tỷ lệ hoàn thành khác là đặt trọng số, ví dụ lỗi chính tả trong trang tiêu đề được đánh giá quan trọng gấp đôi trong nội dung chính của văn bản. Lý do căn bản để lựa chọn một phương pháp đặc biệt nào đó cho việc phân tích đạt được một phần của kết quả cần được chỉ ra, nếu các kết quả dạng này được đưa vào trong các yêu cầu.

Các thông số đo lường sau đây cần phải thu được:

...

...

...

H.6.2  Hiệu suất

H.6.2.1  Các thông số đo lường

Hiệu suất đặt ra mối liên quan đến mức độ hiệu quả thu được và lượng tài nguyên đã tiêu thụ. Hiệu suất thường được đánh giá bằng thời gian trung bình để thực hiện một nhiệm vụ. Hiệu suất cũng đặt ra mối liên quan tới các nguồn tài nguyên khác (như tổng chi phí sử dụng). Một thông số đo lường thông thường cho hiệu suất là thời gian cho một nhiệm vụ.

Các thông số đo lường sau đây cần phải thu được:

- thời gian trung bình cần thiết để hoàn thành mỗi nhiệm vụ, cùng với phạm vi của thời gian trong những người tham gia.

H.6.3  Sự thỏa mãn

Các thông tin sau đây cần được cung cấp:

- bản câu hỏi khảo sát được sử dụng

Sự thỏa mãn mô tả phản ứng chủ quan của người sử dụng khi sử dụng sản phẩm. Sự thỏa mãn của người sử dụng có thể là một mối tương quan quan trọng của động lực sử dụng sản phẩm và có thể ảnh hưởng đến hoạt động trong một số trường hợp. Bản câu hỏi khảo sát để đo lường sự thỏa mãn và thái độ kèm theo thường được xây dựng bằng cách sử dụng Likert và các thang đo vi phân ngữ nghĩa khác.

...

...

...

Mức độ tin cậy thống kê được yêu cầu (tin cậy rằng kết quả không xảy ra tình cờ) cần được xác định cho tất cả các phép đo (7.5.3).

H.8  Phụ lục

Các dạng thông tin sau có thể được cung cấp:

a) bản câu hỏi tùy chỉnh, nếu sử dụng;

b) các chỉ dẫn chung cho người tham gia (nếu không có trong phần chính của các yêu cầu);

c) các chỉ dẫn nhiệm vụ cho người tham gia.

Phụ lục I

(tham khảo)

...

...

...

I.1  Địa chỉ phản hồi

Các nhận xét về nội dung có thể gửi về iso_tc159@din.de.

I.2  Mời phản hồi

Phản hồi về tiêu chuẩn này được đặc biệt chào mừng trên những mục sau:

- kinh nghiệm sử dụng, các trường hợp nghiên cứu, và bất kỳ các kết quả đã được xuất bản nào;

- loại các sản phẩm, lĩnh vực áp dụng, số lượng nhóm, số lượng người sử dụng, kết hợp với (người) khuyết tật;

- bất kỳ vấn đề nào với các phương pháp;

- các đề xuất để cải thiện và phát triển;

- sự dễ dàng trong cách xác định các mục tiêu chính;

...

...

...

- nếu hai tổ chức độc lập thử nghiệm cùng một sản phẩm, họ có được kết quả có độ tương tự cần thiết như nhau;

- kết quả thu được khi thử nghiệm các sản phẩm tiêu dùng có đáng tin cậy và dễ diễn giải;

- liệu phương pháp có phù hợp cho thử nghiệm các loại khác của sản phẩm.

Thư mục tài liệu tham khảo

Các tiêu chuẩn

[1] ISO 8317:2003, Child-resistant packaging - Requirements and testing procedures for reclosable packages

[2] ISO/IEC TR 9126-4:2004, Software engineering - Product quality - Part 4: Quality in use metrics

[3] TCVN 7318-11:2015 (ISO 9241-11:1998), Yêu cầu ecgônômi đối với công việc văn phòng có sử dụng thiết bị hiển thị đầu cuối (VDT) - Phần 11: Hướng dẫn về tính khả dụng

...

...

...

[5] ISO 15535:2006, General requirements for establishing anthropometric databases

[6] ISO/TS 18152:2010, Ergonomics of human-system interaction - Specification for the process assessment of human-system issues

[7] ISO/IEC 25062:2006, Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability test reports

[8] ISO/TR 22411:2008, Ergonomics data and guidelines for the application of ISO/IEC Guide 71 to products and services to address the needs of older persons and persons with disabilities

[9] ISO/IEC 25010:2011, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models

[10] ISO/IEC 25060:2010, Common industry format for usability - General framework for usability- related information

[11] ISO/IEC 25062:2006, Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability test reports

[12] ISO/IEC 25063, Systems and software engineering - Systems and software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: Context of use description

[13] ISO/IEC 25064, Systems and software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: User needs report

...

...

...

Các tài liệu khác

[15] A. Bangor, P. Kortum, J. Miller Determining what individual SUS scores mean: adding an adjective rating scale. J. Usability Stud. 2009, 4 pp. 114-123

[16] Brooke J. SUS: A “quick and dirty” usability scale (1986). In: Jordan, P., Thomas, B., Weerdmeester, B. (eds.) Usability Evaluation in Industry, pp. 189-194. Taylor and Francis.

[17] M. Hassenzahl AttrakDiff(tm). Available from http://www.attrakdiff.de

[18] R. Jäger Konstruktion einer Ratingskala mit Smilies. Diagnostica. 2004, 50 pp. 31-38

[19] J.-Y. Jian, A.M. Bisantz, C.G. Drury Foundations for an empirically determined scale of trust in automated systems. Int. J. Cogn. Ergon. 2000, 4 pp. 53-71

[20] Th. Kunin The construction of a new type of attitude measure. Person. Psychol. 1955, 8 pp. 65-77

[21] J. Nielsen Usability engineering. Morgan Kauffman, 1993

[22] K. Norman, H. Aim, E. Wigaeus Tornqvist, A. Toomingas Reliability of a questionnaire and an ergonomic checklist for assessing working conditions and health at call centres. Int. J. Occup. Saf. Ergon. 2006, 12 pp. 53-68

...

...

...

[24] Sauro J. (2011) Measuring Usability With The System Usability Scale (SUS). Available from http://www.measuringusability.com/sus.php

[25] Sauro J. (2010) Confidence Interval Calculator for a Completion Rate. Available from http://www.measuringusability.com/wald.htm

[26] J. Sauro, Dumas J.S. (2009) Comparison of Three One-Question, Post-Task Usability Questionnaires. Proceedings of CHI 2009.

[27] J. Sauro, Iklund K. (2004) How long should a task take? Identifying Spec Limits for Task Times in Usability Tests. Available from http://measuringusability.com/time_specs.htm

[28] J. Sauro, Lewis J. (2005) Estimating completion rates from small samples using binomial confidence intervals: comparisons and recommendations. Proceedings of the Human Factors and Ergonomics Society 49th annual meeting.

[29] J. Sauro, Lewis J.R. (2010) Average Task Times in Usability Tests: What to Report? in Proceedings of the Conference in Human Factors in Computing Systems (CHI 2010) Atlanta, GA.

[30] J. Sauro, J.R. Lewis Quantifying the User Experience: Practical Statistics for User Research. Morgan Kaufmann, 2012

[31] Tullis T. (2008) Calculating a confidence interval for task completion using the Adjusted Wald Method. Available from http://measuringux.com/AdjustedWald.htm

[32] F.R.H. Zijlstra, L. van Doorn The construction of a scale to measure subjective effort. Technical Report. Delft University of Technology, Department of Philosophy and Social Sciences, 1985

...

...

...

MỤC LỤC

Lời nói đầu

Lời giới thiệu

1  Phạm vi áp dụng

2  Tính tuân thủ

3  Tài liệu viện dẫn

4  Thuật ngữ và định nghĩa

5  Các nguyên lý chung

6  Tính tổng quan quy trình thử nghiệm

...

...

...

8  Kết quả

9  Báo cáo

Phụ lục A (tham khảo) Các mục tiêu của người sử dụng

Phụ lục B (tham khảo) Bối cảnh áp dụng phương pháp

Phụ lục C (quy định) Tuyển chọn mẫu đại diện cho người sử dụng

Phụ lục D (quy định) Khoảng tin cậy

Phụ lục E (quy định) Các ví dụ về thang đo sự hài lòng

Phụ lục F (quy định) Định dạng mẫu cho các báo cáo kiểm tra

Phụ lục G (quy định) Đặc tả các yêu cầu về tính khả dụng

...

...

...

Phụ lục I (tham khảo) Phản hồi về tiêu chuẩn

Thư mục tài liệu tham khảo

Tiêu chuẩn quốc gia TCVN 11698-2:2016 (ISO/TS 20282-2:2013) về Tính khả dụng của các sản phẩm tiêu dùng và các sản phẩm sử dụng công cộng - Phần 2: Phương pháp thử nghiệm tổng thể