Pilot测试的基本思想
Pilot测试的基本思想来源医学临床研究。在临床试验研究中，实验设计者要遵循几个原则：
◆ 随机性：随机化是指将所有研究对象，按照随机的原则分成实验组和对照组。
◆ 对照性：为了便于检查试验的结果，在设计试验的时候要考虑结果的对照性，比如历史对照、前后对照、同期组间对照。来保证
试验结果在事后分析能得到统计检验推断。同期组间对照通常是最常用的。
◆ 均衡性：在某些实验中，由于对比因素不能进行随机分组。对比组织间的不均衡可能导致观察值得偏倚。在此情况下，必须通过
实验设计比如配对设计来保证少数因素的均衡性。比如在实验中控制2组实验对象的性别、年龄的均衡性。
可重现性：是指研究的实验组和对照组应达到一定数目，来保证观察到的结果能够在今后的实验中得到重现。不能得到重现的实验结
果是没有意义的。
此外，Pilot测试还引入了医学实验观察中的盲法控制，来保证试验结果的客观公正。
在试验的全过程应采取特定措施，不让参与临床试验的人员知道病人所接受的是何种药物，这些人员包括受试者、研究者、疗效和安
全性评价者、监视员、数据管理者和统计分析者，从而避免他们对试验结果的人为干扰。这类措施称为盲法（blinding）。
盲法通常分为单盲和双盲两种，仅仅受试者一方不知道接受的是何种药物时为单盲，受试者和直接研究人员双方都不知道是何种药物
时为双盲。
双盲法中的两次揭盲
◆ 第一次揭盲：将各病例号所对应的分组 ：（如A组与B组）告诉生物统计学家；
◆ 第二次揭盲：分析结束、总结报告完成时，宣布A、B组哪一个是试验组。
基于上述原理，我们将其基本思想移植到市场研究中，并针对市场研究的具体情况进行了调整，提出了Pilot测试的几个基本原则
√ 随机
√ 交叉
√ 均衡
√ 双盲
这些原则具体体现在实验过程的操作流程中。
Pilot 测试的基本操作流程
１、测试人员和测试产品准备流程
甄别过程中的保密操作流程
A.研究部从Panel中随机抽取符合条件的名单（80-100个），提交给现场部
B.现场部对名单进行事先预约，筛选出36-38个在本期研究中可进行产品使用的名单，然后将名单提交给研究部。
C. 研究部提供产品编号方案，现场部准备测试产品，并称取重量记录在案。
D.研究部根据被访者，根据平衡设计原则，制定每个被访者的产品使用次序，提交给现场部。
E.输出36名测试者的身份编号和背景资料（年龄、收入、细分类别）（DP部）
2、产品使用流程
访问员将与使用者鉴定产品使用保密协议
访问员将第1个产品给被访者，告知其产品使用方法，以及未来的产品使用流程。
关于Panel测试中的一些设计
1、标签设计
标签设计的主要目的是：让被访者不能通过标签编号获取测试产品的任何消息。
在excel中可采用如下方式实现
a. 在Column A的单元格中按次序键入希望的编码范围，比如这次测试有108份白包装要给被访者使用，希望的编码范围为101~208。那
么在Column A的108个单元中，依次输入这些编码。
b. 在Column B相应的108个单元格键入公式=Rand()
c. 按Column B排序。于是在Column A中得到101~208的一个随机排列
d. 将这个随机排列作为产品编号给测试产品。
2、使用次序设计
A. 根据上述两部的输出结果，对测试人员和产品采用均衡设计，尽量使产品使用次序和人员背景的影响降低到最低。制作出每个测试
者的产品使用日程表，提交给现场部（研发）
B. 根据每个使用者的产品使用日程表，按表分配产品并分发给相应访问员，访问员送至测试者（现场部）
如何进行均衡设计
均衡设计主要考虑3个因素
不同产品的使用次序轮流设计
同一产品的随机设计
不同使用者背景平衡设计
考虑相邻次序的影响消除
在产品测试中，除了产品轮次的平衡之外，还要考虑到两个相邻产品的影响。如果我们假定只存在相邻次序的影响，第一测试产品对
第3个产品的影响可以忽略，那么可以采用对称设计。具体而言，对于3~5个产品，可以采用如下设计
| 3个产品 | 轮换次序 | 对称次序
| | 第一轮 | 123 | 321 | | 第二轮
| 231 | 132 | | 第三轮 | 312 | 213 |
| 4个产品 | 轮换次序 | |
第一轮 | 1234 | | 第二轮 | 4321 | | 第三轮 | 2413 | | 第四轮 | 3142 |
| 5个产品 | 轮换次序 | 对称次序
| | 第一轮 | 12345 | 54321 | | 第
二轮 | 24153 | 35142 | | 第三轮 | 45231 | 13254 | | 第四轮 | 53412 | 21435 | | 第五轮 | 31524 | 42513 | 该设计保证所有相邻次序组合均出现2次。
如果需要考虑完全的次序影响，包括不相邻的次序影响，那么需要进行完全的轮流设计。此时必须采用全排列组合，样本量必须为轮
数的倍数。每个轮流的最低样本数为：
| 样品数目 | 2个 | 3个 | 4个 | 5个 | | 进行一个完整的轮流所需测试者数量
| 统计分析方法
前后轮之间的影响检验
为了检查试验是否存在外部因素的影响（如气候等），我们需要对不同轮次之间测试结果进行分析，看是否存在明显的差异。如果存
在明显差异，那么测试结果可能受到这些因素的影响。虽然从理论上说，在平衡设计的条件下，这种差异对所有配方的影响都是相同的，但是
如果在实验过程中用户在使用时间上没有完全同步，或者最终成功样本并不完全均衡，那么这种影响就可能影响试验结论的准确性。
配方的差异检验
这是Pilot测试的核心。检验配方的差异，根据Pilot测试的特点，一般采用配对样本检验。
考虑到样本量较小，建议先采用K-S检验，检验测试指标的正态性。
如果不符合正态性假设，采用非参数检验(2 related sample 中Wicoxon方法)
如果符合正态假设，直接采用配对T检验。
|
