In defense of corpus-based methods: A

Proceedings of the 24th NWLC, 3-4 May 2008, Seattle, WA
������������������������������������
���������������������������������������������������
��������
�
�������������������������������������
����������������������������������������
���������������������� �����������������������������
�
�
�� �������������
�
�
������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������
���� ����������� ����� ������������� ���� ������������������������� ��������� ���� ����� ��� ����������� ������� ���
���������������������������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������������
���� ���������� ���������� ��� ������������ ������ �������� �������������� ����������� ��������� �� �����������
������� ���������� �������������� �� ���������� ��������� �������� ���������� ���� ����� ��������� ����� �����
����������� ���� ������ ���������� ������������ ������� ��� ����� ��� ���� ������ ��������� ����������� ����������� �����
���������� ���������� ������������� ����� ������ ���� ������������ ����������� ����� ���������� ���� ����� ����
����������������� �������������������������������������� ���� ������ ��������������������������������������
�������� ���� ���������� ������� ���� ������������ ���� ��������������� ��������� ��������� ������� ����� ���� ����
�������������������� ��������������������������� ���������� ������������������� ������������������������������
������������� �������� ��� ��������� �������� ���� �������� ������� ��� �������� ����������� �������������� �����
�����������������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������
�
��� ����� ������� ��� ������� ���� ������� ������� ��� �������� ������������� ���� ����� ���������� ���������
����������� ��� ������������������ ��������� �������� ��� ������ �� ���� ������� ��� �������������� ���������
���������� ������� ����������� �������� ��������� ����� ������� ������ ������� ���� ������ ������ ������ ������� ���
��������� ������� ��� ������� ���� ����� ��� ����� ���� ��������� �������� ���������� ������ ����� ������ ����� ����
����������� �������� ��������� ���� ��� ������������� ������� ��� �������� ����� ��������� ��� ������������ �����������
��������� ��������������� ��� ������������������������ ��������������� ��������������������������� ���������
����������������������������������������������������������� �������� ���������������������������������������
���������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������
���������������������� ��������� ��� ���� ���������� ��� �������� ��������� ��� ���������� ���� ����� ������� ��� ��
����������������������������������������������������������������
�
���������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������
����������
�
�� ����������������������������������������������������������
�
�
����� �������� ��� ���������� ����� ������� ��� ��������� ��� �� ������������� ��������� ����� ������� ����
���������� ��� ���������� ������������ ��� �������� ���� ���������� ���������� ��� ������������ ��� ����� ���
��������������� ��� ���� ���������������� ������ ��� ����� ������ ���������� ��� ������� ������� ������� ��� ������ ���
���������������������������������������������������������������������������������������������������������
����� �� �������������� ��� ������ ��������� ���� ������ ��� ��������� ������ ������ �������� �������� ���������� ����
������������������������������������������������������������������������������������������������������������
����������� ������ ������ �������� ���� ������� ���� ������ ��� ������� ��� ���� ���� ������ ������������� ������� ����
������������������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������
157
Berez & Gries
���� �������� ��� ���� ����������� �������� ���� ������� ��� ��������� ��� �� ��������� ���������� �������� ������� ����� ��
����������������������������������������������������
�
�����������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������
��������������������������������������������������������������������������������������������������������
�
���� �����������������������������������������������������
�
�
�������������������������������������������������������������������������������������������
�
���� ��������� ��������� �� ���������������������������������������������� ������������������
���������������������������������������������������������������������������������������������
����������������������������
�
�
����� ���������� �������� ��� ��� ������� �� ������ ����� �� ������� ����������������� ��� ����� ��� ������� ��
������������������� ��� ��� �� ������ ���� ��� ���� ������ ������ ������ ��� �� ������� ��������� ��� �������������� ���� ��� ��
�������� ���� ����� ������ ���� ���������� ������������ ����� ���������� ��� ���� ����� �������� ����� ���� ���� ���� �����
�������������������������������������������������������������������������������������������������������������
��������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������
������� ��������� �������� ��� ��� ���������� ��������������� ��� ����������� ������� ���� ���� ���������� ��� ���� �����
��������������������������������������������������������������������������������������������������������������
���������� ���� ���� ����� ����� ���������� ��� �������������������� ����������� ����� ���� �������� �� ����� ��
�����������������������������������������������������������������������������������������������������������
�����������������������������������������������
�
���� ��������������������������
�
������� ���������� ��������� ������ ������ ����� ���� ����� ����� ������� ���������� ���� ����� ������� ���
������������������������������������������������
�
������ ������ ��� ������� ��������� ��� �������� ��������� ���� ����� ����� ���� ��� ���������
�������� ��� �������� ��� ���������� ������ ���� ����� ����� ���� �������� ���������� ������� ��� ��������
���� ����������� �������������� ����� ���������� ���� ���������� ��� �� ����� ��� ���� ������ ����
������������������������������������������������
�
��
����� ����� ���� ��������� ����� ����� ���������� ������ ��� ������� �� ���������� ������� ��� �� �������
����������������� ��� ������������������� ��� �������� ���� ��������� ��� ������� ����� ��������� ���������������
���������� ������ ���� ���� ������� ��������� ���������� �� ��� ������� ��������� ������ ����� ����� ������ ����� ��� ���
����������������������������������������������������������������������������������������������������������������
���������� ������������������� ����� ��������� ������� ������� ����� ��� �������������� ����� ����� ������
����������� ���������� ��������� �������� ��� ���� ������ ���� ���� ����� ����� ������� ����� ��� ���� ���� ����
����������������������������������������������������������������������������������������������������������
������� ������ �� ������ ����� ��� ���� ����������� ������� ��� ��������������� ������ ��������� ������� ���� ���������� ���
���������������������������������������������������������������������������������������������
�� ���������������������������� ������� ��������������������� ���������������������������������������������
���������������������������������������������������������������������������������������������������������
�
��
��� ���������� ������� ���� ��������� ���� ���������� ��� �������������������� ����� ������ ������� ����
����������������������������������������������������������������
��
�����������������������������������������������������������������������������������������������������
����� ����� �������� ���������� ��� ���������� ������ ��� ����� ����� ����������� �������� ���������� ���
158
Proceedings of the 24th NWLC, 3-4 May 2008, Seattle, WA
�������������������������������������������������������������������������������������������������������
������ ������������� ���������� ��� ���� ����� ��� ���� ������������ ������� ������ ��� ���� ������ ������ ��� ������
����������������������������������������������������������������������������������������������������
���� �������� ������� ���� ���� ������ ����������� ���� ��������������� ��� ��������� ���� ��� ����� �����
����������������������������������������������������������������������������������������
�
��� ���� ���������� ��������� ��� ����� �������� �� ����� ������ ����� ������ ��� ��������� ���� ������ �� ���� �� ����� ��
������������������������������������������
�
�� �����������������������������
�
��� ���� ����� ��� ���� ������ �������������������� ��� ����� �������� ��� �������� ��� �������� ��� �� ���������
��������������������������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������
��������� ��� ���� ������ �� ������������� ������� ������� ������ ��� ����������� ���������� ������������ ���� ����
����������������������������������������������������������������������������������������������������������
����������� ������ ��� ���������� ���� ����� �������� ��� ������������� ��� ���� ���� ���� �������� ���������� ����
��������� ������������ ��� �� ��������������� ���� ����� ��� ����� ��� ����� ��� ������ ���� ������ ��� �����������
������������������������������
�
������ ������ ���� ���� �������� ���������� ��� �������� ��� ���� �������� ��� ������� ��������� ����
������������������������������������������������������������ �������������������������������������������
���������������������������������������������������������� ���������������� ���������������������������� ����
���������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������
���������������������������������
�
���� ��������������
�
����������������������������������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������������������
��� ����������� ���� ����������� ������������ ���� �������������� ��� ����������� ����������� ��� ������� ������� ������
��������������������������������������������������������������������������������������������������������
������������������������������������������������������������
�
��
���������������������������������������������������������������������������������������������������
���������������������������������������������������������������������
��
�� ���� ���� ��������� ������������ ��������� ��� ����� ����������� ��� ���� ���� ��� ���� ����� ������� ������
�����������������������������������������������������������������������������
��
�����������������������������������������������������������������������������������������
�����������������������������
��
�������������������������������������������������������������������������������������������
������������������������
��
��������� ����������������� ���� ������ ��� ���� ������ ��������� ������ ��� ���� ������� ����������
��������������
��
���������������������������������� ������ ���������������������������������� ��� ����������������������
�����������������������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������
��
���� ����������� ��� ���� ������ ��� ������ ��� ������������ ����������� ������ ��� �������� ��������������
������������������������������������������������������������
�
159
Berez & Gries
���� ���������
�
�
����������������������������������������������������������������������� ����������� ���� �������������������
����� ����� ��������� ��������� ����� ���� ������ ������ ���������� ������ ��� ���� �������� ���������� ��� ����
�������������� ������� ��� ��������� �������� �������������� ���� ������ ��� ������������ ��� �����
����������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������
��������������� ��� ������� ��� ����� ���������������� ����� ������ �� ���� �������� ������ ��� ��� ������ ���������� ���
����������������������������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������
�
������������������������������������
��������������������
��������
������������
����������������
���������������
������������������
���������������������������
�
����������������������
��������������
������������������
������������
����������������
�������������
���������������
��������������������������������
������������
����������������
�����������������
�
��������������������������������
���������������
������������������������������
��������
�
������������������������������������������
���������������������������������������������
�������������������������������
�������������������������������������������������������������
����������������������������������������������������������������������
����������
�������������������������������������������
�����������������������������������
�
����������������������������������������������������������������������
������������������
�������������������������������������������������������
������������������������������������������������������������ �
�
�������������������������������������������������������������
������������������������������������������������������������������
���������������������������������������������������������������������
��������
����������������������������������������������������������������
�������������������������������������������������������������
����������������������������������������������������������������������
�������������
�
�����������������������������������������������������
�������������������
���������������������������������������������������������������
��������������������������
����������
�
����������������������������������������������������������������
���������������������������
�������
�
������������������������
�������������������
��������������������������������������������������������������
������������������������
�����������
�
��������������������������������������� ���������������������������������������������������������������
�
�������������������
����������������������������
����������������������������
���������������
������������������������
������������������������
���������������
�
������������������������������������������������������
������������������������������������������������������������
���������������������������������������
�
�������������������������������������������������������������������
����������������������������������������������������������������
��������������������
160
Proceedings of the 24th NWLC, 3-4 May 2008, Seattle, WA
��������������������
������������
���������������
�
������������������������
���������������������
������������������������������������
������������������������
��������������
�����������������������
���������������������������
���������������������������������
��������
�����������������������������������
���������������
���������������
�
��������������������������
���������
�������������
�����
�����
��������
��������
��������������
��������
�
�����������������������������������������������������������������
�������������
������������������������������������������������������������������
�������������������������������������������������������������
��������������������������������
�����������������������������������������������������������������
���������������������������������������
������������������������������
��������������������������������������������
�����������������������������������������������������������
�
������������������������������������������������������������������������
����������������������������������������������
�������������������������������������������������������������
�������
��������������������������������������������������������������������
������������������������������������
��������������������������������������������������������������������
��������������������������������������
������������������������������������������������������������
��� ���� ����� ����� ��� ���� ��� ��� ���� ��� �������� ���� ������ ����� �����
����������
�
�������������������������������������������������������������
��������������
����������������������������������������������������������������������
�����
�
����������������������������������������������������������������������������������������������
�
�����������������������������������
�����������������
�����������������
��������������
�
�����������������
����������������������������������������������������������������������
�������������
�����������
�����������������������
����������������
����������������������������������������������������������������������
�����������
����������
�
��������������������
��������������������������������������������������������������������
����������������
�������������
��� ������ ���� ���� ���� ���� �������� ����� ������� ������
�
���������������������������������
������������
�������������
�����������������
�����������������������������
�����������������������
���������������������������������������������������������������
����������������������
����������������������
�
���������������������������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������������
�
161
Berez & Gries
���� ��������
�
����� ������� ������� ����� ���� ��� ����������� ������� ������ ���� ���� �������� ����� ���� ��� ���������� ����
������������� ������� ���� �������� ��������� ������� �� ����������� ����� �� ����� ����� ��� ����������� ���� ������� ���
���������������������������������������������������������������������������������������������������
�
��
�� �������� ����� ����� ����������� ������� ����� ���� �������� ����������� ������������������� ���������
�������������� ����� ���������� ���������� ������ ���� ��� ��������������� ����������� ��� ����������
������������
��
�� �������� ����� ����� ������������ �������� ��������� ���� ���������� ��������� ������������� �����������
������������������������
��
�� �������� ����� ����� ��������� ������� ����� ��������� ������ ��������� ������ ����� �������� ������ ���
��������������������������������������������������������������������
��
�������������������������������������������������������������������
�
�
����������������������������������������������
�
�� ��������������� ������������������������ ������������������������������������������� ����������������������
�����������������������������������������������������������������������������������������������������������
������� ���� ����������� ������� ������� ��� ������ ��� ���� ������ ������� ������ ��� ����� ������ ��� ������������ ���
����������
�
��
���� ���������� ��������� ���� ���������� ��������� ���� ���� �������� ����� ���� ���������������� ������� ������
��������������������������������������������������
162
Proceedings of the 24th NWLC, 3-4 May 2008, Seattle, WA
��
��
������������������������������������������������������������������
�������������������������������������������������������������������������������������
�
�
�����������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������
����������������������������������
�
�
�����������������������������������������������������������������������������������
�
��������������������������������������
�
�������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������
����������������������������������������������������
�
�������������� ����������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������
�
�
�
�
�
�
163
Berez & Gries
����������������������������������������������
���������������������������
������������������������������������
�������
������������
������������������
�������
���������
�������
��������������������
������������������������������������������
�������
��������������������������
������������������������������������������
�������
������
�������
�
����� ����� ���� ��� ���� ������ ������������ ���� ������������������������� ��������� ���� ���� ������������������
������������������������������������������������������������������������������������������������������������
�������� ���� ���� ��������� ��� �������� ����� ��� ���� ������ ����� ����������� ������ �������� ������ ���� ��� �����
���������� ���� ����� ����� ���� �������� ��� ���� ��������� ���� ��������� ��� ���� ������ ��� ���� ������ ��������������
����������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������
������������ �������� ���� ���� �������������� ���� ����� ����� �������� ����� ���� �������� ��� �� ��� ���������� ������
�����������������������������������������������������������������������������������������
�
�� �����������������������������������������������������������
�
������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������
�
��
��
��������� ������ ��� ���� ���������� ��������� ����� ���������� ���������� ������������������������� �������
�������������������������������������������������������������������������������������� �������������
������������������������������������������������������������������������������������
����������������������������������������� ��������������������������������������������������������
��� ���������� ������������ ��� ����� ����� ���� ������ ����� ���������� ���������� ��� ���� ������� ��� �����
��������������������������������������������
�
�
��� ������ ��� ������ ����������� ������ ��������� ���� ����� ��� ���� �������� ������� ����� ���� �������������
������������� ���� �������� ������������� �� ���������� ����� ���� ����� ����������� ������ ������ ��� ��� ������� ��� ���
���������������������������������������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������������������������������
��������������������
�
������������������������������ ������������������������������������������������������������������������
��������������������������������������������������������������������������������������������������������������
��������������������������������������� ������� ������������������������������������������������������������
��������������������������������������������������������������������������������������������������������
���� ������������� ��� ������������ ��� ���������� ���������� ��� ���� ������������� ��� ��������������� ��� �������
���������������������
�
���� ��������������������������������������
�
���������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������
�������������� ��� ������ ��� ������ ���������������� �� ��� �� ������������� ������� ����������� ����� ������� ����
�������� ���� �������� ��������� ����� ��� ����������� �������� ���� ������������ ��� ���� ���� �������� ���� ��� ����� ��
���������������������������� ������������ ������������������������� ��������������������������������������
���� ��������� ������������ ��� �������� ���� ���������� ������ ��������������� ���� �������� �������� ��� ���� �������
�������������������������������������������������������������������������������������������������������
��������� ���������������������������� ������������������������������������������ ����������������������
����������
�
164
Proceedings of the 24th NWLC, 3-4 May 2008, Seattle, WA
���� ��������������������������������������
�
�������� ��������� ����� ����� ��������� ���� ���� ���������� ������������ �������� ������� ���� �������� ������
�������������� ���� ������ ���� �������� ���� ������ ���� �������� ����� ����� ��������������� �������� ������� ����
����������������������������������������������������������������������������������������������������������������
��������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������������������
���� ���������������� ���������������� ����������� ���� ��������������������� ������������������� ��� ���� �������
����� ��� ��������� ��� �� ���������� ���������� ��������� �� ����� ������� ����� ������� ���� �������� ���� ���� ���������
������������� �������� ��� ���� �������� ����� �������������� ���� ����� ������� ������ ����� ���� ����� ������������
����������� ���� ����� ���������� ����� ����� ������ ���� ������ �������� ����� ��� ������� ���� �������� ���� ����� ���
��������������������������������������������������������������������������������������������������������������
���� ���������� ������ ���� �������� ����� ������ ����� �������� ��� ����� ������ ����� ���� ������������ ������ ��������
���������������������������������������
���������������������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������
������� ���������� �������� ����� ����� �� ������� ������� ���� ������ ����� ���������� ��������� ���� ����� ��� �������
����������������������������������������������������������������������������������������������������������������
������� ����� ������ �������� ����� �������������� ������ ���������� ��������� ������� ������ ���� ������ ��� �������
������������ ���� �������������� ���� ����� ��� ����������� ���� ������������ ���� ����� ������������� ���� �����
������������ ����� �������� ���� ����� ������ ��� ������� ������������ �� ��� ������� ��� ����������� ��� ��������� ��
������������������������
�
�� �����������
�
�
��� ���� ������ ��� ������������ ������������� ������ ��� ������������ ���� ������������� ��������� �������� ����
������� ����������� ��������� ���� ���������� ��������� ����� ������ �������� ���� ��� ������� ����� ��� ������ ���
����������������� �������������������������������������������������������������������� ������������������
����������������������������������������������������������������������������������������������������������
��������� ��������������������������������������������� �������������������������������������������������������
���������������������������������������� ���������������������������������������������������������������
���������� ���������� ��� ���� ���������� ����������������� ������������� ��� ��� ���������� ���� ����� ����� ���
�������������������������������������������������������������������������������������������������������
��������������������������������������������������������
�
�
�����������
�
������� ������ ���� ������� ���������� ������ ����� ����������� ����������� ���������� ������������� ���� �������������
����������������������������������������������������������������������������������������
���������������������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������������������������
���������
�������� ������� ��� ������ ����� ��� ����������� ������������ ���� ������������ ����� ���������� ��� ������ ���� ��������������
������������������
�������� ������� ��� ���� ������� ���� ������� ������ ����� ��� ������� ��� ��������� ����������� ����������� ���������� �������
���������������������������������������������
���������������������������������������������������������������������������������������������������������������������
������������������������������������������������������������������������������������������������������������
�������������������������������������������������������������
������������������������������������������������������������������������������������������������������������������
��������������������������������
165
Berez & Gries
������� ������� ���� ������� ������������� �������� ���� ���������� ����������� ���� ����� ��������� ��� ��� ����� ��� ������ ����
��������������������������������
������� ������� ���� ������� ���������� ������������ ������� ���� �������� ��������� ����� ��������������� ����������������
��������������������
������� ������� ���� ��� �������� ������� ����� ��� ������������ ������������� ������� ���� ������ ������� ��� ������������ ���� ����
��������� ��� ��������� ���������� ���������������� ���� ������ ������� ������� ���� ������� ���� ������� ���� ������ ��������
����������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������������������������������
������������������������������
������� ������� ���� ���� ������� ��� �������� ����������� ������������� ����������� ��� ������������ ���������� �����������
����������������������������������������������
����������������������������������������������������������������������������������������������������������������������
�������������������������������������������������������
���������������������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������������������������
�������� ������� ������ ��� ������������������ ������� ���� ������������������� ��������� ��� ���������� ���� ����� ��� ����� ����
�������� ������� ���� ������ ������� ���� �������� ������� �������� ���������� �������������� ���� ������������ ������� ���
���������� ������������� ��������� ������� ��� ���� ���������� ����� �������� ��� ������������� ����� ������ �����������
�����������������������������������������
�������� ������� ������ ��������� ��� ��������� ��������� ������������ ����� �������� ���� ���� �������� ������� ���� ���������
����������������������������������������������������������������������������������������������������������������
��������������������������������������������������������������
�����������������������������������������������������������������������������������������
����������������������������������������������������������������������������������������������������������������������
�����������������������������������
���������������������� ������������������������� ����������������� ������������������� ������������� ����������������������
������� ���� ������������� ������ ���� ����� ������� �������� ���������� ������������������ �������� ���� ������ ������� ���
���������
�������� ������ ���� ���������� ������������ ������ ��������� ��� �� �������� ���� ���������� ���� ������������ ��� �������������
����������������������������������
���������������������������� ���������������������������������������������������������������������������������������
�����������������������������������������������������������������������
�������������������������������������������������������������������������������������������������������
�
166