文本信息:
1.文头信息——言语言信息
2.生文本——raw
3.赋码文本——Tree-Tagger
注意比较生文本和赋码文本
文本信息:
1.文头信息——言语言信息
2.生文本——raw
3.赋码文本——Tree-Tagger
注意比较生文本和赋码文本
文本信息录入及文本赋码:
1.文本文头信息
2.书面语语料库文头文件
3.Raw Test
4.赋码文本(Tree-Tagger 3.0)
5.生文本及赋码文本比较
6.带文头信息文本 (with metadata)
7.文本录入中的小问题
a.撇号不对
b.标点符号后面的单词与标点符号之间无空格
文本信息录入、文本赋码
(1)文头信息——言语言信息
(2)生文本——raw
(3)赋码文本——Tree-Tagger
注意比较生文本和赋码文本
文本信息录入及文本赋码
文本文头信息
生文本:无任何附加信息
赋码文本:“_赋码信息”
带文头信息的
(三)文本信息录入、文本赋码
1.文本信息
(1)文头信息——言语言信息
(2)生文本——raw
(3)赋码文本——Tree-Tagger
注意比较生文本和赋码文本
建设小型语料库(任务7-9)
创建小型语料库的意义
一、教学语料库设计原则
1.三大原则:
教学针对性原则;实用性原则;
开放性、资源共享原则
2.三大要点:
需要搜集的语料类型和文件
语料来源及获取语料的方法
入库文本的基本格式及编码
3.语料库命名例子
二、文本信息录入及文本赋码
文本信息
1.文本信息开头
书面语语料库头文件
2.生文本
赋码文本
生文本及赋码文本比较
3.文本录入中的小问题
三、语料库创建所需软件介绍
创建小型语料库
(三)文本信息录入、文本赋码
1.文本信息
(1)文头信息——言语言信息
(2)生文本——raw
(3)赋码文本——Tree-Tagger
注意比较生文本和赋码文本
文本信息不能有空格
1. 不能使用字典
ID:建议使用身份证号,也可叫上地区。注意标明规则。
注意:建立原则,根据目的判断是否要保留语言错误。如果在后期需要提取也可以考虑是否要修改。黄色部分为赋码信息。50多种赋码
两款软件的准确率无法做到百分百,在研究中要注意考虑。claws7 为付费软件。70多种
此处为简写版,将所有信息尖括号。
timed,限时作文。注意输入格式。
文本问头信息<GENDAR>F</GENDER>
Raw Text:
赋码文本:
tree tagger:NN名词单数 NNS名词复数
Claws 7 :NN1 NN2
文本信息录入及文本赋码:
1.文本文头信息
2.书面语语料库文头文件
3.Raw Test
4.赋码文本(Tree-Tagger 3.0)
5.生文本及赋码文本比较
6.带文头信息文本 (with metadata)
7.文本录入中的小问题
a.撇号不对
b.标点符号后面的单词与标点符号之间无空格
Lesson8 如何创建小型教学语料库
教学语料库设计的原则
文本信息录入及文本赋码
文本文头信息
<GENDER>F</GENDER>,性别:男生M,女生F
<GRADE>1</GRADE>学生所在年级
<SCORE> 19.0</SCORE>分数
<WRITINGDATE> 20160725</WRITINGDATE>如果是平时作文,注明写作的大致日期,按八位数字的写法
<YEAR>2014</YEAR>学生入学(高中/初中)的年份
书面语语料库文头文件
<DICTIONA RY>N</DICTIONARY> (不许字典)
<ENGTEXTBOOK>ADVANCE_WITH_ENGLISH</ENGTEXTBOOK>
<GENDER>M</GENDER>
<GRADE> 1</GRADE>
<ID>01141001</ID>
<PROMPT>AFTER_SCHOOL_ACTIVITIES</PROMPT>
<SCORE> 20</SCORE>
<STYLE>ARG</STYLE>
<TEXTCATEGORY>ASSIGNMENT</TEXTCATEGORY>
<WRITINGDATE> 2014 1001 </WRITINGDATE>
<YEAR> 2014</YEAR>
Raw Text (生文本)
In our school, students are offered much time for after-class activities. Students can do any sports which they like during break time. Between 9:10 a.m. and 9:30 a.m. every eekday
except Monday, students in all the three rades do activities together. Boys in Grade 1 are required to do martial arts while girls are taught to dance.
赋码文本
标点后要空格
录入时,标点要用半角
语料库创建所需软件介绍