Developing the first Open Peer Review Module for Institutional Repositories
Bài được đưa lên Internet ngày: 24/09/2015
Lời người dịch: Rà soát lại ngang hàng là công việc quyết định chất lượng của xuất bản phẩm và dữ liệu được các nhà nghiên cứu đăng, dù là trên các tạp chí hay trong các kho, và nó là đặc biệt cần thiết cho truy cập mở, dữ liệu mở và khoa học mở nói chung. Nhiều nhà nghiên cứu cho rằng trong tương lai, mô hình rà soát lại ngang hàng mở dựa vào việc đánh giá bản thân tác phẩm sẽ dần thay thế mô hình rà soát lại của ban biên tập tạp chí dựa vào uy tín của tạp chí.
Xem thêm: Khoa học Mở - Open Science
Vì sao các bài báo trên arXiv hoặc bất kỳ kho truy cập mở nào khác lại không được công nhận chính thức như là các xuất bản phẩm? Điều gì chính xác tách biệt các kho truy cập mở khỏi các nhà xuất bản? Câu trả lời đơn giản là các xuất bản phẩm trên các tạp chí đi với chỉ số chất lượng vô định hình có liên quan tới uy tín được thừa nhận của tạp chí đó. Các bài báo được đăng trên một kho, mặt khác, được coi như là “được cung cấp với rủi ro của riêng độc giả”, khi chúng không đi kèm với bất kỳ đảm bảo nào đo đếm được giá trị khoa học của chúng. Chúng tôi nghĩ tới lúc phải thay đổi tất cả điều đó.
Với sự hỗ trợ của OpenAIRE, Open Scholar sẽ điều phối nhóm 5 đối tác để phát triển Module rà soát lại ngang hàng - OPRM (Open Peer Review Module) đầu tiên cho các kho truy cập mở. Các đối tác của chúng tôi sẽ phân phối tác phẩm này gồm:
- Kho của cơ sở của Hội đồng Nghiên cứu Quốc gia Tây Ban Nha (DIGITAL.CSIC)
- Kho của Viện Hải dương học Tây Ban Nha (e-IEO)
- Viện Nghiên cứu Trí tuệ Nhân tạo (IIIA) ở Catalonia
- Phòng thí nghiệm liên ngành của Thư viện Khoa học Máy t ính (SECABA) ở Granada,
- Công ty phát triển và các dịch vụ chuyên nghiệp DSpace (ARVO)
Dự án của chúng tôi mường tượng sự chuyển đổi dần dần các kho truy cập mở hiện hành thành các nền tảng đánh giá đầy đủ chức năng sẽ cung cấp năng lực cần thiết để mang lại sự kiểm soát chất lượng nghiên cứu cho cộng đồng các học giả và giúp lấp đi khoảng cách giữa các cơ sở hàn lâm và các nhà xuất bản. OPRM ban đầu sẽ được phát triển như là trình cài cắm cho các kho bằng việc sử dụng gói phần mềm Dspace, nhưng sẽ được thiết kế theo cách thức sẽ tạo thuận lợi cho sự tùy biến thích nghi tiếp sau cho các bộ phần mềm kho khác như Eprints và Invenio.
Cài đặt OPRM lên một kho truy cập mở của cơ sở hoặc khác sẽ xúc tác cho sự rà soát lại chính thức tác phẩm nghiên cứu số bất kỳ được đặt chỗ trong kho này bao gồm cả dữ liệu, mã phần mềm và các chuyên khảo bởi số lượng không hạn chế các đồng nghiệp ngang hàng. Rà soát lại nội dung số này sẽ gồm đánh giá định tính ở dạng văn bản, và các đo đếm định lượng sẽ được sử dụng để xây dựng uy tín của tác phẩm đó.Quan trọng, hệ thống đánh giá này sẽ là mởvà minh bạch.Mở ngụ ý toàn văn của các rà soát lại sẽ sẵn sàng công khai cùng với tác phẩm nghiên cứu gốc.Minh bạch ngụ ý sự nhận diện những người rà soát lại sẽ là mở cho các tác giả và công chúng.
OPRM cũng sẽ kết hợp hệ thống uy tín của một người rà soát lại dựa vào đánh giá bản thân các rà soát lại đó, cả từ cộng đồng những người sử dụng và những người rà soát lại khác. Điều này sẽ cho phép xác định tầm quan trọng của từng rà soát lại trên đánh giá tổng thể tác phẩm nghiên cứu dựa vào uy tín của người rà soát lại. Vấn đề phức tạp của việc tạo ra các thước đo uy tín tin cậy cho các tác phẩm nghiên cứu, các tác giả, các rà soát lại và những người rà soát lại sẽ được xử lý bằng sự tinh thông được kết hợp của 2 nhóm nghiên cứu nổi tiếng với kinh nghiệm phong phú về mô hình hóa uy tín dựa vào các ý kiến (IIIA) và việc ra quyết định với các chuyên gia không thuần nhất (SECABA). Cả các tiếp cận đánh giá uy tín, a) như là việc mô hình hóa có vấn đề các ý kiến, và b) như việc ra quyết định nhóm, coi những người rà soát lại không có sự tin cậy và tinh thông hệt như nhau trong chủ đề họ chào ý kiến của họ. Quy trình tổng hợp các rà soát lại vì thế phải tính tới các tình huống hỗn tạp đó và sự tinh thông rộng lớn hơn phải cân nhắc nhiều hơn dựa vào sự tổng hợp toàn cầu. Mô hình đánh giá uy tín vì thế sẽ dựa vào khái niệm rằng uy tín của nguồn ý kiến ảnh hưởng tới độ tin cậy của bản thân ý kiến đó.
Hơn nữa, mô hình đó sẽ là mềm dẻo với các nguồn ý kiến: nó sẽ sử dụng cả các ý kiến rõ ràng (được các đồng nghiệp ngang hàng đưa ra ở dạng các rà soát lại chính thức) và các ý kiến ngầm ý có thể được trích ra từ hành vi của người sử dụng (như các chỉ số chất lượng gián tiếp được mã hóa trong số lượng các lần viếng thăm và các bản tải về), trong các tình huống nơi mà các ý kiến rõ ràng là ít. Điều này một phần sẽ giải quyết được vấn đề khởi đầu lạnh lẽo có liên quan tới độ trễ của các rà soát lại của chuyên gia bắt đầu tích cóp trong hệ thống. Hơn nữa, mô hình uy tín của chúng tôi sẽ gồm các biện pháp đồng thuận để tiếp tục tăng cường cho thẩm định các kết quả đầu ra tổng hợp. Điều này ngụ ý sự đồng thuận lớn hơn về uy tín của tác phẩm nghiên cứu sẽ tích cực tính cho uy tín của nó với 5 người rà soát lại đồng ý một tài liệu là “tốt” bất kể thực tế là trung bình tổng hợp là y hệt.
OPRM ban đầu sẽ được kiểm thử trong 2 kho tạo thành nhóm của chúng tôi:
- e-IEO, nó là kho truy cập mở của cơ sở của Viện Đại dương học của Tây Ban Nha, một tổ chức nghiên cứu của nhà nước với 10 trung tâm nghiên cứu và với ngân sách thường nhiên 56 triệu euro, và
- DIGITAL.CSIC, là kho cơ sở lớn nhất của tổ chức thực hành nghiên cứu ở Tây Ban Nha - Hội đồng Nghiên cứu Quốc gia Tây Ban Nha (CSIC) - và được xếp hạng 5 ở châu Âu trong ấn bản mới nhất về Xếp hạng Web các Kho.
Ảnh hưởng tiềm tàng của kiểm thử này là cao đối với lượng khổng lồ và sự đa dạng các mẫu dạng kết quả đầu ra nghiên cứu sẵn sàng trên nền tảng đó, sự đa lĩnh vực của nó, và hồ sơ theo dõi kho để làm giàu cho hạ tầng của nó với các dịch vụ giá trị gia tăng để đo đếm ảnh hưởng của nghiên cứu cùng với các dòng truyền thống và đang nổi lên. Trên thực tế, với hơn 110.000 tác phẩm DIGITAL.CSIC chào một nền tảng lý tưởng để kiểm thử mẫu dạng của OPRM trong một bộ sưu tập số rộng lớn gồm các xuất bản phẩm, các tư liệu xám, các tập hợp dữ liệu, các mã phần mềm, các đối tượng hội nghị, các tài liệu làm việc và các báo cáo, các tài liệu chính sách, các luận án, các bài đăng blog, các bài báo trước in và nhiều thứ khác nữa. Hơn nữa, sự đa dạng như vậy các kết quả đầu ra nghiên cứu trải khắp 8 lĩnh vực khoa học rộng lớn từ các khoa học tự nhiên tới các khoa học xã hội và nhân văn, điều sẽ cho phép thí nghiệm với các tiếp cận rà soát lại đang nổi lên trong rất nhiều lĩnh vực khác nhau và vì thế xác định khả năng hành vi đặc thù lĩnh vực và các mẫu cộng đồng.
Tất cả mã được sinh ra trong dự án này sẽ là sẵn sàng trong kho mã công khai (github), được làm thành tài liệu và được cấu hình đủ sao cho những người khác có thể thay đổi nó cho phù hợp với các cấu hình của riêng họ, và tuân theo các thực hành tốt nhất được thừa nhận về các đóng góp mã trong các dự án nguồn mở.Chúng tôi biện hộ mạnh mẽ phát hành mã theo giấy phép y hệt được sử dụng cho mã chung của Dspace, nghĩa là Giấy phép BSD, được giải thích ở đây: http://owl.li/NPB6V.Là quan trọng để lưu ý rằng mã đó sẽ không bao gồm các phần mềm, các thư viện hoặc các phụ thuộc mã của các bên thứ 3, điều làm cho nó không tương thích với các giấy phép đó.
Tóm lại, OPRM nhằm nhấn mạnh hạ tầng đang có được các kho truy cập mở chào và để xúc tác cho sự chuyển đổi chúng thành các nền tảng đánh giá đầy đủ chức năng với các thước đo chất lược có liên quan. Quy trình đánh giá dựa vào kho này có thể chạy song song với rà soát lại ngang hàng tạp chí truyền thống và sẽ:
- xúc tác cho rà soát lại ngang hàng bất kỳ tác phẩm nghiên cứu nào được ký gửi trong kho, bao gồm cả dữ liệu, mã và các chuyên khảo
- cung cấp các thước đo mới để đánh giá định lượng chất lượng nghiên cứu
- tạo ra hệ thống uy tín phức tạp cho những người rà soát lại
- cho phép cân nhắc các rà soát lại dựa vào chất lượng của những đóng góp của những người rà soát lại trước đó
- tạo thuận lợi cho lựa chọn nội dung phù hợp từ các kho số bằng việc phân biệt tư liệu đã từng được những người rà soát lại thẩm định bằng việc sử dụng các thẻ và các bộ lọc tìm kiếm tiên tiến
- lôi kéo cộng đồng nghiên cứu vào hội thoại mở và minh bạch về tính lành mạnh và tính hữu dụng của tư liệu nghiên cứu
Trong khi OPRM được kỳ vọng sẽ sẵn sàng vào tháng 12/2015, chúng tôi chào đón rồi các kho có quan tâm liên hệ với chúng tôi để thảo luận về triển vọng cộng tác trong tương lai.
Bài đăng ban đầu được xuất bản trên www.openscholar.org.uk.
Trung tâm Nghiên cứu Tâm trí, Não và Hành vi (CIMCYC) - Đại học Granada.
Why aren’t articles on arXiv or any other open access repository formally credited as publications? What is it exactly that separates open access repositories from publishers? The simple answer is that publications in journals come with an amorphous quality indicator associated with the journal’s perceived prestige. Articles posted on a repository on the other hand, are considered to be “provided at the reader’s own risk”, as they are not accompanied by any measurable guarantee of their scientific merit. We think the time has come to change all that.
With the support of OpenAIRE, Open Scholar will coordinate a consortium of five partners to develop the first Open Peer Review Module (OPRM) for open access repositories. Our partners that will deliver this work include:
1. The institutional repository of the Spanish National Research Council (DIGITAL.CSIC)
2. The repository of the Spanish Oceanographic Institute (e-IEO)
3. The Artificial Intelligence Research Institute (IIIA) in Catalonia
4. The Multidisciplinary Laboratory of Library and Computer Sciences (SECABA) in Granada, and
5. A company of DSpace professional development and services (ARVO)
1. The institutional repository of the Spanish National Research Council (DIGITAL.CSIC)
2. The repository of the Spanish Oceanographic Institute (e-IEO)
3. The Artificial Intelligence Research Institute (IIIA) in Catalonia
4. The Multidisciplinary Laboratory of Library and Computer Sciences (SECABA) in Granada, and
5. A company of DSpace professional development and services (ARVO)
Our project envisions the gradual conversion of existing open access repositories into fully-functional evaluation platforms that will provide the capacity needed to bring back research quality control to the community of scholars and help bridge the gap between academic institutions and publishers. The OPRM will initially be developed as a plugin for repositories using the Dspace software package, but will be designed in a way that will facilitate subsequent adaptation to other repository software suites such as EPrints and Invenio.
The installation of the OPRM on an institutional or other open access repository will enable the formal review of any digital research work hosted in this repository including data, software code and monographs by an unlimited number of peers. Reviews of this digital content will consist of a qualitative assessment in the form of text, and quantitative measures that will be used to build the work’s reputation. Importantly, this evaluation system will be openand transparent. Open means that the full text of the reviews will be publicly available along with the original research work. Transparent means that the identity of the reviewers will be disclosed to the authors and to the public.
The OPRM will also incorporate a reviewer reputation system based on the assessment of reviews themselves, both by the community of users and by other reviewers. This will allow a sophisticated scaling of the importance of each review on the overall assessment of a research work, based on the reputation of the reviewer. The complex issue of creating reliable reputation metrics for research works, authors, reviews and reviewers will be tackled by the combined expertise of two prominent research groups with ample experience in opinion-based reputation modelling (IIIA) and group decision making with non-homogeneous experts (SECABA). Both approaches of reputation assessment, a) as a probabilistic modelling of opinions, and b) as group decision making, consider that the peer reviewers do not have the same confidence and expertise in the topic they offer their opinion on. The aggregation process of reviews must therefore take into account these heterogeneous situations and larger expertise must weigh more on the global aggregation. The reputation assessment model will thus be based on the concept that the reputation of the opinion source impacts the reliability of the opinion itself.
In addition, the model will be flexible with its opinion sources: it will use both explicit opinions (offered by peers in the form of formal reviews) and implicit opinions that can be extracted from user behavior (such as indirect quality indicators encoded in the number of visits and downloads), in situations where explicit opinions are sparse. This will partly address the cold-start issue associated with the latency of expert reviews starting to accumulate in the system. Furthermore, our reputation model will include consensus measures to further strengthen the validity of aggregation outcomes. This means that greater consensus on the evaluation of a research work will count positively for its reputation five reviewers agreeing a paper is “good” is different than two saying it is “poor”, two “excellent” and one that is “good” despite the fact that the aggregated average is the same.
The OPRM will initially be tested on the two repositories that form our consortium:
- e-IEO, which is the institutional open access repository of the Spanish Institute of Oceanography, a public research organization with 10 research centers and 56 million euros annual budget, and
- DIGITAL.CSIC, which is the largest institutional repository of a research performing organization in Spain —the Spanish National Research Council (CSIC)— and ranked in the 5th position of the European classification in the latest edition of Ranking Web of Repositories.
The potential impact of this testing is high for the sheer volume and diversification of research outputs typologies available in the platform, its multidisciplinary, and the repository’s track record in enriching its infrastructure with value added services to measure research impact along traditional and emerging lines. In fact, with over 110,000 works DIGITAL.CSIC offers an ideal platform to test the OPRM prototype on a wide digital collection comprising publications, grey literature, datasets, software code, conference objects, working papers and reports, policy documents, theses, blog postings, preprint articles and many more. Further, such variety of research outputs spans across 8 broad scientific areas ranging from hard sciences to social sciences and humanities, which will allow to experiment with the emerging review approaches on very diverse disciplines and thus identify likely discipline- specific behavior and community patterns.
All the code generated in this project will become available in public code repositories (github), documented and made configurable enough so that others can change it to match their own configurations, and following accepted best-practices regarding code contributions in open source projects. We strongly advocate release of the code under the same license as that used for DSpace general code, i.e. a BSD License, explained here: http://owl.li/NPB6V. It is important to note that the code will not include third-party software, libraries or code dependencies which are not compatible with these licenses.
In summary, the OPRM aims to capitalise on the existing infrastructure offered by open access repositories and to enable their conversion into fully-functional evaluation platforms with associated quality metrics. This repository-based evaluation process can run in parallel to traditional journal peer review and will:
- enable the peer review of any research work deposited in a repository, including data, code and monographs
- provide novel metrics for the quantitative assessment of research quality
- create a sophisticated reputation system for reviewers
- allow the weighting of reviews based on the quality of previous reviewer contributions
- facilitate the selection of relevant content from digital repositories by distinguishing material that has been validated by reviewers using tags and advanced search filters
- engage the research community in an open and transparent dialogue over the soundness and usefulness of research material
While the OPRM is expected to be ready in December 2015, we already welcome interested repositories to contact us in order to discuss the prospect of future collaboration.
Post originally published at www.openscholar.org.uk.
Mind, Brain and Behaviour Research Centre (CIMCYC) - University of Granada.
Dịch: Lê Trung Nghĩa
0 nhận xét:
Đăng nhận xét