ความคิดที่จะจัดตั้งธนาคารของชาวไร่ชาวนาหรือธนาคารเกษตร ได้เริ่มขึ้นเมื่อปลายสมัยรัชกาลที่ ๕ โดยมีวัตถุประสงค์เพื่อปลดเปลื้องหนี้สินของชาวนา ทั้งนี้ก็เพราะว่าเกษตรกรในระยะนั้นมีฐานะยากจนมาก ไม่มีเงินทุนเพียงพอสำหรับใช้สอยระหว่างฤดูเพาะปลูก จึงต้องกู้ยืมเงินจากเอกชนซึ่งต้องเสียดอกเบี้ยในอัตราที่สูงมาก บางครั้งต้องขายผลิตผลให้แก่ผู้ให้กู้เงินโดยผู้ให้กู้เงินเป็นผู้กำหนดราคาซื้อตามใจชอบ เกษตรกรจึงตกอยู่ในฐานะที่เสียเปรียบเป็นอย่างมาก และมีหนี้สินพอกพูนตลอดเวลา
วัตถุประสงค์อีกประการหนึ่งในการจัดตั้งธนาคารเกษตรขึ้นในสมัยนั้น ก็เพื่อที่จะประคองฐานะของชาวนาไม่ให้ทรุดโทรมลงเมื่อประสบภัยธรรมชาติทั้งนี้ก็เพราะว่าเกษตรกรมักจะประสบภัยทางธรรมชาติติดต่อกันจนยากที่จะฟื้นตัว ดังเช่นใน พ.ศ. ๒๔๖๐ เกิดน้ำท่วมใหญ่ทั่วประเทศแต่ใน พ.ศ. ๒๔๖๒ เกษตรกรกลับต้องผจญกับภาวะฝนแล้ง เป็นต้นแต่ในที่สุด ธนาคารเกษตรในระยะนั้นก็ไม่อาจตั้งขึ้นได้ เนื่องจากมีปัญหาขัดข้องเกี่ยวกับหลักประกันเงินกู้และปัญหาในการควบคุมมิให้ราษฎรละทิ้งนาและหลบหนีหนี้สิน ซึ่งเป็นการยากที่จะควบคุม และระมัดระวังมิให้เกิดความเสียหายได้ ความคิดที่จะจัดตั้งธนาคารเกษตร โดยมุ่งหมายให้ชาวนาได้กู้ยืมเงินในครั้งนั้นจึงต้องเลิกล้มไป
ต่อมาได้มีการจัดตั้งสหกรณ์หาทุนขึ้นเป็นครั้งแรกในประเทศไทย เมื่อวันที่ ๒๖ กุมภาพันธ์ ๒๔๕๙ คือ สหกรณ์วัดจันทร์ไม่จำกัดสินใช้จังหวัดพิษณุโลก มีการให้กู้เงินแก่สมาชิกโดยทั่วไป เกษตรกรซึ่งเป็นสมาชิกก็ได้อาศัยเงินทุนจากสหกรณ์เพื่อนำไปใช้ลงทุนประกอบอาชีพทางการเกษตรของตน แต่ก็เป็นที่พึ่งได้ไม่มากนัก เพราะตัวสหกรณ์เองก็มีปัญหาในด้านการเงินต้องขอกู้จากที่อื่นๆ มาดำเนินงานเช่นกัน โดยในระยะเริ่มแรกขอกู้เงินจากธนาคารสยามกัมมาจล จำกัด ต่อมาใน พ.ศ. ๒๔๗๖ ภาวะเศรษฐกิจตกต่ำ มาก รัฐบาลต้องขออนุมัติเงินงบประมาณแผ่นดินประจำปีให้เป็นทุนของสหกรณ์ด้วย และใน พ.ศ. ๒๔๘๓ รัฐบาลต้องใช้วิธีอนุมัติให้ธนาคารชาติไทยจัดการจำหน่ายพันธบัตรเงินกู้เพื่อหาทุนให้กับสหกรณ์
ในที่สุดจึงได้มีการจัดตั้งธนาคารเพื่อการสหกรณ์ขึ้น ตามพระราชบัญญัติธนาคารเพื่อการสหกรณ์ พ.ศ. ๒๔๘๖ โดยเริ่มดำเนินงานในพ.ศ. ๒๔๙๐ ทำหน้าที่เป็นแหล่งกลางทางการเงินและอำนวยสินเชื่อแก่สหกรณ์ทั้งหลายที่มีอยู่ใน ประเทศไทยในขณะนั้น
หลังจากที่ได้จัดตั้งธนาคารเพื่อการสหกรณ์ขึ้นแล้ว ธนาคารแห่งนี้ยังมีปัญหาอยู่มาก ไม่อาจทำหน้าที่ได้อย่างกว้างขวางและมีประสิทธิภาพต่อการที่จะเอื้ออำนวยสินเชื่อให้แก่เกษตรกรได้ดังนั้นรัฐบาลจึงได้มีการพิจารณาจัดตั้งธนาคารขึ้นใหม่เพื่อทำหน้าที่แทนธนาคารเพื่อการสหกรณ์ สรุปเหตุผลที่จำเป็นจะต้องกระทำเช่นนั้นได้ดังนี้
๑. ธนาคารเพื่อการสหกรณ์ให้เงินกู้แก่ สมาชิกสหกรณ์เท่านั้น แต่ยังมีเกษตรกรที่มิใช่ สมาชิกสหกรณ์อีกเป็นจำนวนมากที่มีความต้องการเงินกู้ ซึ่งธนาคารเพื่อการสหกรณ์ไม่มีอำนาจหรือหน้าที่จะให้กู้ได้
๒. ธนาคารเพื่อการสหกรณ์ให้เงินกู้ส่วนใหญ่เพื่อระยะยาวและปานกลาง แต่เกษตรกรมีความต้องการเงินกู้เพื่อผลิตผลในระยะสั้นเป็นอันมาก
๓. ธนาคารเพื่อการสหกรณ์มิได้ทำหน้าที่ในการพิจารณาคำขอกู้เงิน งานส่วนใหญ่ของธนาคารนี้ก็คือ เก็บรักษาเงิน ให้ความสะดวกในการเบิกจ่ายเงิน และเก็บรักษาสมุดบัญชีอันเป็นงานประจำเท่านั้น ธนาคารนี้มิได้ทำหน้าที่เป็นผู้ให้กู้ยืมเงินอย่างแท้จริง
๔. ธนาคารเพื่อการสหกรณ์มิได้ทำหน้าที่ให้คำแนะนำและกำกับดูแลการให้สินเชื่อ (Super-vised credit) และยังไม่มีหน่วยงานทำหน้าที่นี้ได้
๕. การดำเนินงานและองค์การของธนาคารเพื่อการสหกรณ์ ยังไม่ได้รับการรับรองจากต่างประเทศ จึงเป็นเหตุให้กำลังเงินของธนาคารไม่เพียงพอ
ด้วยเหตุผลดังกล่าว รัฐบาลจึงได้จัดตั้งธนาคารเพื่อการเกษตรและสหกรณ์การเกษตรขึ้นเมื่อ พ.ศ. ๒๕๐๙ โดยให้เป็นสถาบันระดับชาติทำหน้าที่อำนวยสินเชื่อให้แก่เกษตรกรอย่างกว้างขวางทั้งในด้านของเกษตรกรโดยตรงและสถาบันเกษตรกร ธกส. มีสำนักงานใหญ่ตั้งอยู่เลขที่ ๔๖๙ ถนนนครสวรรค์ แขวงจิตรลดา เขตดุสิต กรุงเทพมหานคร และมีสำนักงานสาขาหรือตัวแทนตั้งอยู่ในตัวจังหวัดต่างๆ หรือบางอำเภอที่สำคัญๆ ภายในราชอาณาจักรไทย
นอกจากสำนักงานสาขาแล้ว ธนาคารได้จัดตั้งหน่วยอำเภอประจำอำเภอต่างๆ ขึ้น เพื่ออำนวยความสะดวกและบริการแก่เกษตรกร ผู้มีถิ่นที่อยู่และประกอบอาชีพการเกษตรในอำเภอนั้นๆ ด้วย ซึ่งใน พ.ศ. ๒๕๒๘ ธกส. มีสาขาระดับจังหวัด ๖๘ แห่ง ระดับอำเภอและกิ่งอำเภอ ๕๘๐ แห่ง
