站点图标 久久日记本

MiniSource一个开源的数据抓取工具

Verycd资源真的很丰富,可是发现,慢慢的,狠多需要登录才能查看,于是......

1.给自己的想法一个解释?

答:综合了收集网络相关资源的一些网站,我把它们用C#程序写出来,简单的分层架构,保存入数据库,然后索引出来,形成资源丰富的管理器.Mini因为架设方便,简单;代码亦拓展,Source因为整个程序只保存入数据库下载链接和名称,资源非常丰富.

2.可以学到什么?

答:两个月前,完全不知道以下知识,或者只知道名称:

  (1)正则表达式

  (2)网络编程

  (3)Cookies的保存,伪造

  (4)多线程

现在:

  (1)正则表达式-基本的句子都能搞定

  (2)网络编程-某某网站的PC客户端(WP8客户端酝酿中),真的可以刷贴,要知道两个月前我还不知道怎么才能有效且更好的提取网页源码和get,post网页源码.

  (3)Cookies的保存,伪造-果然发现一个网站的漏洞,居然可以伪造成功.说实话,是不小心写错一段代码造成的,仅仅差一个判断而已.给站长发了Email,多次沟通,结果,他把我当屁,此事很窝心.

  (4)多线程-真的很强大,略会皮毛,只懂皮毛,因为发现真的不好学.还在学习ing

3.运用了哪些东西?

答:

  (1)代码尽量做到可重用,也就是在B/S和C/S尽量做到代码通用,为此我封装了dll,发现引用dll,实在是太便利了,再更多的联系中,我加上此dll,不断拓展,真的很节省不少时间;

  (2)反射(模仿的),多层架构(发现也就是分开的cs文档调用,真的没啥含量);

  (3)设计模式(很操蛋,学了忘,忘了还想学,学的很烂,又忘了);

  (4)等等

4.为什么要做这个?

答:以前转载的这一篇,真的很不错,受到了启发:传送门

接着,闲了就记下这些知识.慢慢拓展.

5.学习目录(懒得写,无聊时候再写吧,)

一个网站教你学会.NET的基础

1.正则表达式
2.三层架构
3.反射
4.从Oracle移植到Sql
5.构建我的数据库
6.不得不说的配置文件
7.回到抓取
8.带有登录的网站
9.影评提取
10.失败的数据库

..........

写博客比做程序更难~~~诶

错误以及解决方法集中:

1.配置文件中遇到的错误:值不能为 null。参数名: assemblyString .

因为自己第一次学习多线程用到里面,找了很久的原因没有找到,搁浅了两个星期,最近没啥任务,所以再看了看.原来,我的C/S程序中没有在app.config添加上配置文件.之前以为只要在同一个解决方案中,添加一下就行了,没想到需要在不同的项中都要添加,于是把B/S中的Web.config相关配置复制上面来,运行,果然没了问题.

这里需要得到的教训是:配置文件是基于应用程序域的.而不是全局的.

[2013-9-25]

2.混合模式程序集是针对“v2.0.50727”版的运行时生成的,在没有配置其他信息的情况下,无法在 4.0 运行时中加载该程序集。

这是C/S中遇到的,大概是引用了某个2.0的dll的缘故吧,在app.config添加如下代码:

 <configuration>
  <startup useLegacyV2RuntimeActivationPolicy="true">
    <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.0"/>
  </startup>
</configuration>

update:2016-03-04
给自己挖了个博客的坑,然而几年过去了,博客没写,程序在一直更新,代码没什么时间整理,太远,估计不发上来了。

退出移动版